large-data

    -1热度

    3回答

    我有一些数据与用户名和日期。 有时候会有大量数据需要循环并更新sql数据库,但数据库超时。 有没有更好的方法可以做到这一点,请在下面的示例代码。 foreach($time[$re->userid][$today] as $t){ if(($re->time >= $t->in_from) && ($re->time < $t->in_to) && md5($t

    0热度

    1回答

    在使用多个数据库的大型系统中。 如:用于贸易信息存储 用于用户帐户存储db_fund db_trade使用 db_auth进行身份验证和授权 在这种情况下user_info是常见信息。 贸易体系和基金制度 UI需要显示贸易或帐户,用户信息的信息。为了获得更好的性能,它需要执行sql查询left join user_info。 我wan't知道如何在更大的系统设计: 程序进行数据关联? 同步user

    2热度

    1回答

    我在我的应用程序中使用“Infragistics igTreeGrid”来显示记录。当我向网格提供更少的记录数时,每件事情都正常工作,但我的要求是显示大约40,000一次记录。所以当我将这些记录提供给网格时,它需要大约2分钟的时间,这非常高。那么我应该怎么做才能将性能提高至目前的一半。我已经看过“虚拟化”和“按需加载”,但我并没有明确得到它们的内容。当我使用虚拟化时,网格比没有虚拟化需要更多的时间

    4热度

    1回答

    我不是一名调查方法学家或人口统计学家,但却是Thomas Lumley的R调查报告的热心粉丝。我一直在处理一个相对较大的复杂调查数据集,即医疗成本和利用项目(HCUP)国家急诊部样本(NEDS)。如医疗保健研究和质量机构所述,它是“来自位于30个州的947家医院的急诊就诊的出院数据,近似于美国医院急诊科的20%分层样本” 2006年的完整数据集到2012年包括198,102,435个观察。我已经将

    0热度

    2回答

    我目前正在制作一个应用程序,我需要存储大量的数据, 4000到7000个用户名和相等数量的注册日期。 你如何推荐我这样做?

    2热度

    1回答

    我正在用theano培训一个带有1M图像的CNN。现在我对如何准备培训数据感到困惑。 我的问题是: 当图像大小调整为64 * 64 * 3,整个数据的大小为100G左右。我应该将数据保存到单个npy文件还是一些较小的文件?哪一个是有效的? 如何决定CNN的参数个数? 1M/10 = 100K如何? 我应该限制一个训练块的内存开销和CNN参数少于GPU内存吗? 我的电脑配有16G内存和GPU Tit

    0热度

    1回答

    我正在编写一个Perl脚本,它可以搜索300,000个以上文件的目录,并删除给定年份中除第一个以外的所有文件。我的问题是,我的代码迫使Perl基本上扫描300,000个文件的目录大约300,001次。到目前为止它已经运行了四天,我希望你们有一些技巧可以让代码在未来更高效。 脚本: #!/usr/bin/perl use Date::Calc qw(Delta_Days Decode_Date_E

    3热度

    6回答

    我正在使用以下方法将目录的内容复制到其他目录。 public void DirCopy(string SourcePath, string DestinationPath) { if (Directory.Exists(DestinationPath)) { System.IO.DirectoryInfo downloadedMessageInfo

    0热度

    1回答

    我有一个超过200k条目的数据库。我希望能够访问数据库以确定数据库中是否存在各种值。 我能想到的唯一能够实现我想要做的事情就是使用数组,但我不确定搜索数组的速度有多快。数组是找到列表中值的最佳方式,还是有更好的方法?

    0热度

    1回答

    我有一个聊天应用程序。我有一个API,它返回用户说话的用户列表。但是,当MySQL达到100000行数据时,需要很长时间才能返回列表消息。 这是我的邮件表 CREATE TABLE IF NOT EXISTS `messages` ( `_id` int(11) NOT NULL AUTO_INCREMENT, `fromid` int(11) NOT NULL, `t