large-data-volumes

    0热度

    2回答

    我的表中有大约7M记录,其结构类似如下: create table Locations (LocationID (PK, int, not null),LocationName varchar(100) NOT NULL /*e.g. 'Paris'*/, ItemsNo (int, null), ICode char(1) null /*e.g. 'C'*/, LocationExtended

    10热度

    1回答

    摘要 支撑我有一个大的迅速变化的数据集,其我想结合的UI(用数据网格分组)。这些变化分两个层次。 物品经常添加或删除从集合(500第二每一路) 每一个项目都有一个4个属性,这将向上在其一生中更改为5倍 的特性数据如下; 有收集 可以内的第二,被添加的项目在〜5000项然后有5条属性的修改,然后被去除。 的项目也可以保留在一些中间状态的同时,应显示给用户。 这我有问题关键的要求; 用户应该能够通过任

    5热度

    4回答

    我需要编写一个需要处理存储在数据库中的大量数据(100 000条记录)的c#服务(可以是Windows服务或控制台应用程序)。 处理每条记录也是一个相当复杂的操作。作为处理的一部分,我需要执行大量插入更新。 我们使用NHibernate作为ORM。 一种方法是加载所有记录并按顺序处理它们......这可能会变得很慢。 我正在考虑多线程选项,并且正在考虑让多线程同时处理记录块。 谁能给我,我应该如何

    0热度

    2回答

    可以使用(BULK INSERT语句)将数据从临时表插入到数据库中的另一个表中? 如何使用此操作,因为它具有超过100,000条记录的临时表? 感谢 (SQL Server 2005中)

    4热度

    1回答

    This question询问有关在关系数据库中存储单个图形的问题。在这种情况下,解决方案很明显:一个表用于节点,一个表用于边缘。 我有一个图形数据结构,随着时间的推移发展,所以我想将这个图形的“快照”存储在数据库中。我想象有数百个这样的快照。 一个解决方案是为每个快照创建一个全新的表对节点和边(如上所述)。有更好的解决方案吗? 编辑:有人问我想用这个数据库做什么。我相信除了将图形的所有转储到C+

    3热度

    3回答

    我需要创建约200万个向量w/1000个插槽(每个插槽只包含一个整数)。 处理这些数据量的最佳数据结构是什么?这可能是我高估了涉及的处理/内存量。 我需要迭代一组文件(总共大约34.5GB),并且每次在一条线上遇到200万个项目中的一个(每个对应于一个向量)时更新向量。 我可以很容易地为此编写代码,但我知道它不会达到处理数据量的最佳效果,这就是为什么我要问专家。 :) 最佳, 乔治娜

    2热度

    2回答

    我需要在Oracle中设计一个表格,它将在一天内存储2-5 TB的数据。它可以增长到200TB,当记录超过200TB时记录将被清除。 它是一个可行的选择,以保持它在OLTP,或者我需要把它转移到数据仓库数据库? 请注意,在设计此表或数据库的模式时,我应该记住这一点。 另外,请指教,如果它是一个SQL服务器,因为我可以使用任何一个数据库。

    2热度

    3回答

    在我的程序中,我遇到了一些大于10000x10000的矩阵。 我不能转置或反转它们,这个问题如何克服? ??? Error using ==> ctranspose Out of memory. Type HELP MEMORY for your options. Error in ==> programname1 at 70 B = cell2mat(C(:,:,s))'; Ou

    4热度

    1回答

    不幸的是,我有一个非常大的语料工作被扩展到数百个。广州的文件中查找项目。 Python真的是我的母语(哈),但我想知道我是否还没有碰到一个需要学习“更快”语言的问题? 每个。广州文件包含纯文本一个单一的文件,大约56MB gzip压缩,以及约210MB解压。 在每个行是一个n-gram中(二元,三字母组,quadrigram等)和,在右边,一个频率计数。我需要基本上创建一个文件,用于存储每个qua

    0热度

    2回答

    PHP Fatal error: Out of memory (allocated 26214400) (tried to allocate 9175041 bytes) in ... 我遇到了这个问题,我注意到了。我在尝试编写大型脚本时遇到了内存不足相关的500互联网服务器错误。在某种意义上说,我做了一个查询,提供了4000或5000行,并且我尝试使用foreach(在这种情况下用于提取ex