large-data

2热度

1回答

我正在解析一个Json文件，其中包含很多多面体到Realm。我已经设定，方式如下： RealmMultiPolygon类： public int dangerLevel; public int timeOfDay; public RealmList<RealmPolygon> realmPolygons RealmPolygon类： public RealmList<RealmPolyg

-1热度

1回答

大行数据库性能

我有一个需求，我需要在非常大的表中获取有关特定列的信息。该列中的值不是唯一的，并且重复多次。因此，要获得独特的信息，遍历整个表格将变得非常昂贵。是否有一种设计策略可以节省时间并提高数据库性能？

0热度

2回答

将大量数据加载到.net中的<MyObject>列表中

我有一个C＃工具，用于解析csv文件的集合以构建列表。这个集合可以被限制为20个文件，或者可以大到10000个文件。 MyObject它自己有大约20个属性，其中大部分是字符串。每个文件有时可以在列表中创建多达4个项目，有时多达300个。解析完成后，首先将列表保存到csv文件，以便以后不必再重新分析数据。然后我通过数据集的一个关键点汇总数据，然后用户可以选择数据集的多个枢轴。数据以WPF呈现，用

3热度

3回答

将熊猫数据框写入csv文件块

我有一组大数据文件（1M行x 20列）。但是，这些数据中只有5列是我感兴趣的。我想通过仅创建感兴趣的列创建这些文件的副本，我可以让事情变得更加简单，因此我可以使用较小的文件进行后期处理。我的计划是将文件读入数据框然后写入csv文件。我一直在研究大块数据文件读取到一个数据框。但是，我一直无法找到任何关于如何将数据写入一个csv文件的块。这里是我尝试了，但是这并不追加csv文件： with

1热度

2回答

R：合并> 1000 .dat文件

我试图将英国各地的气候数据> 30,000个个人.dat文件合并成一个单一的数据文件，我可以然后从中提取年度值。该数据被格式化为使得在每个文件的第一行包含经纬度长为单元格，然后下面是测量的气候变量： 54.78 -7.06 iGrid x y year month SRad Tmin Tmax vp wind rain sunshine 19028 56 139 19

-1热度

2回答

从SQL服务器过滤并读取数据集到R

我在SQL服务器中有一个大表，并希望在日期使用WHERE子句导入到R中。 library(RODBC) dbhandle <- odbcDriverConnect('driver={SQL Server};server=mysqlhost;database=mydbname;trusted_connection=true') # Main table query works well re

0热度

1回答

删除非唯一值并重新排列矢量

我使用了Sloan Digital Sky Survey（SDSS）数据，并获得了最终数据产品this文件。第一列是wLength（波长），第二列是flux。将012存储在zero_F变量zero_F = find(a==0)中，我使用wLength(zero_F)=[];和flux(zero_F)=[];将它们从两列中删除。我想绘制wLength与flux，flux依赖于wLength，但wL

6热度

1回答

通过bigquery-python库插入大量数据到BigQuery

我有大量的csv文件和excel文件，我在那里读取它们并根据它所具有的字段和类型动态创建所需的创建表脚本。然后将数据插入到创建的表中。我已阅读this，并了解我应该用jobs.insert()而不是tabledata.insertAll()来发送大量数据。这就是我所说的（适用于较小文件而不是大文件）。 result = client.push_rows(datasetname,table_na

0热度

1回答

使用R中的查找表查找/替换或映射

总共R-newbie，在此处。请温柔。我有一个数据框中的数值表示种族（英国人口普查数据）。 # create example data id = c(1, 2, 3, 4, 5, 6, 7, 8, 9) ethnicode = c(0, 1, 2, 3, 4, 5, 6, 7, 8) df = data.frame(id, ethnicode) 我可以做一个映射（或查找/替换）来创建一

3热度

3回答

快速的方式来总结在一个大图中的邻居属性R

我有一个大型的igraph对象，几乎1M节点和1.5M的边缘。经过一段时间的研究，我找不到一个对节点的邻居属性求和的过程，在这种情况下，它是一个二进制的属性。目前，我找到的最佳解决方案如下： V(g)$sum = sapply(ego(g,1,V(g),mode = 'all',mindist = 1), function(v) sum(V(G)[v]$attr)) 但是，在12小时后仍然嘎吱