ff - 优文库

ff

0热度

1回答

我有一个大的矩阵（1,000,000行1,140列），我正在使用ff包存储。有没有一种有效的方法来计算协方差矩阵？使用cov函数给出了以下错误： Error in cov(X) : supply both 'x' and 'y' or a matrix-like 'x' 考虑到cov不理解ff对象，这并不奇怪。我目前使用一个简单的嵌套for循环： covarianceMatrix <- matr

0热度

1回答

使用ff包读取大文件时出错

我正在尝试使用“ff”包读取大文件（1.51 GB）。下面的命令使用： atmins = read.csv.ffdf(file="atmins.csv", header=TRUE, VERBOSE=TRUE, first.rows=10000, next.rows=50000, colClasses=NA) 然而，一段时间后，我收到以下错误： Error in UseMet

0热度

1回答

将值重新分配给ffdf中的列[R]

我在更大的数据集中执行以下操作时遇到问题。我想知道是否有内置的方法来使用ff或ffdf来完成它。实施例： require(ffbase) > iris Sepal.Length Sepal.Width Petal.Length Petal.Width Species 1 5.1 3.5 1.4 0.2 setosa 2 4.9 3.0 1.4 0

6热度

2回答

如何处理r语言中的50GB大型csv文件？

我在这里的“大数据处理”里面比较新，希望能找到一些关于如何处理50 GB csv文件的建议。目前的问题是以下几点：表看起来像是： ID,Address,City,States,... (50 more fields of characteristics of a house) 1,1,1st street,Chicago,IL,... # the first 1 is caused by w

3热度

2回答

使用适用于大ffdfs

基本思路是这样的：我有一个大的ffdf（约550万x 136字段）。我知道这个数据框中的一些列有全部是NA的列。我如何找出哪些和适当地删除它们？我的直觉是像做（假设df是ffdf）： apply(X=is.na(df[,1:136]), MARGIN = 2, FUN = sum) 应该给我NA数为每列向量，然后我可以找到哪些具有〜5.5百万NA值，删除它们使用df <- df[,-c(vect

1热度

1回答

一对多在R中使用ffbase

我想使用ffdf复制以下一对多连接。什么是最好的方法来做到这一点？下面我使用data.tables提供了一个我想要得到的例子。我知道merge.ffdf函数的以下说明： “此方法与基础包中的合并相似，但只允许内部和外部外部联接。请注意，联接是基于ffmatch或ffdfmatch完成的：仅限于y中的第一个元素将被添加到x“。但是，我想知道是否有解决方法。 > A <- data.table(c

1热度

1回答

为R中

ffdf对象VLOOKUP方法我有一个名为“数据”的ffdf对象有超过26万行，看起来像这样： Location DateandTime Value 1 1 01/01/2012 00:00:00 0.8 2 42 01/01/2012 00:00:00 0.4 3 14 01/01/2012 00:00:00 0.7 4

1热度

1回答

处理R中的大数据集

我遇到内存问题，R给出Can not allocate vector of size XX Gb错误消息。我有一堆日常文件（12784天），以netcdf格式给出1305x378（经纬度）网格的海面温度。这样每天就可以得到493290分，在移除新地区（陆地点）时减少到约245000。我的最终目标是从日常文件中为任何245000点建立一个时间序列，并找出每个点的时间趋势。我的想法是建立一个每行一个

-1热度

1回答

在移动ff文件后加载ff对象

我有一个CNSet对象，该对象由使用ff包存储的crlmm包创建。我将它保存为RData文件（使用save函数，而不是ffsave）。然后我必须将我的ff文件移动到另一个位置。然后我尝试使用load函数加载对象。但是，当我访问对象的一部分时，出现错误，指出原始位置中的某个ff文件无法找到。我使用ldPath函数设置了新位置，但它仍在旧路径中查找。实施例： library(ff) ldPat

0热度

2回答

解析as.transactions在r

我一直在努力重写我的代码，与data.frames一起工作与ffdf。我有两列，很多做文章后，我已经成功地做了分割，并得到一个列表具有以下外观： data= $A 1 2 3 $B 4 5 6 其中A，B是“篮子”或分组，“1 2 3“特定分组项目。我现在想要的是将这些转换为交易，并希望能够做到先验。我已经尝试了简单 as(i, "transaction") 其工作良好，当“数据”