doparallel

    0热度

    1回答

    我有一个很大的语料库,我正在与tm::tm_map()进行转换。由于我使用托管的R Studio,因此我有15个内核,并希望利用并行处理来加快速度。 没有共享一个非常大的语料库,我简直无法用虚拟数据重现。 我的代码如下。对问题的简短描述是在控制台中手动循环切片,但在我的函数内部不这样做。 函数“clean_corpus”将语料库作为输入,将其分解成片段并保存到临时文件以帮助解决内存问题。然后该函数

    0热度

    1回答

    library(doParallel) library(RMySQL) no_cores <- as.integer(system('getconf _NPROCESSORS_ONLN', intern = TRUE)) - 1 cluster <- makeCluster(no_cores) registerDoParallel(cl) clusterEvalQ( clus

    0热度

    1回答

    我正尝试使用phyper函数从R执行富集分析。我写的代码给了我准确的结果,但当矩阵的大小增加时,它会一直持续下去。以下是621 * 1860矩阵的可重现示例。但是,当矩阵的大小增加到6210 X 24000时,即使我在多核上运行,也需要将近一天才能完成。我想知道是否有一种方法来优化相同。 请从评论中的可共享链接下载三个RObjects。 ## Main Functions GetEnriched

    0热度

    2回答

    我想在R(包foreach + doParallel)中使用“foreach”循环,但在我的工作中,我发现循环返回一些NA,经典的“for”循环返回值我想: library(foreach) library(doParallel) ncore=as.numeric(Sys.getenv('NUMBER_OF_PROCESSORS'))-1 registerDoPar

    2热度

    1回答

    结合功能回路的foreach下面的代码: df <- foreach(i = 1:length, .combine = cbind) %dopar% { ... ... m4 } 给我一个错误: error calling combine function: <simpleError in data.frame(..., check.names = FALSE): arguments

    0热度

    1回答

    在写入文件时,我很难并行化R来优化函数调用的速度。该功能很简单,但它创建的文件很庞大,而且花费的时间也不合理。我一直在使用profvis来查看时间正在发生的地方,看起来嫌疑人在函数结尾处的cat语句中,以及在写入输出文件时的捕获步骤中。我在下面包含了一个简化的,小型的,可重现的示例脚本,但实际的文件非常庞大,我正在超级计算集群上运行它们。以书面形式并行运行代码并不会增加速度,但是我不知道如何构造f

    1热度

    1回答

    我正试图编写一个R包,它包含foreach语句和doMPI后端内的几个嵌套函数。它抛出一个“无法找到”XXX“对象错误,奇怪的是,如果我使用doParallel作为后端,这个错误不会发生,这是一个问题的例子,但我可以使用一个工作解决方案,doMPI更大的问题。 这是使用RStudio,roxygen已编译为R-Package中的代码,devtools等 #' Test function level

    2热度

    1回答

    我运行以下示例代码以模拟值,下面是4个内核的使用情况快照。需要一段时间才能全部使用所有核心,我想了解正在发生的事情,最终如何使其更快。 library(doParallel) library(data.table) data<-data.table(a=runif(10000000),b=runif(10000000),quantile=runif(10000000)) e <- nro

    0热度

    1回答

    我已经成功地并行化的功能 - 我们称之为AddOne - 通过doParallel包,foreach和%dopar%和我很熟悉.packages和.export自变量为foreach。 我的问题是,我想AddOne,而不是一个“独立”功能,是一个列表的元素,在这种情况下,我不能让事情工作。具体而言,如果AddOne调用子程序AddOneSubroutine,则AddOneSubroutine在“工

    0热度

    2回答

    我有一个(大)神经网络正在R中的nnet包训练。我想能够模拟这个神经网络的预测,并且在并行使用像foreach这样的东西,我之前用过的成功(全部在Windows机器上)。 我的代码的基本形式 library(nnet) data = data.frame(out=c(0, 0.1, 0.4, 0.6), in1=c(1, 2, 3, 4), in2=c(10,