snow

    0热度

    1回答

    我想使用snow::clusterApply并行应用功能。我的函数在函数的一部分中使用临时(预定义)种子,但通常应保持独立的随机数。每个“工作”都有不同的临时种子。 我可以做到以下几点: # setting up cluster of type="SOCK" library(snow) cl <- makeSOCKcluster(2) # this is my function myfu

    8热度

    2回答

    我使用的是doSNOW包,更具体地说是parLapply函数对大栅格数据集(操作系统:Windows x64)列表执行重分类(以及后续的其他操作)。 代码看起来有点像这样简约的例子: library(raster) library(doSNOW) #create list containing test rasters x <- raster(ncol=10980,nrow=10900)

    1热度

    1回答

    我正在Windows机器上运行一个带有雪后端的foreach循环。我有8个内核可以使用。 rscript通过嵌入在python脚本中的系统调用来执行,因此也会有一个活动的python实例。 没有任何好处,没有#workers =#内核,而是#workers < #cores所以总是有系统进程或python实例的开头? 它成功运行#workers =#cores,但是通过使用r工作器实例来饱和内核(

    1热度

    3回答

    我试图在本地主机上完美工作并行运行R.现在我想切换到多节点设置并在同一网络中创建多个虚拟机。然而,当我试图设置群集时,出现以下错误: Error in socketConnection(master, port = port, blocking = TRUE, open = "a+b", : cannot open the connection Calls: <Anonymous> ... d

    1热度

    1回答

    我有一个大的循环,将花费太长时间(〜100天)。我希望能够通过雪库加快速度,但我并不擅长应用报表。这只是循环的一部分,但如果我能把这部分弄清楚,其余部分应该是直截了当的。我可以用一堆apply语句或循环,但是使用函数来获取对象'p'的应用语句将是理想的。 原始数据 dim(m1) == x x # x >>> 0 dim(m2) == y x # y >>> 0, y > x, y > x-10

    0热度

    1回答

    我有一个函数,我动态地建立多个公式作为字符串,并将它们投射到公式为as.formula。然后我使用doSNOW和foreach以并行处理的方式调用该函数,并通过dplyr::mutate_使用这些公式。 当我使用lapply(formula_list, as.formula)时,在并行运行时出现错误could not find function *custom_function*,但在本地运行时工

    0热度

    1回答

    我在集群计算机上运行蒙特卡罗模拟,其中snow和R。一切顺利,直到R打到stopCluster的行,其中R冻结,最后超过了挂墙时间。我没有看到stopCluster的问题。 以下是简化版本我的R脚本。 simu <- function(rep_worker, n_used) { theta_simu <- c() for (i in 1 : rep_worker) {

    2热度

    2回答

    我正在处理大型光栅堆栈,我需要重新采样并剪辑它们。 我读的TIFF文件列表,并创建堆栈: files <- list.files(path=".", pattern="tif", all.files=FALSE, full.names=TRUE) s <- stack(files) r <- raster("raster.tif") s_re <- resample(s, r,method=

    1热度

    2回答

    假设我想以并行方式将myfunction应用于myDataFrame的每一行。假设otherDataFrame是具有两列的数据帧:COLUNM1_odf和COLUMN2_odf由于某些原因在myfunction中使用。所以,我想编写使用parApply这样的代码: clus <- makeCluster(4) clusterExport(clus, list("myfunction","%>%"

    2热度

    1回答

    在R中使用tm包和并行计算时,我遇到了一个问题,我不确定我是在做一些愚蠢的事情还是它是一个错误。 我创建了一个小型可重复的例子: # Load the libraries library(tm) library(snow) # Create a Document Term Matrix test_sentence = c("this is a test", "this is anothe