R中当并行运算遇到C++函数时,让foreach+Rcpp一起工作

目录

方案一:C++函数在R包中

方案二:C++函数在本地,通过Rcpp::sourceCpp("fun_name.cpp")使用

方案三:将C++函数写在当前脚本中

题外话:为什么要研究foreach+Rcpp?

本文参考:


问题:在foreach中使用Rcpp的函数无法工作

相关问题描述链接

cl <- makePSOCKcluster(8)

registerDoParallel(cl)

rows <- foreach(i=1:8,.combine=rbind,.packages="myPackage") %dopar% multiGenerateCSVrow(scoreMatrix=NIsample,

validMatrix = matrix(1,nrow=10,ncol=10),

cutoffVector = rep(0,10),

factorVector = randomsCutPlus1[i,],

actualVector = rep(1,10),

scaleSample = 1)

stopCluster(cl)

~

Error in multiGenerateCSVrow(scoreMatrix = NIsample, validMatrix = matrix(1, :

task 1 failed - "NULL value passed as symbol address"

中文错误:"NULL值不能当作符号地址用" expression

英文错误:"NULL value passed as symbol address"

如何将foreach和Rcpp结合起来呢?有如下解决方案:

方案一:C++函数在R包中

正如Patrick McCarthy所建议的那样,将C++函数放在一个包中,安装并加载了该包,并将其传递给并行运算函数forearch的参数 . packs=("...")

这种方法使用的前提,要将C++函数封装在一个R包中。如果是别人包中的c++函数,可以直接使用这种方式,如果是自己编写的C++函数,这种方式过于复杂,复杂原因在于需要打包成一个R函数,麻烦一些。

方案二:C++函数在本地,通过Rcpp::sourceCpp("fun_name.cpp")使用

不需要将C++函数存放在一个R包中,只需要在foreach函数中添加两行语句即可

  • library(Rcpp) #加载Rcpp包,因为sourceCpp()函数是Rcpp中的函数
  • sourceCpp("fun_name.cpp") #存放在的C++函数

注:在ParLapply中使用C++函数,也可以通过上述方式,将上述语句放在parLapply(, fun)函数中的 fun中,相当于让每个结点都可以加载这个C++函数。

其中foreach()函数循环体内的 library(Rcpp) 可以替换成foreach(..., .packs="Rcpp") 。

下面是个例子:

R 复制代码
cl = makeCluster(n_cores, outfile="")
registerDoParallel(cl)

foreach(n = 1:N,.packages = "Rcpp",.noexport = "<name of Rccp function>")%dopar%{
  source("Scripts/Rccp_functions.R")
  ### do stuff with functions scripted in Rccp_functions.R
}

stopImplicitCluster()

方案三:将C++函数写在当前脚本中

在foreach函数中添加参数 .noexport = c(<Functions that were implemented in C++>)

可能原因:C++函数从全局环境导入到并行中,但是,由于它们不是普通的函数,它们实际上并不起作用。这确实意味着这些C++函数必须在每个节点上单独加载;在我的例子中,这是一个SNOW clusterCall()调用,它获取了各种文件,包括C++代码。

可参考:

R 复制代码
worker.init <- function() {
  library(inline)
  sigFunc <- signature(x="numeric", size_x="numeric")
  code <- ' double tot =0;
  for(int k = 0; k < INTEGER(size_x)[0]; k++){
  tot += REAL(x)[k];
  };
  return ScalarReal(tot);
  '
  assign('cFunc', cxxfunction(sigFunc, code), .GlobalEnv)
  NULL
}

f1 <- function(){
  x <- rnorm(100)
  a <- cFunc(x=x, size_x=as.integer(length(x)))
  return(a)
}

library(foreach)
library(doParallel)
cl <- makePSOCKcluster(3)
clusterCall(cl, worker.init)
registerDoParallel(cl)
res <- foreach(counter=1:100) %dopar% f1()

题外话:为什么要研究foreach+Rcpp?

明明parLapply+Rcpp可以使用了,执行并行的时候用parLapply+Rcpp就好。但是,有些时候,循环体中某次循环会坏掉,这种时候希望让程序跳过坏掉的次数,继续执行下去,这样避免了因为某次循环换掉,导致前面运行的都废掉了,花费的时间也白费了。而foreach函数中有一个好的参数 .errorhandling = c("stop", "remove", "pass"), 设置.errorhanding="pass",这样当某次循环因为某些原因坏掉时,程序自动跳过这次循环,然后继续运行,最终返回所有循环的值。

关于foreach函数的介绍可以看:使用foreach函数_饮食有度的元气少女的博客-CSDN博客

本文参考:

r - Can't run Rcpp function in foreach - Stack Overflow

相关推荐
车队老哥记录生活14 小时前
【MPC】模型预测控制笔记 (3):无约束输出反馈MPC
笔记·算法
写代码的小阿帆14 小时前
LDStega论文阅读笔记
论文阅读·笔记
Cai junhao14 小时前
【Qt】Qt控件
开发语言·c++·笔记·qt
LuLaLuLaLeLLLLLL14 小时前
Elastic Search 学习笔记
笔记·学习
Resurgence0314 小时前
原型模式Prototype Pattern
笔记·原型模式
程序员大宝10115 小时前
如何设计三高架构
笔记
成都犀牛15 小时前
LangGraph 深度学习笔记:构建真实世界的智能代理
人工智能·pytorch·笔记·python·深度学习
sealaugh3216 小时前
docker(学习笔记第一课) 使用nginx +https + wordpress
笔记·学习·docker
村头的猫16 小时前
如何通过 noindex 阻止网页被搜索引擎编入索引?
前端·经验分享·笔记·搜索引擎
Resurgence0317 小时前
建造者模式Builder Pattern
笔记·建造者模式