星火与EMR

Question

OpenBLAS我不断收到尝试在EMR实例运行在星火2.1.0的MlLib ALS算法时，臭名昭著的警告：

WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeSystemBLAS 
WARN BLAS: Failed to load implementation from: com.github.fommil.netlib.NativeRefBLAS 

我设法解决我的本地Ubuntu的机器上的问题通过重建Spark将netlib-java与-Pnetlib-lgpl标志一起使用，但有没有办法避免重建默认的EMR Spark版本？我目前正试图通过建立与SBT组装脂肪JAR，把下面的依赖，以规避它：

libraryDependencies += "com.github.fommil.netlib" % "all" % "1.1.2"

虽然组装成功，BLAS警告仍然不运行时火花消失提交。我在EMR上安装了openblas和lapack。

Answer 1

好了，这似乎是不可能与一个胖JAR做的，所以我建星火自定义分配我的本地机器上进行如下：

export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m" 
./dev/make-distribution.sh --name spark --tgz -Phadoop-2.7 -Phive -Phive-thriftserver -Pnetlib-lgpl -Pkinesis-asl -Pspark-ganglia-lgpl 

并取代了/ usr/lib目录/火花目录上EMR与我的构建。那就是诀窍。