Matrix Math With Sparklyr

Question

想要将一些R代码转换为Sparklyr，函数如lmtest :: coeftest（）和sandwich :: sandwich（）。想上手Sparklyr扩展，但漂亮的新星火API和有问题:(

运行星火2.1.1和sparklyr 0.5.5-9002

感受第一步将是使一个DenseMatrix对象使用linalg库：

library(sparklyr) 
library(dplyr) 
sc <- spark_connect("local") 

rows <- as.integer(2) 
cols <- as.integer(2) 
array <- c(1,2,3,4) 

mat <- invoke_new(sc, "org.apache.spark.mllib.linalg.DenseMatrix", 
        rows, cols, array) 

这将导致错误：

Error: java.lang.Exception: No matched constructor found for class org.apache.spark.mllib.linalg.DenseMatrix 

好了，所以我有一个Java郎例外，我敢肯定牛逼他rows和cols args在构造函数中没有问题，但不知道最后一个，它应该是java Array。于是，我的几个排列：

array <- invoke_new(sc, "java.util.Arrays", c(1,2,3,4)) 

但类似的错误消息结束了......

Error: java.lang.Exception: No matched constructor found for class java.util.Arrays 

我觉得我失去了一些东西基本相当。任何人都知道发生了什么？在Java Array的

Answer 1

[R对应的是list：

invoke_new(
    sc, "org.apache.spark.ml.linalg.DenseMatrix", 
    2L, 2L, list(1, 2, 3, 4)) 

## <jobj[17]> 
## class org.apache.spark.ml.linalg.DenseMatrix 
## 1.0 3.0 
## 2.0 4.0 

或

invoke_static(
    sc, "org.apache.spark.ml.linalg.Matrices", "dense", 
    2L, 2L, list(1, 2, 3, 4)) 

## <jobj[19]> 
## class org.apache.spark.ml.linalg.DenseMatrix 
## 1.0 3.0 
## 2.0 4.0 

请注意我用的o.a.s.ml.linalg代替o.a.s.mllib.linalg。虽然mllib将独立工作，但Spark 2.x o.a.s.ml算法不再接受本地o.a.s.mllib。

同时使用R vector类型（numeric,integer,character）作为标量。

注意：

个人而言，我相信这不是要走的路。 Spark linalg软件包相当有限，内部依赖于库，这些库不能通过sparklyr使用。此外，sparklyr API不适合复杂的逻辑。

实际上，使用R，R友好包装器实现Java或Scala扩展更有意义。