乘两个PySpark

Question

numpy的矩阵比方说，我有这两个numpy的数组：

A = np.arange(1024 ** 2, dtype=np.float64).reshape(1024, 1024) 
B = np.arange(1024 ** 2, dtype=np.float64).reshape(1024, 1024) 

，我对其执行以下操作：

np.sum(np.dot(A, B)) 

现在，我希望能够基本上使用PySpark使用相同的矩阵执行相同的计算，以便使用Spark集群实现分布式计算。

有谁知道或有样本在PySpark中沿着这些线做了些什么？

非常感谢您的帮助！

Answer 1

从这个post使用as_block_matrix方法，你可以做以下的（但见@kennytm的评论为什么这种方法可以为更大的矩阵慢）：

import numpy as np 
from pyspark.mllib.linalg.distributed import RowMatrix 
A = np.arange(1024 ** 2, dtype=np.float64).reshape(1024, 1024) 
B = np.arange(1024 ** 2, dtype=np.float64).reshape(1024, 1024) 

from pyspark.mllib.linalg.distributed import * 

def as_block_matrix(rdd, rowsPerBlock=1024, colsPerBlock=1024): 
    return IndexedRowMatrix(
     rdd.zipWithIndex().map(lambda xi: IndexedRow(xi[1], xi[0])) 
    ).toBlockMatrix(rowsPerBlock, colsPerBlock) 

matrixA = as_block_matrix(sc.parallelize(A)) 
matrixB = as_block_matrix(sc.parallelize(B)) 
product = matrixA.multiply(matrixB)