从文本文件中读取矩阵作为向量的RDD

Question

我正在尝试从一个标签分隔的文本文件中逐行读取一个大的双精度矩阵。这在Scala/Apache Spark中。

如果我做到以下几点：

VAL实测值= sc.textFile（ “path_to_text_file”）

我得到OBS：org.apache.spark.rdd.RDD [字符串]

然而，要求有一个向量的RDD。你会帮忙吗？

感谢和问候，

Answer 1

像这样的事情可能会为你工作：

final val SEPARATOR_AS_REGEX = ";"//Replace it with your separator regex 
obs.map(line => line.split(SEPARATOR_AS_REGEX).map(
    //Parse the individual elements 
    arr => arr.map(s => parseDouble(s)) 
).map(ds => new DenseVector(ds)))//Convert to the expected type