获得第一个元素（取功能）的DSTREAM

Question

我寻找一种方式来检索作为创建DSTREAM的第一要素：

val dstream = ssc.textFileStream(args(1)).map(x => x.split(",").map(_.toDouble)) 

不幸的是，没有采取功能（如在RDD ）在dstream // dstream.take（2）!!!

有人可以有任何想法如何做到这一点？谢谢

Answer 1

您可以在DStream对象中使用transform方法，然后获取输入RDD的n个元素并将其保存到列表中，然后过滤要包含在此列表中的原始RDD。这将返回一个包含n个元素的新DStream。

val n = 10 
val partOfResult = dstream.transform(rdd => { 
    val list = rdd.take(n) 
    rdd.filter(list.contains) 
}) 
partOfResult.print 

Answer 2

先前建议的解决方案并没有编译我作为取（）方法返回一个阵列，是不可序列因而火花流将失败，java.io.NotSerializableException。

在前面的代码为我工作的简单变化：

val n = 10 
val partOfResult = dstream.transform(rdd => { 
    rdd.filter(rdd.take(n).toList.contains) 
}) 
partOfResult.print