我一直在Scala中使用Spark。我现在正在研究pySpark和SparkR。我没有看到为PySpark和SparkR提到的流式传输。是否有人知道在使用Python和R时是否可以使用Spark流?sparkR流媒体?
1
A
回答
4
Spark现在支持1.3中的pySpark流媒体。并且可以在https://github.com/hlin09/spark/tree/SparkR-streaming中找到SparkR流的实现。
1
目前(自Spark 1.1起),Spark Streaming仅在Scala & Java中受支持。如果您想要使用特定的R程序或Python程序,则可以查看RDD上的管道接口以及DStream上的转换函数。这有点尴尬,但它可能是目前在Spark Streaming中使用Python或R代码最简单的方法。
0
sparkR流不可用,直到最新版本的Apache 2.1.1火花
但我们可以用sparkR流从GitHub使用MVN
https://github.com/hlin09/spark/tree/SparkR-streaming
构建火花,那么你就可能把做sparkR流媒体。
相关问题
- 1. 用nginx流媒体(流畅流媒体)
- 2. 在wowza媒体流安全流媒体
- 3. Youtube流媒体
- 4. 流媒体到Adobe媒体服务器
- 5. Android媒体播放器流媒体
- 6. 通过udp流媒体h264/aacplus媒体
- 7. 流媒体直播Icecast流
- 8. Twitter流媒体API
- 9. ReadTimeoutError:Twitter流媒体API
- 10. Android MediaRecorder流媒体
- 11. 流媒体元素
- 12. 流媒体长度
- 13. 流媒体视频
- 14. 流媒体视频达尔文流媒体服务器问题
- 15. Android上的PHP媒体流
- 16. 避免420流媒体API?
- 17. 保存媒体流过滤
- 18. PetitFS流媒体阅读
- 19. twitter4j流媒体推文
- 20. iOS流媒体MP3文件
- 21. 流媒体音频文件
- 22. 流媒体Tweet搜索TweetSharp
- 23. Gstreamer中的Adtive流媒体
- 24. HLS Nginx和流媒体
- 25. Android中的流媒体.asx
- 26. WCF流媒体文件
- 27. Android VideoView流媒体问题
- 28. 流媒体摄像头rtmp
- 29. iPhone音频流媒体
- 30. VLC麻烦流媒体
Spark Streaming的Python支持应该很快添加!有一个开放的拉请求:https://github.com/apache/spark/pull/2538 – 2014-10-01 00:50:19