0
是否可以将RDD [CassandraRow]转换为RDD [String]？如果是这样，对转换后的RDD有什么不利之处？将RDD [CassandraRow]转换为RDD [String]
A
回答
0
您可以使用sqlContext从Cassandra表中读取数据，它会返回一个DataFrame，并且当您使用sparkContext读取文本文件时，它将返回RDD，然后您可以将其转换为DataFrame。
如果您的文本文件是CSV，Spark 2.0支持csv数据源，它会通过deafult返回一个DataFrame。请参阅本.. https://spark.apache.org/releases/spark-release-2-0-0.html#new-features和https://github.com/databricks/spark-csv/issues/
更新：
https://databricks.com/blog/2015/04/13/deep-dive-into-spark-sqls-catalyst-optimizer.html
相关问题
- 1. 加入CassandraTableScanRDD [CassandraRow]与RDD [String]
- 2. 我应该如何将RDD [String]转换为RDD [（String，String）]？
- 3. 将RDD [Map [String，Double]]转换为RDD [（String，Double）]
- 4. 如何将RDD [List [String]]转换为RDD [String]
- 5. Spark：如何将RDD [（Long，Iterable [String]）]转换为RDD [（Long，String）]？
- 6. 将RDD [Array [Row]]转换为RDD [Row]
- 7. 将RDD [Long，String，Long]转换为sql.DataFrame
- 8. 将Rdd [矢量]转换为Rdd [双]
- 9. 如何将选项[RDD]转换为RDD
- 10. 将RDD [org.apache.spark.sql.Row]转换为RDD [org.apache.spark.mllib.linalg.Vector]
- 11. 转换字符串RDD为Int RDD
- 12. Pyspark：将RDD转换为RowMatrix
- 13. 将RDD转换为DataFrame
- 14. 将iterable转换为RDD
- 15. 对RDD转换
- 16. 将RDD转换为地图列表
- 17. Spark：将RDD [（Long，Array [Double]）]转换为RDD [（Long，Long，Double）]
- 18. Spark：scala - 如何将RDD的集合转换为另一个RDD
- 19. 如何将JSON的RDD转换为Dataframe？
- 20. 如何将Array [Row]转换为RDD [Row]
- 21. spark将spark-SQL转换为RDD API
- 22. 将生成的Rdd转换为HashMap
- 23. 将JDBC ResultSet转换为Spark RDD/DataFrame
- 24. 将Rdd转换为数据帧
- 25. 将RDD转换为可迭代：PySpark？
- 26. 将Json对象序列转换为Rdd
- 27. 将类对象转换为Java RDD
- 28. 如何将RDD [List [Int]]转换为DataFrame？
- 29. 将RDD转换为应急表：Pyspark
- 30. 将numpy矩阵转换为pyspark rdd
使用'rdd.map'功能，您可以转换为另一种形式 – Shankar
会有任何性能损失为我的RDD将是巨大的？ – BDR
需要更多细节，为什么您要将一种形式的RDD转换为另一种形式，并且还要将RDD分布在多个节点中。它旨在处理巨大的数据。 – Shankar