0
我的数据很好地按分区键组织在Cassandra上。我想检索Spark中的这些数据并保留相同的分区。检索Apache Spark中的Cassandra分区数据
我的目标是避免非常大的洗牌。
PS：我用的卡珊德拉2.1和1.5星火
A
回答
1
星火卡桑德拉连接器读取C *令牌范围为星火分区。这意味着任何给定的Cassandra分区键的所有值都将位于同一个Spark分区中。
https://academy.datastax.com/demos/how-spark-cassandra-connector-reads-data
相关问题
- 1. 使用java中的Apache Spark连接器从Cassandra中检索数据的错误
- 2. Apache Spark的分区
- 3. 基于cassandra表分区键将数据保存在spark中
- 4. 与Cassandra行为的Apache Spark
- 5. Apache Spark DataFrame无RDD分区
- 6. Apache Spark中的分层数据处理
- 7. Apache Spark SQL从Cassandra中获取数十亿行数据？
- 8. Spark将数据插入Cassandra
- 9. 从Cassandra检索数据块
- 10. Hector Cassandra数据检索
- 11. Scala apache spark cassandra表列表
- 12. 在Apache Spark中分割数据帧
- 13. NoClassDefFoundError：spark-cassandra-connector中的org/apache/spark/sql/DataFrame
- 14. Cassandra中节点和分区的区别
- 15. Spark默认分区数
- 16. 使用Apache Spark进行重新分区
- 17. Apache Streaming API的Apache Cassandra数据架构
- 18. Apache Spark中的Jaro-Winkler分数计算
- 19. Cassandra通过线程池检索数据
- 20. 无法从Cassandra检索数据
- 21. 搜索与Apache Cassandra的
- 22. Spark Dataframe的分区数
- 23. 向Cassandra插入数据的Spark作业
- 24. 如何让Cassandra分区在Spark中感觉像一个宽行？
- 25. 在Cassandra中的分区键
- 26. Spark - 搜索空间数据 - 分区修剪
- 27. Spark分区数据多个文件
- 28. Spark数据帧丢失分区
- 29. 来自Apache Spark中Lucene索引的Injest数据
- 30. Apache Cassandra中的财务数据分析建模？
你将不得不制定...默认情况下，这是什么样的火花卡桑德拉连接器一样。 – RussS
@RussS这就是我想知道的。 – poiuytrez