Hadoop Cassandra集成设计

Question

我有3 Cassandra nodes可以说c1,c2 and c3。我想将Hadoop与Cassandra集成，以便我可以在Hadoop上运行我的猪脚本以从Cassandra读取数据并分析它。所以我有hadoop像这样设置h1 as name-node , h2 as data-node, c1 as data-node and c3 as data-node. Here h2 node is a only hadoop data-node and not with the any Cassandra node。我的问题是while reading and processing data through pig/mapredude does it uses h2 data-node?

Answer 1

纠正我，如果我错了，但是你不需要在所有cassandra节点上安装hadoop datanode？ 我的理解是map-reduce在减少数据之前使用HDFS datanodes存储中间结果。所以我认为H2很有可能被使用。这是我的猜测，我期待着更正