在单节点集群上使用分布式缓存和FileReader

Question

需要多个节点集群或单个节点集群才能使用分布式缓存。 FileReader是否可以通过提供文件路径直接打开存储在HDFS中的文件。

Answer 1

它实际上不是必须的。使用分布式缓存的主要目的是使资源可用于在整个集群中的所有节点上运行的所有映射器或简化器，这在单台机器上没有太大意义。在单个节点的hadoop集群上，你可以在你的mapreduce代码中拥有一个全局变量，这可以做到这一点。