Hadoop分布式缓存可以包含文件夹还是仅包含文件？

Question

对于一个项目，我需要向mappers提供几个配置文件，但它们包含在不同的文件夹中。文件夹结构必须保留。

可以在分布式缓存中创建目录树，并在分布式缓存中访问该文件夹树中特定位置的文件？

感谢，

Answer 1

看一看的API documentation。非常清楚你能做什么或不能做什么。您只需将文件添加到缓存中，不包含任何路径。但是，您可以包含一个存档，并且该存档可以具有将在客户端中重新创建的目录结构。

编辑：添加了关于用户案例的以下信息。

所有的mapper都会读取所有的配置文件，还是只读取其中的一部分？如果是后者，那么你应该考虑在HDFS中创建文件夹结构。如果不同的映射器正在读取不同的文件，那么使用分布式缓存将不会有优势。