本地缓存post map减少占用空间的作业

我正在使用Hortonworks环境进行大数据处理。本地缓存post map减少占用空间的作业

我观察到，作为从Hive/Oozie/Pig等Map Reduce作业的一部分，我的下面的本地缓存目录已经被填满了。它为每个地图创建一个文件夹，以减少jar文件的执行。

/Hadoop的/纱/本地/ usercache /根/ filecache

是不是很好，如果我直接删除这些文件夹？有没有我可以设置自动删除它的配置？

这些目录应该每600000ms（10分钟）自动清理一次。

或者您可以通过在yarn-site.xml, ,yarn.nodemanager.localizer.cache.cleanup.interval-ms中设置此属性来缩短此时间段。

您还可以更改此缓存目录应占用的最大大小， yarn.nodemanager.localizer.cache.target-size-mb。默认的目标大小是10240MB。

如果没有作业正在运行，手动删除缓存就可以了。删除缓存后重新启动nodemanager。

2017-02-13 10:14:42 franklinsijo

其实这两个条目都不存在于我的yarn-site.xml文件中。我将添加它们，并在没有用户使用该系统并且所有作业都完成时重新开始纱线服务。我可以手动删除旧文件夹并重新启动节点管理器吗？ –

是的，手动删除很好。作业完成后，不需要旧的缓存。 – franklinsijo

我只应用了更改yarn.nodemanager.localizer.cache.cleanup.interval-ms并重新启动yarn和nodemanager服务。但是文件夹没有清除。我错过了什么吗？ –

回答