使用猪脚本删除文件的第一行和最后一行

Question

我想使用猪脚本在HDFS中删除我的文件的第一行和最后一行/最后一行。我试图实现这个使用排名和它的工作，但我应该知道去除它的最后排名数字，但我的文件是动态的，它可以有更多或更少的行，对于这种情况下，我无法找到任何东西。请帮助

编辑： 我的数据是巨大的，所以我不能创建架构并不能组他们使用MIN（）如何实现这一目标？

Answer 1

一旦您有Rank可用，您可以通过MIN和MAX eval函数的平均值得到您想排除的第一个和最后一个排名（即文件的第一行和最后一行）。这样你就不需要对排名过滤器进行硬编码。

1. Eval function MAX
2. Eval function MIN

注：这是猪的版本0.16.0。