如何在成功时保留PIG作业日志文件。

Question

我注意到，当运行PIG脚本时出现错误时，会生成并保存日志。但是当没有错误时，日志文件被删除。即使作业成功，是否有办法保留日志文件？

Answer 1

默认情况下，错误（例如脚本解析错误）记录到pig.logfile，可以在$PIG_HOME/conf/pig.properties中设置。如果您也想记录状态消息，则准备一个有效的log4j.properties文件并将其设置在log4jconf属性中。

如：重命名log4j.properties.template在$ PIG_HOME/conf目录log4j.properties并设置如下：

log4j.logger.org.apache.pig=info, B 

# ***** A is set to be a ConsoleAppender. 
#log4j.appender.A=org.apache.log4j.ConsoleAppender 
# ***** A uses PatternLayout. 
#log4j.appender.A.layout=org.apache.log4j.PatternLayout 
#log4j.appender.A.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n 

# ***** B is set to be a FileAppender. 
log4j.appender.B=org.apache.log4j.FileAppender 
#log4j.appender.B.File=/home/user/pig-distrib/logs/pig_success.log 
log4j.appender.B.File=/home/user/pig-distrib/logs/pig.log 
log4j.appender.B.layout=org.apache.log4j.PatternLayout 
log4j.appender.B.layout.ConversionPattern=%-4r [%t] %-5p %c %x - %m%n 
log4j.appender.B.Append=true 

当使用猪v0.10.0（r1328203），我发现，一个成功的猪任务不会将作业的历史日志写入hdfs上的输出目录。
（hadoop.job.history.user.location=${mapred.output.dir}/_logs/history/）

如果要通过再设置你的猪脚本mapred.output.dir这样一切手段有这些历史：一旦log4j.properties文件准备

set mapred.output.dir '/user/hadoop/test/output'; 

Answer 2

，打开pig.properties文件，取消以下内容：

log4jconf = $ PIG_HOME/conf目录/ log4j.properties

Answer 3

碰碰旧线

简单的方法是重定向输出

pig -f pig-file 2> xyz.log -- this will give just the logs 
pig -f pigfile &> xyz.log -- logs + stdout(dumps)