PIG命令执行

我在学习Hadoop，所以我不确定我问的是甚至是一个问题。当我运行命令pig -x local在本地运行它，我得到以下信息：PIG命令执行

 

    15/10/05 15:23:28 INFO pig.ExecTypeProvider: Trying ExecType : LOCAL 
    15/10/05 15:23:28 INFO pig.ExecTypeProvider: Picked LOCAL as the ExecType 
    2015-10-05 15:23:28,830 [main] INFO org.apache.pig.Main - Apache Pig version 0.15.0 (r1682971) compiled Jun 01 2015, 11:44:35 
    2015-10-05 15:23:28,831 [main] INFO org.apache.pig.Main - Logging error messages to: /home/nkhl/pig_1444038808829.log 
    2015-10-05 15:23:29,050 [main] INFO org.apache.pig.impl.util.Utils - Default bootup file /home/nkhl/.pigbootup not found 
    2015-10-05 15:23:29,333 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - fs.default.name is deprecated. Instead, use fs.defaultFS 
    2015-10-05 15:23:29,334 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - mapred.job.tracker is deprecated. Instead, use mapreduce.jobtracker.address 
    2015-10-05 15:23:29,335 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:/// 
    2015-10-05 15:23:29,562 [main] INFO org.apache.hadoop.conf.Configuration.deprecation - io.bytes.per.checksum is deprecated. Instead, use dfs.bytes-per-checksum

它看起来我的网上家教的屏幕上的不同，所以我有点糊涂了。

我最关心的是deprecation部分。有人可以帮我吗？它想说什么？不要误解我的意思，一切正常。 GRUNT外壳加载，并且事情执行得很好。我只是想知道这意味着什么。

这是一台Ubuntu机器。

谢谢！

来源

2015-10-05 Anonymous Person

您是否问过一般不推荐使用的警告，或者您想了解每个值在“已弃用”警告中的作用？如果一般情况下，那么你的在线导师可能使用了一个使用某些变量的以前的版本。这些变量已被废弃或退役，并由警告中建议的新变量名替换。但是，旧的变量名仍然被接受，并且没有错误。 – proutray

谢谢你。所以这些线路没有任何问题，是吗？ –

在我看来，认为他们是警告。 – proutray

您有一些与Hadoop相关的变量集，例如HADOOP_HOME或HADOOP_PREFIX或HADOOP_CONF_DIR，如果您在本地模式下运行Pig，则不需要这些变量。

unset HADOOP_HOME 
unset HADOOP_PREFIX 
unset HADOOP_CONF_DIR

弃用并不可怕。他们提醒说，代码正在调用一些最终会在未来版本中消失的东西。这些特定的弃用是由Hadoop 1与Hadoop 2之间的差异引起的。Pig与这两个版本兼容。如果您碰巧使用Hadoop 1.2.1而不是2.x，则不会看到警告。这是因为Pig首先检查Hadoop 1的值。

如果您有兴趣了解更多信息，可以查看Pig源代码。 https://github.com/apache/pig/blob/release-0.15.0/src/org/apache/pig/backend/hadoop/executionengine/HExecutionEngine.java#L219-L222

来源

2015-10-05 20:14:30

我将需要MR模式（可能在稍后的状态）来学习。你在说那里有那些线吗？ –

运行猪地方是伟大据我所知，如果你正在使用一些快速testing.Like在UDF等显示系统输出你可以放心地ignore.It是说，一些变量中的conf设定的上述警告-site.xml已被弃用。

您可以通过编辑

log4j.logger.org.apache.hadoop.conf.Configuration.deprecation

在log4j.properties文件关闭这些参数。

来源

2015-10-06 19:31:14 maanoor99

回答

相关问题