sqoop导出失败通过oozie

我想输出数据到mysq升从hdfs到sqoop。我能够通过shell运行sqoop并且工作正常。但是当我通过oozie调用时。它出现在错误和失败之后。我还包括罐子。没有desciptive日志sqoop导出失败通过oozie

sqoop脚本：

export --connect jdbc:mysql://localhost/bigdata --username root --password cloudera --verbose --table AGGREGATED_METRICS --input-fields-terminated-by '\0001' --export-dir /bigdata/aggregated_metrics

错误：

Launcher ERROR, reason: Main class [org.apache.oozie.action.hadoop.SqoopMain], exit code [1]

来源

2012-07-19 Harish pranami

我们的问题是HiveServer2，所以sqoop CLI使用Hiveserver1不2. Oozie的sqoop使用HiveServer2，所以我们的LDAP没有安装在HiveServer2服务器上......这就造成了作业运行的问题，但是引发了这个错误，并且没有将数据加载到配置单元中。检查您的蜂巢Metastore日志 – Petro 2017-01-25 22:11:16

你在Oozie的看到的错误回报通常不会提供太多细节。要获得关于哪里出错的更多信息，可以从Oozie操作中获取job_id并在JobTracker日志中搜索它。在那里你会找到更详细的描述。

来源

2012-08-31 08:07:00 udachny

我相信你需要将所有依赖关系的Sqoop jar安装到Oozie中（共享目录或特定的工作流程）。

来源

2012-11-14 23:15:29

嗨@jarek我一直面临同样的问题，没有任何运气。我已经添加了时间戳的共享oozie lib和jdbc驱动程序的sqoop jar仍然面临同样的问题。您能否指出其他需要添加到共享库中的其他jar文件，而不是oozie安装中的oozie/share/lib /目录中的那些jar文件。 – 2015-08-22 19:05:48

我有这个相同的问题。当我将mysql-connector-java.jar库添加到位于job.properties和workflow.xml文件所在的oozie项目根目录内的lib目录中时，这个问题一直存在。

来源

2014-05-30 12:51:18 shane

是的，将mysql-connector-java - *。jar添加到工作流lib目录解决了这个问题。但是很难复制每个sqoop作业的jar。

添加mysql-connector-java - *。jar一次以共享HDFS中的/ lib/sqoop目录更好。

来源

2014-09-19 10:50:43

错误信息在这里不够详细。彼此的事情是，在工作流sqoop动作，可以尝试使用的

\0001

代替

'\0001'

来源

2016-08-30 03:14:03

sqoop导出失败通过oozie

回答

相关问题