oozie在shell脚本中运行Sqoop命令

我可以在脚本中编写sqoop导入命令并以oozie身份执行它作为协调器工作流吗？oozie在shell脚本中运行Sqoop命令

我已经厌倦了这样做，发现错误没有发现说sqoop命令，即使我给的绝对路径sqoop执行

script.sh如下

sqoop import --connect 'jdbc:sqlserver://xx.xx.xx.xx' -username=sa -password -table materials --fields-terminated-by '^' -- --schema dbo -target-dir /user/hadoop/CFFC/oozie_materials

和我已经放在HDFS文件，并给Oozie的其path.The工作流程如下：

<workflow-app xmlns='uri:oozie:workflow:0.3' name='shell-wf'> 
<start to='shell1' /> 
<action name='shell1'> 
    <shell xmlns="uri:oozie:shell-action:0.1"> 
     <job-tracker>${jobTracker}</job-tracker> 
     <name-node>${nameNode}</name-node> 
     <configuration> 
      <property> 
       <name>mapred.job.queue.name</name> 
       <value>${queueName}</value> 
      </property> 
     </configuration> 
     <exec>script.sh</exec> 
     <file>script.sh#script.sh</file> 
    </shell> 
    <ok to="end" /> 
    <error to="fail" /> 
</action> 
<kill name="fail"> 
    <message>Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message> 
</kill> 
<end name='end' />

oozie在mapreduce日志中找不到sqloop命令时返回错误。

那么这是一个很好的做法？

谢谢

来源

2015-03-19 Hussain Shaik

shell动作将作为映射器任务运行，如您所观察到的。 sqoop命令需要在映射器运行的每个数据节点上存在。如果确保sqoop命令行在那里并且对提交作业的用户具有适当的权限，那么它应该可以工作。

验证的方式可以是：

ssh来的Datanode为特定用户
运行命令行sqoop，看看它的工作原理

来源

2015-03-23 23:58:32

我已经说过，但oozie返回一个JA018错误代码和消息作为'Main类[org.apache.oozie.action.hadoop.ShellMain]，退出代码[1]'。我已经指出oozie sqoop的sharelibs，但它返回该错误。 – 2015-03-24 10:36:24

你解决了这个问题吗？我面临同样的问题。如果你能帮助Hussain Shaik，那将非常棒 – 2015-04-02 14:33:12

尝试添加sqljdbc41.jar SQLSERVER驱动程序添加到您的HDFS并在您的workflow.xml中添加归档标签，然后尝试运行oozie工作流程运行命令：

<archive>${HDFSAPATH}/sqljdbc41.jar#sqljdbc41.jar</archive>

如果存在问题then..add蜂房的site.xml下面的属性，

javax.jdo.option.ConnectionURL 
hive.metastore.uris

保持蜂房的site.xml在HDFS，并在workflow.xml添加文件标签，并重新启动了Oozie workflow.xml

来源

2015-06-19 12:01:06

oozie在shell脚本中运行Sqoop命令

回答

相关问题