WSO2 external hadoop

Question

我们希望将我们的WSO2 BAM 2.0.1连接到外部hadoop群集（完全分布式）。我跟着这个链接设置

Configuring Apache Hive

然而，当我跑我的蜂巢脚本，我得到以下错误

值java.sql.SQLException：查询返回非零代码：9，原因：失败：执行错误，从org.apache.hadoop.hive.ql.exec.MapRedTask

这个蜂巢脚本正常工作与当地的Hadoop模式返回码-101 ...

我需要做出蜂巢脚本的任何变化，以及与外部的Hadoop集群工作时..

这些都是我在控制台中看到的错误..

TID：[0] [BAM] [2013-01-16 09：42：36,583]信息{org.apache.hadoop.hive.ql.exec.Utilities} - 未针对hdfs：// r4p8n0c：9000/user/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.hadoop.hive.ql.exec.Utilities}
TID：[0] [BAM] [2013-01-16 09：42：36,583] INFO {org.apache.hadoop.hive.ql。 exec.Utilities} - 未针对hdfs：// r4p8n0c：9000/user/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.had oop.hive.ql.exec.Utilities}
TID：[0] [BAM] [2013-01-16 09：42：36,590]信息{org.apache.hadoop.hive.ql.exec.ExecDriver} - 添加非本地表hdfs：// r4p8n0c：9000/user/hive/warehouse_wso2-1234/aeanalyticstable_demo {org.apache.hadoop.hive.ql.exec.ExecDriver}
TID：[0] [BAM] [2013- 01-16 09：42：36,590] INFO {org.apache.hadoop.hive.ql.exec.ExecDriver} - 添加一个非本地表hdfs：// r4p8n0c：9000/user/hive/warehouse_wso2-1234/aeanalyticstable_demo { org.apache.hadoop.hive.ql.exec.ExecDriver}
TID：[0] [BAM] [2013-01-16 09：42：36,832]错误{org.apache.hadoop.hive.ql.Driver} - 失败：执行错误，从org.apache.hadoop.hive.ql.exec.MapRedTask {org.apache.hadoop.hive.ql.Driver}返回代码-101
TID：[0] [BAM] [2013- 01-16 09：42：36,832] ERROR {org.ap ache.hadoop.hive.ql.Driver} - FAILED：执行错误，从org.apache.hadoop.hive.ql.exec.MapRedTask返回代码-101 {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,833] INFO {org.apache.hadoop.hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID ：[0] [BAM] [2013-01-16 09：42：36,834] INFO {org.apache.hadoop .hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID：[0] [BAM] [2013-01-16 09：42：36,834] INFO {org.apache.hadoop .hive.ql.Driver} - {org.apache.hadoop.hive.ql.Driver}
TID：[0] [BAM] [2013-01-16 09：42：36,834] ERROR {org.wso2.carbon .analytics.hive.impl.HiveExecutorServiceImpl} - 执行Hive脚本时出错。
查询返回的非零代码：9，原因：FAILED：执行错误，从org.apache.hadoop.hive.ql.exec.MapRedTask返回代码-101 {org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl }
java.sql。SQLException：查询返回的非零代码：9，原因：FAILED：执行错误，从org.apache.hadoop.hive.ql.exec.MapRedTask返回代码-101
at org.apache.hadoop.hive.jdbc.HiveStatement .executeQuery（HiveStatement.java:189）
在org.wso2.carbon.analytics.hive.impl.HiveExecutorServiceImpl $ ScriptCallable.call（HiveExecutorServiceImpl.java:325）
在org.wso2.carbon.analytics.hive.impl .HiveExecutorServiceImpl $ ScriptCallable.call（HiveExecutorServiceImpl.java:225）
在java.util.concurrent.FutureTask中$ Sync.innerRun（FutureTask.java:303）
在java.util.concurrent.FutureTask.run（FutureTask.java ：138）
at java.util.concurrent.Thr eadPoolExecutor $ Worker.runTask（ThreadPoolExecutor.java:886）
在java.util.concurrent.ThreadPoolExecutor中的$ Worker.run（ThreadPoolExecutor.java:908）
在java.lang.Thread.run（Thread.java:662）
TID：[0] [BAM] [2013-01-16 09：42：36,848] ERROR {org.wso2.carbon.analytics.hive.ui.client.HiveExecutionClient} - 执行Hive script.Query时出错返回非-zero code：9，cause：FAILED：Execution Error，return code -101 from org.apache.hadoop.hive.ql.exec.MapRedTask {org.wso2.carbon.analytics.hive.ui.client.HiveExecutionClient}

org.wso2.carbon.analytics.hive.stub.HiveExecutionServiceHiveExecutionException：HiveExecutionServiceHiveExecutionException
在sun.reflect.NativeConstructorAccessorImpl.newInstance0（本机方法）
在sun.reflect.NativeConstructorAccessorImpl.newInstance（NativeConstructorAccessorImpl.java:39）
在sun.reflect.DelegatingConstructorAccessorImpl.newInstance（DelegatingConstructorAccessorImpl.java:27）
在java.lang.reflect.Constructor.newInstance（Constructor.java:513）
at java.lang.Class.newInstance0（Class.java:355）
at java.lang.Class.newInstance（Class.java:308） （HiveExecutionServiceStub.java:215）
在org.wso2.carbon.analytics.hive.ui.client.HiveExecutionClient.executeScript（HiveExecutionClient.java:66）
在org.apache.jsp.hive_002dexplorer.queryresults_jsp._jspService（queryresults_jsp.java:90）
在org.apache.jasper.runtime.HttpJspBase.service（HttpJspBase.java:97）
在javax.servlet.http.HttpServlet.service（HttpServlet.java:722）
在org.apache.jasper.servlet.JspServletWrapper。服务（JspServletWrapper.java:332）
在org.apache.jasper.servlet.JspServlet.serviceJspFile（JspServlet.java:314）
在org.apache.jasper.servlet.JspServlet.service（JspServlet.java:264）
在javax.servlet.http.HttpServlet.service（HttpServlet.java:722）
在org.wso2.carbon.ui.JspServlet.service（JspServlet.java:161）
在org.wso2.carbon.ui。 TilesJspServlet.service（TilesJspServlet.java:80）
在javax.servlet.http.HttpServlet.service（HttpServlet.java:722）
在org.eclipse.equinox.http.helper.ContextPathServletAdaptor.service（ContextPathServletAdaptor.java： 36）
at org.eclipse.equinox.http.servlet.internal.ServletRegistration.handleRequest（ServletRegistration.java:90）
at org.eclipse.equinox.http.servlet.internal.ProxyServlet.processAlias（ProxyServlet。的java：111）
在org.eclipse.equinox.http.servlet.internal.ProxyServlet.service（ProxyServlet.java:67）
在javax.servlet.http.HttpServlet.service（HttpServlet.java:722）
在org.wso2.carbon.tomcat.ext.servlet.DelegationServlet.service（DelegationServlet.java:68）
在org.apache.catalina.core.ApplicationFilterChain.internalDoFilter（ApplicationFilterChain.java:305）
在org.apache .catalina.core.ApplicationFilterChain.doFilter（ApplicationFilterChain.java:210）
at org.apache.catalina.core.ApplicationDispatcher.invoke（ApplicationDispatcher.java:690）
at org.apache.ca talina.core.ApplicationDispatcher.doInclude（ApplicationDispatcher.java:599）

Answer 1

我们能够使WSO2 BAM与外部完全分布式Hadoop一起工作。

看起来像2.0.1版本有麻烦提交map-reduce作业到外部hadoop集群..我们回滚到2.0.0和Hive脚本开始工作。

我想知道这是否是2.0.1的已知问题？我们有2.0.1一个精简版（它只有碳，分析/ AnalyticsUI，仪表板，登记，Databridge针对，数据源，斯特拉托斯，安全，任务和运输管理功能）

感谢 拉吉夫

Answer 2

如果你已经正确设置了外部hadoop集群，它应该可以工作。它已经通过外部hadoop集群进行了测试。如果您遇到任何问题，请检查hadoop群集节点中的错误日志。找到hadoop集群相关的配置问题会很有帮助。因为有时候在ui中显示的问题不是很有用。 您不需要更改Hive脚本以使用外部群集。

谢谢， Kasun。