HPCC/HDFS连接器

谁知道大约HPCC/HDFS connector.we同时使用HPCC和HADOOP.There是一个实用程序（HPCC/HDFS连接器）通过HPCC开发了允许HPCC簇接取HDFS数据HPCC/HDFS连接器

我已经安装了连接器，但是当我运行程序来访问hdfs中的数据时，它会给出错误，因为libhdfs.so.0不存在。

我试图建立libhdfs.so使用命令

ant compile-libhdfs -Dlibhdfs=1

它给我的错误作为

目标 “编译libhdfs” 项目中的 “Hadoop的” 不存在

我使用了另一个命令

ant compile-c++-libhdfs -Dlibhdfs=1

它给错误的

常春藤下载：
[get] Getting: http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar 

    [get] To: /home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar 

    [get] Error getting http://repo2.maven.org/maven2/org/apache/ivy/ivy/2.1.0/ivy-2.1.0.jar 
到/home/hadoop/hadoop-0.20.203.0/ivy/ivy-2.1.0.jar

BUILD失败java.net.ConnectException：连接超时

任何建议将是一个很大的帮助

来源

2012-06-19 chhaya vishwakarma

Chhaya，你可能不需要编译libhdfs.so，这取决于你安装hadoop的方式，你可能已经拥有它了。

登记HADOOP_LOCATION/c++/Linux-<arch>/lib/libhdfs.so，其中HADOOP_LOCATION是您的hadoop安装位置，arch是机器的架构（i386-32或amd64-64）。

一旦您找到该库，确保H2H连接器配置正确（see page 4 here）。

这只是在更新配置文件中HADOOP_LOCATION VAR的事情： /opt/HPCCSystems/hdfsconnector.conf

好运。

来源

2012-06-19 20:50:53 user1467551

我将HADOOP_LOCATION更新为/home/hadoop/hadoop-0.20.203.0，然后给出相同的错误。我们在一台机器上安装了HPCC，另一台机器上的hadoop出现了这个问题？ .libhdfs.so在HADOOP_LOCATION/C++/Linux- /lib/libhdfs.so中，但在运行程序时面临同样的问题 –

H2H连接器需要hadoop 1.x，看起来像你有hadoop 0.2测试版...也是你的hadoop系统和HPCC系统不需要在同一台机器上运行，但H2H连接器需要在本地提供libhdfs.so。 – user1467551

顺便说一句，H2H连接器的日志可以在这里找到：/var/log/HPCCSystems/mydataconnectors/HDFSCONNECTOR.*.log一旦你得到正确版本的hadoop的hdfslib我很想看看最新的日志显示... – user1467551

HPCC/HDFS连接器

回答

相关问题