2015-12-11 105 views
0

我正在尝试将Hadoop的IGFS设置为辅助存储。我已经设置了我的配置here,但我一直收到NoClassDefFoundError s。我已经下载了Ignite的二进制发行版,并尝试从源代码构建,但不包括依赖项。 hadoop-common-2.6.0.jarignite-hadoop-1.4.0.jar提供了一些依赖关系,但现在我得到一个NoClassDefFoundErrororg/apache/hadoop/mapred/JobConf它通过我的理解是一个过时的类...Apache Ignite:IgniteHadoopIgfsSecondaryFileSystem的依赖关系是什么?

我一直在关注的Apache点燃网站上的说明,但是,这是据我已经得到了。

IgniteHadoopIgfsSecondaryFileSystem作为辅助存储需要什么依赖关系?

+0

我的Ignite版本是1.4.0,我的Hadoop版本是2.6 –

回答

1

看起来问题在于Ignite节点在类路径中没有Hadoop库。要解决此问题,请尝试执行以下操作:

1)使用Ignite发行版的“Hadoop Accelerator”版本(如果要自行构建发行版,请使用-Dignite.edition = hadoop)。如果您使用的是Apache Hadoop发行版,或者如果您使用其他发行版(HDP,Cloudera,BigTop等),确保存在/ etc/default/hadoop文件,则为Ignite进程设置HADOOP_HOME环境变量并有适当的内容。

或者,您可以手动将必需的Hadoop依赖关系添加到Ignite节点类路径:这些是文件modules/hadoop/pom.xml中列出的groupId“org.apache.hadoop”的依赖关系。目前,他们分别是:

  1. Hadoop的注解
  2. Hadoop的权威性
  3. Hadoop的共同
  4. Hadoop的HDFS
  5. 类Hadoop MapReduce的客户共同
  6. 类Hadoop MapReduce的客户端 - 核心
-1

如果你不想自己处理依赖管理 - 这是一个真正的难题手动做 - 我建议你看一下为软件栈提供编排和部署服务的项目。检查Apache Bigtop(bigtop.apache.org),它为Apache Ignite,Hadoop,HDFS和这个空间中的其他任何东西提供预先剪下的Linux软件包。您可以从我们的CI获取最新的每晚套餐http://ci.bigtop.apache.org/view/Packages/job/Bigtop-trunk-packages

相关问题