2017-07-28 57 views
0

我是Pentaho和Spoon的新手,我尝试使用“Hadoop文件输入”从本地Hadoop节点处理文件,物品在勺子(Pentaho)。问题是我迄今为止尝试过的每个URI似乎都不正确。我不知道如何从Pentaho真正连接到HDFS。当尝试从HDFS读取文件时,Pentaho的“Hadoop文件输入”(勺)始终显示错误

要清楚,正确的URI是:

HDFS://本地主机:9001 /用户/数据/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

我知道这是正确的一个是因为我通过命令行测试,它完美的作品:

hdfs dfs -ls hdfs://localhost:9001/user/data/prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv 

因此,设置环境领域的“静态”,这里有一些我已经试过的URI在勺:

  • HDFS://本地主机:9001 /用户/数据/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv
  • HDFS://本地主机:8020 /用户/数据/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv
  • HDFS://本地主机:9001个
  • HDFS://本地主机:9001 /用户/数据/ prueba_concepto/
  • HDFS://本地主机:9001 /用户/数据/ prueba_concepto
  • HDFS:///

我甚至试图溶液Garci加西亚给出这里:Pentaho Hadoop File Input 该端口设置为8020并使用以下URI:

  • HDFS://内停:@localhost:8020 /用户/数据/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

再变回9001,并试图相同的技术:

  • HDFS://白内停: @localhost:9001 /用户/数据/ prueba_concepto/ListadoProductos_2017_02_13-15_59_con_id.csv

,但仍然没有为我工作......每次我按Mostrar Fichero(S)...按钮(显示文件(S)) ,会弹出一个错误提示找不到该文件。

I added a "Hadoop File Input" image here.

谢谢。

回答

0

Okey,所以我实际上解决了这个问题。

我不得不从选项卡“查看”添加新的Hadoop集群 - >右键单击运行Hadoop集群 - >新建

有我输入我的HDFS Hadoop配置:

  • 存储: HDFS
  • 主机名:本地主机
  • 端口:9001(默认为8020)
  • 用户名:白内停
  • 通行证单词:(无密码)

之后,如果您点击“测试”按钮,某些测试将失败。我解决了通过复制所有配置属性,我在我的本地Hadoop配置文件($ LOCAL_HADOOP_HOME的/ etc/Hadoop的/核心-site.xml中)放入小勺的Hadoop配置文件中的第二个:

数据集成/插件/ Pentaho的,大数据的插件/ Hadoop的配置/ hdp25 /核心-site.xml中

在那之后,我不得不修改数据集成/插件/ Pentaho的,大数据的插件/插件.properties并将属性“active.hadoop.configuration”设置为hdp25:

active。 hadoop.configuration = hdp25

重新启动勺子,你很好去。