hadoop-plugins

-3热度

1回答

在探索各种工具（如Nifi，Gobblin等）时，我观察到Databricks现在正在推广使用Spark进行数据摄入/登录。我们对纱线行走的火花[阶]基于应用程序。到目前为止，我们正在研究hadoop和spark集群，我们首先手动将所需的数据文件放在HDFS中，然后再运行我们的spark工作。现在，当我们正计划使可供我们期待从巨大的任何数据源[FTP，SFTP，任何关系和NoSQL数据库]任何

0热度

1回答

Hadoop安装问题

使用ubuntu在oracle虚拟机上安装hadoop后，一切正常。但是当我在浏览器上运行localhost：50070时，我得到的是namenode健康状态，但在右下角没有Legacy UI选项，通过它我可以浏览文件系统。任何想法为什么？

0热度

1回答

使用PHP连接到hiveserver2

我需要在我的PHP应用程序中使用Hadoop中的数据创建报告。我在本地机器上安装了hiveserver2。我尝试使用以下示例从我的PHP代码中找到连接到hiveserver2的方法。 https://github.com/QwertyManiac/hive-hs2-php-thrift https://github.com/dryangkun/php-hiveserver2 但任何人都没有为我工作

0热度

1回答

我需要一个工具来分析日志Hadoop

我有来自Hadoop的日志文件我想分析这些大文件生成报告，所以我正在寻找一个方便的工具来分析这些文件。请介绍分析这些文件的工具。

0热度

1回答

Oozie的协调输入事件不起作用

我有三个协调员A，B和C B和C的协调取决于A的输出也就是说，如果A的输出就绪，协调员B和C将运行。所以，我使用输入事件来控制这种依赖关系。协调员B和C的结构看起来像 <coordinator-app name="B" frequency="1440" start=${start} end=${end} timezone="UTC" xmlns="uri:oozie:coordinator:0

0热度

1回答

从eclipse运行scala应用程序作业时，无法在HDP2.4.0.0-169沙盒上的配置单元上编写

我正面临一个使用HDP2.4.0.0-169沙盒的奇怪问题。我有HDP与主机名 - sandbox.hortonworks.com和IP 192.168.159.129，我有所有默认的hadoop和其他服务和运行。我写了一个Spark代码，用于在配置单元中创建一个表并读取HDP上存在的任何现有的配置单元表。我还有一个编写数据/将数据插入新创建的配置单元表的代码。只要我使用run作为Scala

0热度

3回答

使用Spark Job将文件/数据从共享/ NFS安装位置放入HDFS时会产生间歇性问题

我有一个使用Yarn作为群集管理器[在三节点hadoop群集上运行]的三节点Spark群集。考虑一下，我的Hadoop集群有三个节点[Master，Slave1和Slave2] Resourcemanager在Slave1上的Master和NodaManager上运行& Slave2。 Spark Cluster也存在于三个节点上。在主节点上，我创建了一个文件夹/ data/nfsshare，

0热度

2回答

在Apache Drill上制作存储插件到HDFS

我正在尝试为Hadoop（hdfs）和Apache Drill制作存储插件。其实我很困惑，我不知道要为hdfs：//连接设置端口以及设置位置。这是我的插件： { "type": "file", "enabled": true, "connection": "hdfs://localhost:54310", "workspaces": { "root": { "locatio

0热度

1回答

DatasetNotFoundException - salesforce2hadoop

我正在使用salesforce2hadoop库将数据从salesforce导出到hadoop。我正在使用下面的命令。 sudo java -jar salesforce2hadoop-assembly-1.0.jar init -u myUsername -p myPassword -b /home/nfsuser/imports/salesforce -w /home/sanjay/Deskt

0热度

1回答

错误：Hadoop namenode格式：找不到文件或目录？

我正在尝试在centos 7中安装Hadoop 2.6。我已经完成了bashrc和xml文件中的所有更改。但是，无论何时我试图运行命令“Hdfs namenode format”，它都会给出下面的错误。我已经设置了java路径和所有其他变量。请帮助我。我附上错误的屏幕截图