hadoop

0热度

1回答

我们无法续订使用Java代码从密钥表Kerberos用户车票，而它的工作与“使用kinit -R” 代码： UserGroupInformation loginUser = UserGroupInformation.getLoginUser（）; loginUser.checkTGTAndReloginFromKeytab（）; 请帮我一把。

0热度

1回答

如何从Hadoop中的一个特定机架获取阻止报告？

我想知道是否可以从hadoop中的一个机架获得块报告？我知道我可以用下面的命令一整块报告： hdfs fsck/-files -blocks -racks 然而，当你的集群是大，需要花费大量的时间来运行该命令。我只想看到位于特定机架中的块。有没有办法只从一个机架获取报告？（即指定架而不是路径）在此先感谢

0热度

1回答

将数据从hdfs导出到mongodb

我试图将数据从hdfs移动到mongodb。我可以通过下面的命令行来实现。 hadoop fs -text "/user/name.txt" | mongoimport --host 127.0.0.1:27018 -d cds -c hello --type tsv --headerline 我需要为此编写一个scala代码。我在文件系统中有多个文件。我已经检查过mongo-hadoop连接

0热度

1回答

如何在我的电脑上实现Sailfish版本的Hadoop？

Sailfish是比普通Hadoop更高效的Hadoop版本。我很困惑我如何从下面的Github回购中实现这个版本的Hadoop：https://github.com/sriramsrao/sailfish。

0热度

1回答

使用ConsumeKafka处理器创建更大的NiFi流文件

我创建了一个简单的NiFi管道，它从Kafka主题（使用ConsumeKafka）中读取数据流并将其写入HDFS（使用PutHDFS）。目前，我看到很多在HDFS上创建的小文件。一个新文件每秒创建一次，有些只有一个或两个记录。我要更少，更大的文件写入到HDFS。我有以下设置在ConsumeKafka： Message Demarcator = <new line> Max Poll Reco

0热度

2回答

失败使用Spark在EMR

当AWS-EMR执行我的星火工作我试图读取从S3存储Avro的文件时，这个错误从S3阅读的Avro：这一点与版本： EMR - 5.5 0.0 EMR - 5.9.0 这是代码： val files = 0 until numOfDaysToFetch map { i => s"s3n://bravos/clicks/${fromDate.minusDays(i)}/*" } sp

0热度

2回答

庆典：靠近意外的标记'（”语法错误 - 猪，CentOS的

我想在猪中执行以下命令 7369,SMITH,CLERK,800.00,null,20 7499,ALLEN,SALESMAN,1600.00,300.00,30 脚本 emp_bag = LOAD '/home/training/dvs/emp.csv' using PigStorage(',') AS (eno:int, ename:chararray, job:chararray, s

1热度

1回答

使用hadoop将数据从Mysql导入hdfs时出错？

我试图使用Hadoop从MySQL数据导入HDFS，并且还试图创建表和DATABSE是hive.I我下面的命令试图 sqoop import --connect jdbc:mysql://localhost/Mobile --username root --password 12345678 --table Accesories --target-dir /user/harsh/Mobile1 -

0热度

2回答

Sqoop导入：命令--password：命令未找到，--table：命令未找到

我必须编写一个scoop导入脚本，它从数据la_crime中仅从2016年起提取某些列我的脚本低于“ sqoop import \ --connect jdbc:mysql://XXXXXXXXXXX \ --driver com.mysql.jdbc.Driver \ --username XXXX \ --password XXXX \ --table la_crime \ --q

0热度

1回答

如何配置Presto

我已经在我的群集上安装了presto以执行一些查询。我有4个节点和16GB的RAM。我已经按照步骤来配置presto，但是当我运行一个查询时，它会比永远相同的查询花费更多的时间。所以我想我的配置有问题。我想也许我在我的node.properties文件属性中的错误值 query.max-memory和query.max-memory-per-node。考虑到每个节点有16GB内存，这些属性的正确