hadoop

0热度

1回答

当我提交hdfs一个Hadoop罐子，我面对线程 “main” java.io.IOException的例外：没有剩余空间设备上任何人都可以帮助我解决这个问题

0热度

1回答

根据一些参考资料（很多书和其他在线论坛），我使用hadoop 2.8.1，告诉我在哪里可以使用'hadoop fs -ls /'来查找hdfs文件系统根目录。但是当我输入该命令时，终端显示本地目录，但不显示hdfs根目录。这是什么问题，在此先感谢。

-1热度

1回答

群集中的HDFS聚类

在正常的码头环境中，像hadoop-master和hadoop-slave这样的HDFS集群映像工作正常。但是当我尝试在群集模式下运行这些图像时，我正面临连接问题。群集hdfs与码头群兼容吗？我部署的服务每2-3秒连续重启和退出。有人可以帮助我详细地实现群集模式下的HDFS群集。当我做搬运工日志conatinerid，我得到 start sshd... /bin/sh: 0: Can't

0热度

1回答

将字符串转换为Hive中的时间戳

我有一个值'2017-09-27T19：25：15.927-07：00'，有什么办法将它转换为时间戳吗？我使用Hive 1.1.0。 select unix_timestamp("2017-09-27T19:25:15.927-07:00", "yyyy-MM-ddTHH:mm:ss.SSSX")但它trows Bad date/time conversion format select uni

0热度

1回答

动态分配设置为true时手动分配内核数量

我们有一个3节点的集群。每个节点有20个核心和100GB内存。我们将动态资源分配设置为true。我想根据我的意愿调整资源。例如：只使用1芯。默认情况下，它选取4-6个核心。我想为每个运行的spark-submit设置它。我该如何达到我的要求。

0热度

1回答

如何在Docker容器中保存HDFS数据

我有一个hadoop的docker镜像。（在我的情况下，它是https://github.com/kiwenlau/hadoop-cluster-docker，但问题适用于任何Hadoop的搬运工图像）我运行如下的泊坞窗容器.. sudo docker run -itd --net=hadoop --user=root -p 50070:50070 \ -p 8088:8088 -p 900

0热度

1回答

可否将Hive反序列化为提供的模式？

我有avro文件被加载到蜂巢，但我的文件是二进制。应该使用什么反序列化器来将二进制代码转换为配置单元？我不想在配置单元中的二进制数据，但解码的二进制数据。这就是我如何创建我的表。 CREATE TABLE kst7 行格式SERDE 'org.apache.hadoop.hive.serde2.avro.AvroSerDe' 存储为INPUTFORMAT 'org.apache.hadoop

0热度

1回答

如何保存卡夫卡星火消息流数据帧到单个文件

如何保存卡夫卡星火消息流数据帧到单个文件我已经制定，这将消耗使用Kafka-星火流过程中的信息的应用程序。一旦收到数据，它就会转换成数据帧。然后流式数据帧被保存为文本文件，这里数据帧被保存到每个文件中，用于每个kafka流消息，下面是我用于将数据保存为文本文件的代码，这是保存数据为每条消息添加多个文本文件。 DF.coalesce(1).write.format("com.databrick

0热度

1回答

的Hadoop节点管理器无法启动，从不满足最小分配

当运行start-all.sh我SLAVE1和SLAVE2不能在节点管理器与JPS VM VirtualBox的主发现在Ubuntu 16.04 工作 [email protected]:~$ jps 15920 Jps 15505 SecondaryNameNode 15659 ResourceManager 15293 NameNode SLAVE1 [email protect

0热度

1回答

星火WebUI中应用application_xyz没有找到

当我试图打开的任何火花作业的历史记录我面对这个问题“APPLICATION_ID：应用application_xyz未找到”，注：以前我想通了，这是其中一个火花历史文件夹已满，所以发生了这个错误，但现在我不记得如何做到这一点？任何帮助非常感谢。