hadoop

0热度

1回答

hadoop中有删除以ab开头的文件的命令吗？这些文件可以出现在子目录中，并且该操作应该是递归的。东西类似如下： Hadoop fs -rmr /mydir/ab*

0热度

1回答

我的Hadoop 2.8.1 可配置HDFS-site.xml中 <configuration> # Add the following inside the configuration tag <property> <name>dfs.data.dir</name> <value>/app/dfs/name/data</value> <final>true

1热度

1回答

将日期转换为星期名称和当天的部分时间

那么我如何从下列输入中获取猪的这个输出。该命令我应该使用输入： 10/3/2013 1200 10/4/2013 0000 预期输出： Monday Morning Tuesday Evening

0热度

1回答

Hadoop作业ID是什么意思？

创建Hadoop作业时，会为其分配唯一的ID。例如，我刚刚运行了一个ID为job_201709221002_0046的工作。看起来第一部分是某种时间戳，但这不是提交工作的日期。下划线之后的部分似乎是连续的。这是什么意思？编辑：我正在看的工作是一周。我刚刚在2017年10月20日星期五上午12点22分3秒提交了一份新表，并分配了工作编号job_201709221002_0047。

0热度

1回答

包装类型如何在Hadoop中工作？

我不是一个Java专家，但我知道Java的基础知识，并且总是试图在遇到任何问题时深入理解Java代码。这可能是一个非常愚蠢的疑问，但很想清楚地理解我的想法。我在Java社区发布，因为我的疑问只是关于Java。自从最近几个月我和hadoop一起工作后，发现hadoop使用自己的类型，这些类型被封装在Java的原始类型中，以便在序列化和反序列化的基础上提高跨网络发送数据的效率。我的困惑就从这里

3热度

1回答

的Bigtop docker-hadoop.sh无法启动

我使用的Bigtop 1.2.0流浪供应方运行良好，但是当我尝试使用泊坞置备了以下错误显示：命令 $ ./docker-hadoop.sh -c 3 错误 Environment check... Check docker: Docker version 17.09.0-ce, build afdb6d4 Check docker-compose: docker-compose version

1热度

1回答

为什么我应该避免在Hadoop HDFS中存储大量小文件？

我读过很多存储在HDFS中的小文件，因为大量的小文件意味着大量的对象Hadoop NameNode内存。但是由于每个块都作为一个对象存储在命名节点中，它对于一个大文件有何不同？无论您是从内存中的单个文件存储1000个块还是1000个文件存储1000个块，使用的NameNode内存量是否相同？对于地图工作类似的问题。由于它们在块上运行，如果块是小文件还是大块文件，它们有什么关系？

0热度

1回答

如何将文件“file1.txt”从本地复制到具有不同名称的hadoop？

我需要将文件file1.txt从本地复制到hadoop，我想在hadoop中使用不同名称（如“test.txt”）的“file1.txt”。 Hoow能实现吗？

0热度

2回答

如何在下面的代码中生成对象？

我想了解一个java代码。（Java的基本知识）这里的是 WordCountMapper类 package com.company; import org.apache.hadoop.io.IntWritable; import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.Text; import or

2热度

1回答

Impala ODBC/JDBC性能不佳 - 与NN相比，远程服务器的行提取速度很慢

在CDH的NameNode中，当我通过odbc脚本（php/perl或python）运行查询时，我可以获取所有结果（9.2M）在一个变量中大约30秒，但是当我用相同的脚本/查询试图另一个远程2级的服务器上时，执行时间是在第一服务器28分钟和在第二17分钟。要排除的假设，这是一个网络速度问题，我获取结果上的一个文件，然后我跟scp命令复制到第一个远程服务器，并完成了〜40秒。我在查询信息观察什么