webhdfs

1热度

2回答

我们需要在HDFS文件夹之间的HDFS位置建立filecopy。我们目前已经在shell脚本循环中使用了curl命令，如下所示。 /usr/bin/curl -v --negotiate -u : -X PUT "<hnode>:<port>/webhdfs/v1/busy/rg/stg/"$1"/"$table"/"$table"_"$3".dsv?op=RENAME&destination=/

0热度

1回答

上传本地文件与Java API远程HDFS而是连接到localhost

我有一个非常简单的上传方法来上传文件到一个节点hdp2.5集群： Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("webhdfs://hdsfhost:50070", conf); fs.copyFromLocalFile(false, true, new Path(localF

1热度

2回答

什么是我webHDFS在Azure HDInsight网址？

新来这里Azure上。我刚刚在一个普通的存储帐户上完成了一个新的HDInsight实例，并创建了一个新的存储实例。我想知道我的webHDFS网址是/我在哪里可以找回它以及我如何访问它。我不使用Azure的数据存储湖。（几乎每一个环节，我发现蔚蓝相关导致了一些数据湖链接）我HDFS-site.xml中： <property> <name>dfs.webhdfs.enabled</na

1热度

1回答

在HDFS中查找文件的行数以与QC文件中的计数进行比较

我有一个数据文件和在HDFS中加载的qc文件，我想比较QC文件中存在的计数和数据文件行数。为此，我编写了一个shell脚本，用于提取QC文件的计数部分，并为数据文件执行wc -l。对于QA文件： qccount=$(webhdfs -cat hdfs://${CLUSTER_NAME}$hdfs_src_path/$directory/$qc_file_name | cut -d "|" -f2

3热度

1回答

docker kerberos webhdfs AuthenticationException：未授权

我有一个春天的应用程序。其中一种方法使用webhdfs从hdfs中读取文件。当我在想法中测试它时，它会起作用。但是，在我构建项目并在本地或在连接到hdfs的服务器上的虚拟机上部署Docker镜像之后，我可以看到。 AuthenticationException: Unauthorized 在我的本地机器，我必须用 kinit 为autentification regulary初始化令牌。如

1热度

1回答

webhdfs创建文件例外

我使用在CentOS 7 的Hadoop 2.7.1如果我想使用Hadoop集群webhdfs 我应该配置该属性 <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> 但还有什么？我的名字节点的IP是192.168.4.128当我使用Firefox在Windows 8和

1热度

2回答

是否webhdfs支持高可用性使用Hadoop 2.7.1上的centos 7</p> <p>当高可用性附带Hadoop集群</p> <p>和活性名称节点发生故障时的故障转移发生

IAM，它成为由站但webhdfs不支持高可用性？是不是应该是什么替代发送获取和放置请求给其他的活动名称节点主节点故障节点

1热度

1回答

HttpFs在高可用性和名称服务

好处我使用的Apache集群Hadoop的2.7.1，它由三个节点 nn1 master name node nn2 (second name node) dn1 (data node) 我们知道，如果我们在这个集群中配置高可用性我们将主要有两个节点，一个是活动的，另一种是待机，如果我们配置群集由名称服务叫过以下情形将确定的情况是： 1 NN1是积极和NN2由所以站，如果我们想获得

1热度

2回答

Hadoop：两个datanodes但用户界面显示一个，Spark：两个工作人员用户界面显示一个

我在许多网站上看到了很多关于SO和Quora的答案。当他们为从IP地址配置防火墙时，一些问题得到了解决，有些人说这是一个UI故障。我很困惑。我有两个datanode：一个是纯数据节点，另一个是Namenode + datanode。问题是当我做<master-ip>:50075它只显示一个datanode（也有namenode的机器）。但我的hdfs dfsadmin -report显示我有两个

0热度

1回答

什么是Hadoop的webhdfs和天青之差webhdfs

Hadoop的webhdfs：https://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html Azure的webhdfs：https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-overview