webhdfs

2热度

1回答

是否可以使用webhdfs检查HDFS中目录的内容？这将作为hdfs dfs -ls通常会，但相反使用webhdfs。如何使用Python 2.6列出webhdfs目录来执行此操作？

2热度

1回答

WEBHDFS REST API将文件从Windows服务器/本地文件夹/桌面复制/移动到HDFS

使用WEBHDFS REST API调用可以将文件从Windows机器（即Windows服务器或Windows本地文件夹或桌面）传输或复制到Hadoop- HDFS文件系统？如果是有任何示例命令信息？我使用了 Windows - >（使用ftp） - > Linux目录 - >（使用webhdfs） - > HDFS，这是两个步骤的过程，我正在寻找一个步骤的过程直接从Windows - >（we

-2热度

1回答

我研究HDFS故障。为此我需要HDFS日志。我在哪里可以下载日志？

1热度

1回答

在WEBHDFS REST Api中启用跨域访问权被JavaScript使用吗？

我想从Webhdfs rest api获取liststatus，但得到以下错误。 XMLHttpRequest cannot load http://<IP>:50070/webhdfs/v1/?op=LISTSTATUS. No 'Access-Control-Allow-Origin' header is present on the requested resource. Origin 'h

0热度

1回答

403在使用Hadoop.WebHDFSClient创建文件时，尽管能够在HDFS中创建文件夹

此代码运行直到文件夹创建，然后无法创建文件并引发403。我在这里遗漏了一些用于身份验证的事情。我是Hadoop的新手，并试图学习hdInsight。 private static void uploadFile() { //set variables string srcFileName = @"./prime/in/integers.txt"; st

0热度

1回答

WebHDFS REST API的Hadoop委派是否依赖于Kerberos SPNEGO？

根据documentataion为WebHDFS REST API https://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-hdfs/WebHDFS.html#Delegation_Token_Operations 要提及的保时是上有使用Kerberos SPNEGO 2机构认证时的安全性是在安全开启时使用Hadoop授

3热度

1回答

webHDFS API在每个查询中返回异常

我设置了单节点Hadoop集群来执行一些HDFS实验。通过网络访问一切看起来不错，我创建了一个专用文件夹，并使用命令行从本地系统复制文件到它。这一切都出现在Web UI中。之后我通过WebHDFS访问它。例如： curl -i "http://127.0.0.1:50075/webhdfs/v1/?op=LISTSTATUS" 但在那之后，我得到： HTTP/1.1 400 Bad Requ

0热度

1回答

如何配置pig以通过WebHDFS访问数据？

我是新来的hadoop所以请原谅我，如果这个问题是一个错误。我正在尝试配置pig使用webhdfs来获取数据。我不知道如何做到这一点我想： - Configuration configuration = new Configuration(); conf.set("fs.defaultFS","webhdfs://<uri>:50070"); properties.putAll(Configu

1热度

1回答

使用webhdfs在GETFACL中未显示掩码值

在Hadoop中，我已启用授权。我已经为目录设置了很少的ACL。当我在hadoop bin中执行getfacl命令时，我可以在其中看到mask值。 hadoop fs -getfacl /Kumar # file: /Kumar # owner: Kumar # group: Hadoop user::rwx user:Babu:rwx group::r-x mask::rwx

1热度

1回答

使用WebHDFS创建文件时发生RemoteException REST API

我一直无法使用Hadoop的WebHDFS REST API创建文件。按照文档，我正在这样做。 curl -i -X PUT "http://hadoop-primarynamenode:50070/webhdfs/v1/tmp/test1234?op=CREATE&overwrite=false" 响应： HTTP/1.1 307 TEMPORARY_REDIRECT Cache-Con