我需要一种将文件从不属于群集一部分的节点传入或传出HDFS的方式。 是一个用户界面,有一个浏览按钮来做到这一点? 我正在使用一台Windows机器,从那里我需要做一个转移到HDFS。从Windows传输文件进出HDFS
回答
我觉得箍可以帮助你。
https://github.com/cloudera/hoop
圈,Hadoop的HDFS通过HTTP
圈是提供了一个REST HTTP网关到HDFS全 读&写功能的服务器。
Hoop在Apache License 2.0下发行。
Hoop已经贡献给Apache Hadoop,它可以作为Hadoop 0.23.x版本的 的一部分。
如果您有网络(网络,DNS,防火墙),可从你的Windows机器的集群节点,那么你可以使用Eclipse Hadoop plugin来查看和使用HDFS交互(但同样,它需要你有联系集群中的数据节点的能力)。
谢谢。但我想我需要首先为hadoop插件创建一个jar,因为hadoop现在不提供它自己以前用于提供/ jar/hadoop/contib/eclipse的jar。 也可以使用pscp或psftp用于传输目的吗?直接使用pscp或psftp转移到hdfs? – Uno
不,没有pscp或psftp接口 - 我想你可以将文件pscp到集群内部的一个节点(或者有网络访问集群节点,并且hadoop安装/配置的),然后跟进'ssh host hadoop fs -put file file',但你需要一个支持这种语法风格的ssh客户端。 –
谢谢。 eclipse插件可以帮助我直接将文件传入和传出HDFS?日食将在一台不属于集群的机器中。 – Uno
你可以尝试使用HadoopDrive外壳扩展:http://hadoopdrive.effisoft.eu
- 1. 从HDFS传输文件
- 2. 关于hdfs中的传输文件
- 3. Hadoop的HDFS 2.6.0输出文件夹
- 4. hadoop写输出到hdfs文件
- 5. 使用子进程输出到HDFS中的文件
- 6. 将文件从不安全的hdfs传输到受保护的hdfs群集
- 7. .txt文件的二进制FTP传输 - 从Unix到Windows
- 8. 在Apache Flink中从HDFS地址流式传输文件
- 9. 将文件从HDFS复制到Windows机器时出错
- 10. Windows Phone 7文件传输
- 11. 从HDFS读取文件时出现MalformedURLException
- 12. 何处上传hdfs文件?
- 13. 上传文件到hadoop hdfs?
- 14. IHttpHandler文件传输进度?
- 15. 尝试从Hdfs输出读取hadoop
- 16. 从Windows 8的SavePicker将文件流式传输到文件
- 17. Mule文件传输从Windows SMB中读取文件共享
- 18. 从文件输出
- 19. 从输出文件
- 20. 从eclipse访问HDFS文件
- 21. 读入csv文件从HDFS
- 22. 使用ANSI C在Windows平台上进行FTP文件传输?
- 23. 使用-put命令可以在HDFS中传输文件吗?
- 24. 我可以使用Apache NIFI将文件传输到HDFS系统。
- 25. 写的Log4j输出到HDFS
- 26. ffmpeg直接输出到HDFS
- 27. Hadoop HDFS MapReduce输出到MongoDb
- 28. 从Windows访问HDFS与Java
- 29. 将文件从HDFS传输到S3存储桶时拒绝访问
- 30. 从运行在远程服务器上的Apache Zeppelin将文件传输到HDFS
广东话我用PSCP或PSFTP的目的是什么? – Uno