从Windwos服务器读取/写入文件到HDFS

Question

我想从Windows服务器将文件写入HDFS。 Hadoop集群在Linux上。 我试图到处研究我有一个可以使用“hadoop jar”运行的java代码

有人可以帮助我理解如何从Windows运行HDFS文件编写java代码？ Windows盒子上需要什么？即使是一个适当的链接也可以。

Answer 1

你只需要编写一个简单的java程序并像普通的.jar文件一样运行它。

在项目中，您需要导入hadoop库。

这是一个工作示例Maven项目（我测试了我的群集上）：

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FSDataOutputStream; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 

import java.io.IOException; 
import java.net.URI; 
import java.net.URISyntaxException; 


public class WriteFileToHdfs { 

    public static void main(String[] args) throws IOException, URISyntaxException { 

     String dataNameLocation = "hdfs://[your-namenode-ip]:[the-port-where-hadoop-is-listening]/"; 

     Configuration configuration = new Configuration(); 
     FileSystem hdfs = FileSystem.get(new URI(dataNameLocation), configuration); 
     Path file = new Path(dataNameLocation+"/myFile.txt"); 

     FSDataOutputStream out = hdfs.create(file); 
     out.writeUTF("Some text ..."); 
     out.close(); 

     hdfs.close(); 

    } 

} 

记得将依赖于你的pom.xml，并建立主类清单文件中的指令：

<properties> 
     <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> 
     <maven.compiler.source>1.7</maven.compiler.source> 
     <maven.compiler.target>1.7</maven.compiler.target> 
     <mainClass>your.cool.package.WriteFileToHdfs</mainClass> 
    </properties> 
    <dependencies> 
     <dependency> 
      <groupId>org.apache.hadoop</groupId> 
      <artifactId>hadoop-client</artifactId> 
      <version>2.6.1</version> 
     </dependency> 
    </dependencies> 
    <build> 
     <plugins>    
      <plugin> 
      <artifactId>maven-dependency-plugin</artifactId> 
      <executions> 
       <execution> 
        <phase>install</phase> 
        <goals> 
         <goal>copy-dependencies</goal> 
        </goals> 
        <configuration> 
         <outputDirectory>${project.build.directory}/lib</outputDirectory> 
        </configuration> 
       </execution> 
      </executions> 
     </plugin> 
     <plugin> 
      <artifactId>maven-jar-plugin</artifactId> 
      <configuration> 
       <archive> 
        <manifest> 
         <addClasspath>true</addClasspath> 
         <classpathPrefix>lib/</classpathPrefix> 
         <mainClass>${mainClass}</mainClass> 
        </manifest> 
       </archive> 
      </configuration> 
     </plugin> 
     </plugins> 
    </build> 

午饭用命令的程序：

java -jar nameOfTheJarFile.jar

当然的Y您需要使用您的软件包名称和namenode IP地址编辑代码。