如何在Amazon EMR中运行WordCount？

在Amazon EMR中指定输入和输出路径的正确方法是什么？如何在Amazon EMR中运行WordCount？

在我的群集中，我点击Add Step，然后选择自定义Jar并输入jar位置s3://wordcountbuckett/wc.jar。对于参数输入框，我已将s3://wordcountbuckett/file01指定为我的输入文件，将s3://wordcountbuckett/output/指定为我的输出路径。

file01是一个txt文件，而/ output /是一个文件夹。

下面是我从日志

Exception in thread "main" java.lang.ClassNotFoundException: s3://wordcountbuckett/ 
    at java.lang.Class.forName0(Native Method) 
    at java.lang.Class.forName(Class.java:278) 
    at org.apache.hadoop.util.RunJar.run(RunJar.java:214) 
    at org.apache.hadoop.util.RunJar.main(RunJar.java:136) 

My Add Step details: 
1. Step Type : Custom Jar 
2. Name : WordCount2 
3. JAR Location : s3://mywordcountbuckett/binary/wc.jar 
4. Arguments: s3://mywordcountbuckett/input/ 
s3://mywordcountbuckett/output/ 
5. Action on Failure : Continue

来源

2015-11-22 kylas

您能否提供自定义Jar步骤的屏幕截图？ –

@JohnRotenstein我无法上传屏幕截图，但是步骤如上所述。 – kylas

你确定你已经指定了正确的路径得到的错误？因为在文中您谈到s3://wordcountbuckett/wc.jar，但在您的添加步骤配置中指定s3://mywordcountbuckett/..。我建议检查这是问题还是只是一个错字。

来源

2015-11-26 12:38:26 TheRealPetron

如何在Amazon EMR中运行WordCount？

回答

相关问题