2013-08-19 27 views
0

如何使用C#在Azure群集上远程运行Streaming Map Reduce作业?我的映射器和reducer是用Java或C++编写的。 .Net C#SDK的作业执行方法在输入中使用JobType,所以我无法指定基于C++和Java的映射器/缩减器的类型。是否可以在Azure上远程运行流式地图缩减作业?

还有另一个类StreamingProcessExecutor它似乎适合我的情况,但没有它需要我的凭据输入,所以我认为它不可能用于远程执行。

任何人都知道如何执行流式地图减少作业远程和编程?

回答

0

我发现了一个WebHCatHttpClient.Net Hadoop SDK可以用于这个目的。尽管我仍然无法成功地远程执行作业。

0

可以使用WebHCat来执行此操作。

文档是here

简单地做出REST调用下面的端点:https://<clusterDnsName>.azurehdinsight.net/templeton/v1/mapreaduce/streaming

相关问题