2015-10-05 37 views
3

首先,我需要承认我是Bluemix和Spark的新手。我只想用Bluemix Spark服务试用我的双手。Bluemix Spark Service

我想对文本文件中的十亿条记录执行批处理操作,然后我想用我自己的一组Java API来处理这些记录。

这是我想要使用Spark服务来启用对数据集进行更快处理的位置。

这里是我的问题:

  1. 我可以调用Java代码在Python?据我了解,目前只支持Python样板文件?我的Java API下面几乎没有JNI。

  2. 我可以使用Bluemix Spark服务执行批处理操作,还是仅用于交互目的?

  3. 我可以使用Bluemix创建类似管道(一个阶段的输出转到另一个阶段)的东西,我需要为它编写代码吗?

对于上述查询,我​​将不胜感激。

期待这里的一些专家建议。

谢谢。

+0

感谢修正 – Gaurav

回答

1

IBM Analytics for Apache Spark服务现已发布,它允许您提交一个java代码/批处理程序,并提供spark-submit和python/scala的笔记本界面。

此前,测试代码仅限于笔记本交互式界面。

问候 阿努普

+0

可不可以给有关它的更多细节的语言呢?请看看我的问题http://stackoverflow.com/questions/33443470/bluemix-spark-with-java – user3027752

+0

'用于Apache Spark服务的IBM Analytics允许您使用spark-submit提交java代码/批处理程序(截至今日)。请参阅http://stackoverflow.com/a/33513221/5628938 –

相关问题