Spark从web应用程序学习设计模型

我开发了一个web应用程序，用户可以选择机器学习框架/迭代次数/其他一些调整参数。我如何通过向用户传递所有输入和显示响应来从用户界面调用Spark作业。根据框架（dl4j/spark mllib/H2o），用户可以上传输入的csv或者可以从Cassandra读取数据。Spark从web应用程序学习设计模型

如何从用户界面调用SPARK作业？
如何将结果显示给用户？

请帮忙。

来源

2016-11-24 lalithark

你可以看看这个github repository.

在这个正在做什么，只要一个GET请求到达，它从卡桑德拉取出数据，然后收集数据，并抛出回为响应。

你可以做的是，只要你收到一个POST请求，你可以从请求参数，并相应地使用这些参数进行操作和收集：在您的情况

所以结果在主设备上，然后将其作为响应返回给用户。

P.S：在Master上收集有点棘手，大量的数据会导致OOM。你可以做的就是将结果保存在hadoop上，并将URL发送回结果或类似的东西。

欲了解更多信息看看这个博客与此相关的github上： https://blog.knoldus.com/2016/10/12/cassandra-with-spark/

来源

2016-11-24 05:04:44

我是新来SPRAK和AKKA。我已经下载了该项目并在本地机器上成功执行了它。我可以在纱线上运行相同的应用程序吗？我可以在生产中使用它吗？ – lalithark

这不是生产级别的代码！你可以根据你的用例来改变它！ –

如果我想在纱线模式下运行代码，我应该做的所有更改是什么？我不能在纱线模式下使用AKKA休息吗？ – lalithark

Spark从web应用程序学习设计模型

回答

相关问题