1
我们有非常复杂的管道，我们需要编写和安排。我看到Hadoop生态系统为此提供了Oozie。当我在Mesos或Standalone上运行Spark并且没有Hadoop集群时，基于Spark的作业有哪些选择？什么是oozie等同于Spark？
A
回答
0
与使用Hadoop，它是很容易的事情连锁星火。所以编写一个Spark Scala脚本可能就足够了。我的第一个建议是绑定。
如果你想保持它像SQL一样，你可以试试SparkSQL。
如果你有一个非常复杂的流程，那么值得看一下Google数据流https://github.com/GoogleCloudPlatform/DataflowJavaSDK。
0
Oozie可以用于纱线的情况下， 对于spark没有内置的调度程序可用，因此您可以自由选择任何在集群模式下工作的调度程序。
对于Mesos我觉得Chronos的将是正确的选择，更多信息的Chronos
相关问题
- 1. 是什么KEYEVENTF_SILENT等同于
- 2. 什么是StarTeam等同于'git log'
- 3. 什么是_wsystem等同于Linux的
- 4. 什么是Windows的“pidof”等同于Linux？
- 5. 什么是“卷曲--tlsv1”等同于PHP
- 6. 什么是Webform的“UrlAuthorizationModule.CheckUrlAccessForPrincipal”等同于MVC？
- 7. 为什么不是[\\ s *]等同于\\ s *？
- 8. 什么是weka等同于caret的rfe？
- 9. Derby等同于CREATE OR REPLACE是什么？
- 10. 什么是XDocument等同于XmlDocument.ImportNode？
- 11. 什么是CoreText等同于AppKit的NSObliquenessAttributeName？
- 12. 什么是Subversion等同于TFS搁置？
- 13. 什么是Visual Basic等同于Java的“！”？
- 14. Oozie和Spark整合
- 15. Hortonworks Oozie Spark动作
- 16. Hortonworks Oozie Spark Action - NullPointerException
- 17. 什么是jQuery等同于此，它有什么作用？
- 18. 什么是或等于
- 19. 什么是Spark UDFS？
- 20. 对于@Bean，等同于factory-method =“aspectOf”是什么？
- 21. 什么是date_select等同于form_tag而不是form_for？
- 22. 什么等同于Chrome中的mozPaintCount？
- 23. 什么等同于Linux中的getch（）＆getche（）？
- 24. OOzie Spark：代码101错误
- 25. Oozie的>什么是异步的动作和同步动作
- 26. Spark中的metastore是什么？
- 27. 长和int等于，等于什么（）
- 28. 什么是MicroMeter等同于Prometheus simpleclient收集器？
- 29. 什么是Linux/POSIX等同于MEM_TOP_DOWN的VirtualAlloc？
- 30. 什么是scalaz流等同于播放框架的Enumerator.fromCallback