Spark：从REST服务创建RDD

Question

Spark中是否有可用于将RDD绑定到REST服务的开箱即用功能？也就是说，调用Web服务并获取RDD。

或者是自己调用剩余服务并将结果集合转换为RDD的最简单方法？

谢谢。

Answer 1

你可以参考链接Spark-Jobserver

一些火花Jobserver的，我认为你正在寻找的特点是：

• “星火即服务”：简单的REST接口的所有作业方面，上下文管理
• 启动和停止RDD共享和低延迟作业的作业上下文;在重新启动时更改资源
• 异步和同步作业API。同步API对低延迟作业非常有用！
• 命名的RDD按名称缓存和检索RDD，改进作业之间的RDD共享和重用。

希望这会有所帮助。

Answer 2

我使用Jersey客户端，阅读串（每行一个COMPLE JSON文件），并以该字符串做：

val stringResponse = request.request().get(classOf[String]) 
val jsonDataset = session.createDataset[String](Seq(stringResponse)) 
// try with case class 
val parsedResponse = session.read.json(jsonDataset) 

...这会导致数据框，你可以选择的东西。