如何停止在Apache中火花的StreamingContext上齐柏林

Question

import org.apache.spark.streaming.{Seconds, StreamingContext} 
import org.apache.spark.streaming.eventhubs.EventHubsUtils 
import sqlContext.implicits._ 

val ehParams = Map[String, String](
    "eventhubs.policyname" -> "Full", 
... 
) 

val ssc = new StreamingContext(sc, Seconds(2)) 
val stream = EventHubsUtils.createUnionStream(ssc, ehParams) 
val cr = stream.window(Seconds(6)) 

case class Message(msg: String) 
stream.map(msg=>Message(new String(msg))).foreachRDD(rdd=>rdd.toDF().registerTempTable("temp")) 

stream.print 
ssc.start 

---

这上面启动并运行良好，但我似乎无法阻止它。任何对％sql show表格的调用都会冻结。

如何停止上面的StreamingContext？

Answer 1

在一个新的段落ssc.stop应停止

还有关于如何提高与流平台的整合正在进行discussion in the dev@ mailing list。

Answer 2

ssc.stop也杀死Spark上下文，需要重新启动解释器。

改为使用ssc.stop(stopSparkContext=false, stopGracefully=true)。