Spark Streaming作业异常处理

Question

在我的Spark流（Kafka Consumer）代码中有一些错误。我实现了异常处理，但从未发现。我试了两个检查&未经检查的例外。

我的代码在执行程序中运行。当我在执行程序而不是驱动程序中运行时，如何捕获异常？

请给我建议。

Answer 1

Spark是一个并行框架。即使你在你的代码中添加了try catch代码，但是在其他线程中抛出了异常。所以你的代码不能捕获任何异常。