Apache Spark异常处理

Question

我正在使用Apache Spark，现在我想更多地了解异常处理。

我的情况是我有一个相当复杂的过程，最后我做了一个动作。

很显然，我需要处理异常的过程当中，所以只是在最后，所以基本上也当我做喜欢的地图，flatMap等改造......

我将如何去处理异常？提示将不胜感激。

Answer 1

一种方法是使用尽量

rdd.map({ 
    Try(fn) match{ 
case Success: _ 
case Failure:<<Record with error flag>> 
}).filter(record.errorflag==null) 

不幸的是，有数据帧/集API来做到这一点没有更简单的方法。在所有数据框操作中应该有一种方法来推送异常处理程序，如select，group by等。在流水线期间正常处理与数据有关的错误。 看到这个Row level exception handling in Apache Spark DataFrame/Set