添加JAR以在spark中使用sql UDF

Question

我想使用在libaray中定义的自定义UDF。我用下面的代码为：

％spark2 进口org.apache.spark.sql.functions.year

VAL sqlContext =新org.apache.spark.sql.hive.HiveContext（SC）

sqlContext.sql（S “ADD JAR /usr/hdp/current/spark-client/lib/myLib.jar”）

VAL DF = sqlContext.sql（“选择parse_datetime（start_timestamp， 'CET' ，'yyyyMMddHHmmssSSS'）AS TIMESTAMP）from temp）

上述代码抱怨缺少函数“parse_datetime”，显然ADD JAR语句不添加myLib。是否有语法问题或缺少什么。我正在齐柏林飞艇上运行。

我也复制了$ SPARK_HOME/lib文件夹中的myLib.jar，但没有用。

Answer 1

我找到了解决方案。我在spark intertreper的dependencies部分给出了myLib.jar的确切路径。它现在有效。