星火jar包依赖文件

Question

我想要做一些IP对火花的位置计算，探索网后，发现IPLocator https://github.com/miraclesu/IPLocator，

的IP来定位需要使用其中包含的映射信息的文件。

打包jar之后，我可以通过使用本地java来运行它，包只是在IPLocator.jar和qqwry.dat在同一个目录下运行。

但是我想使用这个jar使用spark，我试着在启动spark-shell的时候使用--jars IPLocator.jar qqwry.dat，但是启动时，函数仍然不能读取文件。

的文件读取的代码是这样

QQWryFile.class.getClassLoader().getResource("qqwry.dat") 

我也试图打包qqwry.dat文件放进瓶子里，和它没有工作。

Answer 1

您需要使用--files，然后SparkFiles.get程序的尝试里面

Answer 2

使用逗号delimitor并检查是否IPLocator.jar和qqwry.dat分布火花暂存文件夹（.sparkStaging/application_xxx）。

--jars IPLocator.jar,qqwry.dat