PySpark没有找到适合jdbc的驱动程序：mysql：// dbhost

Question

我正在尝试将我的数据框写入mysql表。当我尝试写作时，我得到No suitable driver found for jdbc:mysql://dbhost。

作为预处理的一部分，我从同一个数据库中的其他表中读取并且没有问题。我可以完成全部运行并将行保存到实木复合地板文件，因此它绝对是从MySQL数据库读取的。

我使用提交：

spark-submit --conf spark.executor.extraClassPath=/home/user/Downloads/mysql-connector-java-5.1.35-bin.jar --driver-class-path /home/user/Downloads/mysql-connector-java-5.1.35-bin.jar --jars /home/user/Downloads/mysql-connector-java-5.1.35-bin.jar main.py

，我使用写：

df.write.jdbc(url="jdbc:mysql://dbhost/dbname", table="tablename", mode="append", properties={"user":"dbuser", "password": "s3cret"})

Answer 1

这是一个与类加载器相关的错误。这是它的门票：https://issues.apache.org/jira/browse/SPARK-8463，这是它的拉动请求：https://github.com/apache/spark/pull/6900。

解决方法是将mysql-connector-java-5.1.35-bin.jar复制到与驱动程序相同位置的每台计算机上。

Answer 2

看来你可能已经引发了星火SQL的错误。似乎有一个修复，提交是e991255e7203a0f7080efbd71f57574f46076711（请参阅https://mail-archives.apache.org/mod_mbox/spark-commits/201505.mbox/%3C6ec5793fb810447388384f3ac03ca670@git.apache.org%3E），并将问题描述为“问题出在无法访问由Spark ClassLoader加载的驱动程序的java.sql.DriverManager类中。”可能最简单的解决方案是尝试从主服务器上获得最新版本，或者没有通过挑选提交到您的分支中。