使用Spark和Scala连接到本地postgresql数据库

Question

我正在运行scala版本2.12.1。使用IntelliJ，我如何使用spark连接到本地postgresql数据库并运行sql命令来操作表？我有很多关于版本冲突的问题，那么是否也可以包含依赖关系？

Answer 1

我建议你使用最新的火花，即2.2.0。对于你想做的事情，你需要spark-core，spark-sql和postgresql jdbc驱动依赖。

火花使用这两个：

https://mvnrepository.com/artifact/org.apache.spark/spark-core_2.11/2.2.0 https://mvnrepository.com/artifact/org.apache.spark/spark-sql_2.11/2.2.0

对于PostgreSQL驱动这一块可能会做得很好：

https://mvnrepository.com/artifact/org.postgresql/postgresql/9.4.1212

星火可以连接到通过JDBC的关系型数据库，有在这个节火花文档：https://spark.apache.org/docs/latest/sql-programming-guide.html#jdbc-to-other-databases

来自同一文档：

// Loading data from a JDBC source 
val jdbcDF = spark.read 
    .format("jdbc") 
    .option("url", "jdbc:postgresql:dbserver") 
    .option("dbtable", "schema.tablename") 
    .option("user", "username") 
    .option("password", "password") 
    .load() 

很明显，你将需要使用指定你的数据库的URL，PostgreSQL的连接网址看到https://jdbc.postgresql.org/documentation/80/connect.html