我需要将红移数据读入Zeppelin的数据框。在过去的几个月里，我通过AWS上的Zeppelin使用Spark 2.0成功打开了csv和json S3文件。使用Zeppelin Spark 2.0和Pyspark连接到AWS Redshift
我曾经是能够连接从飞艇到红移在AWS EMR星火1.6.2（也许1.6.1），使用此代码：
%pyspark
from pyspark.sql import SQLContext, Row
import sys
from pyspark.sql.window import Window
import pyspark.sql.functions as func
#Load the data
aquery = "(SELECT serial_number, min(date_time) min_date_time from schema.table where serial_number in ('abcdefg','1234567') group by serial_number) as minDates"
dfMinDates = sqlContext.read.format('jdbc').options(url='jdbc:postgresql://dadadadaaaredshift.amazonaws.com:5439/idw?tcpKeepAlive=true&ssl=true&sslfactory=org.postgresql.ssl.NonValidatingFactory?user=user&password=password', dbtable=aquery).load()
dfMinDates.show()
和它的工作。那是2016年的夏天。
从那时起我就不再需要它了，现在AWS有Spark 2.0。
新的语法是
是myDF = spark.read.jdbc这样的：
%pyspark
aquery = "(SELECT serial_number, min(date_time) min_date_time from schema.table where serial_number in ('abcdefg','1234567') group by serial_number) as minDates"
dfMinDates = spark.read.jdbc("jdbc:postgresql://dadadadaaaredshift.amazonaws.com:5439/idw?tcpKeepAlive=true&ssl=true&sslfactory=org.postgresql.ssl.NonValidatingFactory?user=user&password=password", dbtable=aquery).load()
dfMinDates.show()
，但我得到这个错误：
Py4JJavaError: An error occurred while calling o119.jdbc. : java.sql.SQLException: No suitable driver at java.sql.DriverManager.getDriver(DriverManager.java:315) at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$2.apply(JdbcUtils.scala:54) at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$$anonfun$2.apply(JdbcUtils.scala:54) at scala.Option.getOrElse(Option.scala:121) at org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils$.createConnectionFactory(JdbcUtils.scala:53) at org.apache.spark.sql.execution.datasources.jdbc.JDBCRDD$.resolveTable(JDBCRDD.scala:123) at org.apache.spark.sql.execution.datasources.jdbc.JDBCRelation.(JDBCRelation.scala:117) at org.apache.spark.sql.DataFrameReader.jdbc(DataFrameReader.scala:237) at org.apache.spark.sql.DataFrameReader.jdbc(DataFrameReader.scala:159) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at py4j.reflection.MethodInvoker.invoke(MethodInvoker.java:237) at py4j.reflection.ReflectionEngine.invoke(ReflectionEngine.java:357) at py4j.Gateway.invoke(Gateway.java:280) at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:128) at py4j.commands.CallCommand.execute(CallCommand.java:79) at py4j.GatewayConnection.run(GatewayConnection.java:211) at java.lang.Thread.run(Thread.java:745) (, Py4JJavaError(u'An error occurred while calling o119.jdbc.\n', JavaObject id=o121),)
我研究了星火2.0文档，以及发现这个：
The JDBC driver class must be visible to the primordial class loader on the client session and on all executors. This is because Java’s DriverManager class does a security check that results in it ignoring all drivers not visible to the primordial class loader when one goes to open a connection. One convenient way to do this is to modify compute_classpath.sh on all worker nodes to include your driver JARs.
我不知道如何实现这一点，并从不同的岗位，一些博客和计算器中的一些职位，做了更多的阅读，发现这个：
spark.driver.extraClassPath = org.postgresql.Driver
我做这在Zeppelin的Interpreter设置页面中，但我仍然得到相同的错误。
我试着添加一个Postgres解释器，我不确定是否正确（因为我不确定是否把它放在Spark解释器或Python解释器中），我选择了Spark解释器。现在Postgres解释器也具有与Spark解释器完全相同的设置，这可能无关紧要，但仍然会出现相同的错误。
在Spark 1.6中，我只是不记得经历过所有这些麻烦。
作为一个实验，我使用Spark 1.6.2创建了一个EMR集群，并尝试了过去工作的旧代码，并得到了与上面相同的错误！
Zeppelin网站有Postgres覆盖，但他们的信息看起来像代码而不是如何设置解释器，所以我不知道如何使用它。
我出来的想法和参考。
任何建议非常感谢！
非常感谢！我将它添加到Zeppelin的解释器页面中作为一个神器，它的工作原理！ – PLB