reg：sqlContext的库依赖是什么？

Question

更多详细信息如下：---

我们有spark环境1.6.1，scala版本2.10.5（OpenJDK 64位服务器VM，Java 1.8.0_77）。

我用“库处理”选项作为“将所需库提取到生成的jar中”制作了一个可运行jar。 我执行火花ENV罐子，下面火花提交选项

火花提交--class spark_sqlserver_Conn.jar --master纱

我没有进出的＃1一些研究，我也找到解决方案，但他们不适合我。

那么，我想配置什么是正确的maven依赖关系？

我也收到如下错误： - 线程 “main” 值java.sql.SQLException：没有合适的驱动程序

package spark_sqlserver.tblcreation 

      import java.util.Properties 
      import java.sql.DriverManager 
      import java.sql.Connection 
      import org.apache.spark.SparkContext 
      import org.apache.spark.SparkConf 

      object SQLServerTbleCreate { 
       def main (args: Array[String]){    
        val conf = new SparkConf() 
           .setAppName("test SQL") 
           .setMaster("path to Spark Master Server") 
           .set("spark.executor.memory","1g"); 
        val sc = new SparkContext(conf) 
        val sqlContext = new org.apache.spark.SQLContext(sc) 

        var props= new java.util.Properties() 
        props.setProperty("driver",                                           "com.microsoft.sqlserver.jdbc.SQLServerDriver") 

     val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" ->  "jdbc:sqlserver://xxx:xxxx/xxx?user=xxxxx&password=xxxxx", 
"dbtable"-> "xxxx")).load() 

     val test = sqlContext.sql("SELECT xxxx ,xxxx FROM xxxxx") 
     test.show(10) 

      } 
     } 

我的日食被配置为“C：\ Program Files文件\的Java \ jre1 .8.0_121 \ BIN \服务器\ jvm.dll”这个

日食MARS2

通过我已经sqljdbc4-2.0.jar捆绑 “构建路径”

问候， Amitesh Sahay

Answer 1

错误似乎是版本冲突的类路径问题。请确保您的驱动程序在您的课程路径中。您也可以通过右键单击该项目来从Eclipse中确保它。

在Eclipse中，右键单击项目→构建路径→配置构建路径。在Libraries选项卡下，单击Add Jrs或添加外部JAR并提供Jar。

Answer 2

首先改变你的代码像

package spark_sqlserver.tblcreation 

import org.apache.spark.SparkContext 
import org.apache.spark.sql.SQLContext 
import org.apache.spark.SparkConf 

object SQLServerTbleCreate { 
    def main (args: Array[String]){    
     val conf = new SparkConf() 
        .setAppName("test SQL")      
        .set("spark.executor.memory","1g"); 
     val sc = new SparkContext(conf) 
     val sqlContext = new org.apache.spark.SQLContext(sc) 

     val jdbcSqlConnStr = "jdbc:sqlserver://xxx.xxx;databaseName=xxx;user=xxx;password=xxx;" 

     val jdbcDF = sqlContext.read.format("jdbc").options(Map("url" -> jdbcSqlConnStr, "dbtable" -> jdbcDbTable)).load() 


     val test = sqlContext.sql("SELECT xxxx ,xxxx FROM xxxxx") 
     test.show(10) 

     } 
} 

然后你需要为启动您的应用提供正确的语法，并提供所需的依赖与--jars参数：

spark-submit --class "your main class full reference" --master yarn --deploy-mode cluster --jars "full path to your jars with comma delimiter" "your jar package" "args" 

例如

spark-submit --class com.run.Main --master yarn --deploy-mode cluster --jars /home/user/test.jar,/home/user/log.jar application.jar "Hello!"