我该如何解析Scala中的JSON文件？

Question

我有一个JSON文件是这样的：

{"ID": "1234566", "Name": "abcd", "Hobby": "run"} 

如何可以解析该文件并获得ID和业余爱好？

Answer 1

您可以在Spark中使用sqlContext.read.json(input)来阅读json文件。

与示例代码Spark version 1.6.2:

import org.apache.spark._ 
import org.apache.spark.sql.SQLContext; 

object JsonParser { 
    val conf = new SparkConf().setAppName("Spark json extract") 

      // Set this for debug mode on eclipse 
       conf.setMaster("local"); 

    val sc = new SparkContext(conf) 
    val sqlContext = new SQLContext(sc) 

    val input = "C:\\Users\\json_extract\\test1.json" 

    def main(args: Array[String]): Unit = { 
     val df = sqlContext.read.json(input) 
     df.registerTempTable("jsonExtract") 

     val data = sqlContext.sql("select * from jsonExtract") 
     data.show(); 
    sc.stop 

    } 
}