2016-11-13 87 views
0

火花提交工作放在CDH中,有一个奇怪的事情。它总是抱怨一个查询(下面的XXX),但是这个查询不在当前应用程序中,它是之前使用过的旧查询并被删除。看起来有些地方有一些缓存。如何避免火花提交缓存

代码很简单,VAR提取物= sqlContext.sql( “.....”)

如何解决呢?谢谢。

16/11/13 22:12:29 INFO DAGScheduler: Job 1 finished: aggregate at InferSchema.scala:41, took 3.032230 s 
Exception in thread "main" org.apache.spark.sql.AnalysisException: cannot resolve 'XXX' (string and boolean).; 
     at org.apache.spark.sql.catalyst.analysis.package$AnalysisErrorAt.failAnalysis(package.scala:42) 
     at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:61) 
     at org.apache.spark.sql.catalyst.analysis.CheckAnalysis$$anonfun$checkAnalysis$1$$anonfun$apply$2.applyOrElse(CheckAnalysis.scala:53) 
     at org.apache.spark.sql.catalyst.trees.TreeNode$$anonfun$transformUp$1.apply(TreeNode.scala:293) 

感谢。

回答

1

您可能需要删除旧的jar并重建它以执行。