代码(通过火花流运行)设立消费,创建后的道具对象卡夫卡消费者无法从卡夫卡的主题订阅
val consumer = new KafkaConsumer[String, String](props)
consumer.subscribe(util.Arrays.asList(topic))
代码拥有自营如下
package main.scala
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf
import org.apache.spark.streaming.StreamingContext
import org.apache.spark.streaming.Seconds
import org.apache.spark.streaming.kafka.KafkaUtils
import org.apache.kafka.clients.consumer.KafkaConsumer
import java.util
import java.util.Properties
import org.apache.kafka.clients.consumer.{ConsumerConfig, KafkaConsumer}
import java.io.IOException
我通过创建一个SBT组装罐子
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.6.0" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-streaming" % "1.6.0" % "provided"
libraryDependencies += "org.apache.spark" %% "spark-streaming-kafka" % "1.6.0" libraryDependencies += "org.apache.kafka" % "kafka_2.10" % "0.10.0-kafka-2.1.1"
u能请建议什么,我在这里缺少
错误消息 -
用户类抛出异常:java.lang.NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava/UTIL /收藏;)V
很难说没有看到Scaladoc,但为什么你不能只做'List(topic)'?是什么让你使用Java'List'? –
你好Abhijit,谢谢你的回复。就像我如何打印,我只需要看看数据是否来临。做你可以在这里使用的代码片段 –
你不回答与另一个问题的问题。 –