无法使用Flume获取Twitter数据

我正在使用Fluo在hadoop中获取twitter数据。它工作良好的连接建立，注册但最后它一直给出无效URI或用户消息不存在..任何人都可以帮助我这个。预先感谢您。无法使用Flume获取Twitter数据

我正在使用以下conf。

TwitterAgent.sources= Twitter 
TwitterAgent.channels= MemChannel 
TwitterAgent.sinks=HDFS 
TwitterAgent.sources.Twitter.type = com.cloudera.flume.source.TwitterSource 
TwitterAgent.sources.Twitter.channels=MemChannel 
TwitterAgent.sources.Twitter.consumerKey=E9tsA378a5d1WfkKt1N9T9SkD 
TwitterAgent.sources.Twitter.consumerSecret=TK0gZLlppIWQJfCSjlzt0A7tLBLNygaqhdtLYwwvPxLs8BMhB9 
TwitterAgent.sources.Twitter.accessToken=833216676678217729-OGo6WnKqAG58xUpCGpDr7MNksq3jr2Q 
TwitterAgent.sources.Twitter.accessTokenSecret=5hc1AUyJpatiO8tFLsIZHXlSjfLzf3L8ORbYul8DmNZdo 
TwitterAgent.sources.Twitter.keywords= hadoop,election,sports, cricket,Big data, TwitterAgent.sinks.HDFS.channel=MemChannel 
TwitterAgent.sinks.HDFS.type=hdfs 
TwitterAgent.sinks.HDFS.hdfs.path=hdfs://192.168.56.101:9000/flumedata/ 
TwitterAgent.sinks.HDFS.hdfs.fileType=DataStream 
TwitterAgent.sinks.HDFS.hdfs.writeformat=Text 
TwitterAgent.sinks.HDFS.hdfs.batchSize=1000 
TwitterAgent.sinks.HDFS.hdfs.rollSize=0 
TwitterAgent.sinks.HDFS.hdfs.rollCount=10000 
TwitterAgent.sinks.HDFS.hdfs.rollInterval=600 
TwitterAgent.channels.MemChannel.type=memory 
TwitterAgent.channels.MemChannel.capacity=10000 
TwitterAgent.channels.MemChannel.transactionCapacity=100

这是我用来运行水槽。 ./bin/flume-ng剂-n TwitterAgent -f /opt/apache-flume-1.4.0-bin/conf/flume.conf

来源

2017-02-19 Shivani Tyagi

水槽版本1.4.0。请查看上面的conf文件 –

17/02/20 07:19:19信息twitter4j.TwitterStreamImpl：404：请求的URI无效或请求的资源（如用户）不存在。未知的URL。请参阅http://dev.twitter.com/pages/streaming_api上的Twitter Streaming API文档，这是错误 –

试试这个

TwitterAgent.sinks.HDFS.hdfs.path=hdfs://localhost:9000/users/flume/tweets/

而不是IP地址使用“本地主机”

这对我有效。

来源

2017-08-14 14:37:41

无法使用Flume获取Twitter数据

回答

相关问题