使用Flume下载基于国家的特定推文

Question

我想使用Flume将特定推文从Twitter源下载到HDFS。 tweets.country = US。如何定制Flume呢？

Answer 1

检查此github项目，使用Streaming API分析hadoop中的实时tweets。

https://github.com/cloudera/cdh-twitter-example

在这程序如下改变：https://github.com/cloudera/cdh-twitter-example/blob/master/flume-sources/src/main/java/com/cloudera/flume/source/TwitterSource.java

double[][] locations = { { 40.714623d, -74.006605d }, 
      { 42.3583d, -71.0603d } }; 
FilterQuery query = new FilterQuery().locations(locations); 
    twitterStream.filter(query); 

（行号：149）