Twitter搜索API和Hadoop

Question

我需要使用Twitter搜索API并将twitter数据导入到我的HDFS中。 Search API使用REST调用，我想了解如何使用Apache Flume。我已经要求授权使用Twitter的API，但我不明白如何使用flume实现Search API。需要帮忙！谢谢！

Answer 1

1. 创建Twitter的开发者帐户，并生成自己的密钥。
2. 将一个flume-source-1.0-SNAPSHOT.jar文件添加到lib文件夹中。
3. 使用密钥创建一个flume配置文件，从Twitter获取推文并将其存储到hdfs中。
4. 你开始使用水槽下面的命令

命令：bin/flume-ng agent --conf ./conf/ -f conf/flume.conf -Dflume.root.logger=DEBUG,console -n TwitterAgent

欲了解更多详情，请参阅以下链接：

http://www.thecloudavenue.com/2013/03/analyse-tweets-using-flume-hadoop-and.html

Answer 2

首先，你需要创建Twitter应用。转到 https://apps.twitter.com/并创建应用程序，然后记住生成的四个密钥 - 消费者密钥，消费者密钥，访问令牌和访问令牌密钥。

下载apache-flume-1.x.0-bin.tar.gz。在这里，X表示最新version.After解压文件中添加以下命令到~/.bashrc文件：

export FLUME_HOME=location of untar flume file 
export PATH=$PATH:$FLUME_HOME/bin 

保存上述文件运行source ~/.bashrc在terminal.After此遵循以下网站命令后：

https://acadgild.com/blog/streaming-twitter-data-using-flume/