2017-05-01 44 views
0

我目前工作的一个用例在那里我已经没有大(在Java中,春季开发)。的Twitter帐户(帐户数量可以达到千),我可以将数据(tweet)发布到配置/预定时间。轮询多个Twitter帐号,喜欢

我实现了数据的发布到Twitter,但我很困惑如何拉印象/锐推和来自各种Twitter账户鸣叫的喜欢。

一个解决方案是轮询定期间隔的所有帐户,但在这种情况下,我不会在推特上得到不喜欢的,因为我使用带有“since_id”参数的用户和提及时间线API,不会在我的旧推文上返回任何喜欢的东西,因为它总是提取最新的推文和转推。

另一种选择是使用流式API,其中我会为每一个Twitter帐户我要开一个流,但因为我有非常大的不说似乎并不可行我。的Twitter帐户与我,我怀疑我的Java应用程序可以处理很多没有。的流。

有人可以请建议我怎么能解决这个问题,任何帮助是极大的赞赏。

回答

0

看来你的问题是由于规模而不是设计,声明“我怀疑我的Java应用程序可以处理很多不流。”

让我们看看不同的方向。

它的时间移动到“大数据”的世界。 Apache kafa,Pig,Hive,Yarn,Strom,HBase,Hadoop等都是压倒性的。

即,支持的概念,如MapReduce的
  1. 阿帕奇火花大型数据处理,在内存中处理,流处理,图形处理等
  2. 风暴是由微博创建可以说计数器部分是Apache的风暴。
  3. Apache Kafka它提供收集流的代理,以容错方式记录和缓冲它们。
  4. Hadoop用于存储数据。 http://www.itworld.com/article/2827285/big-data/what-hadoop-can--and-can-t-do.html

快乐的设计。