Github上的Apache Kafka

Question

在Github（或其他地方）有一些使用Apache Kafka的好演示项目（版本0.8是首选）吗？我们一直在用一些玩具项目进行测试。但我想查看一些真实世界更大的项目。

Answer 1

我一直在使用kafka。我正在使用franz-kafka nodejs客户端来实现pubsubhubbub规范。

我也没有找到任何使用卡夫卡的项目，但你可以问我你有什么问题，我会尽量回答他们。
谢谢

Answer 2

玩具项目和演示项目一样好。编写你自己的简单生产者/消费者将很有趣。你可以创建你自己的演示项目（并且在这样做的时候你会学到很多东西）。想一想你需要大量说流数据的问题（Think正在运行的应用程序的日志）。现在让卡夫卡阅读这些日志。卡夫卡只是一种消息队列。除非你写下你的消费者，否则我不认为会有任何乐趣。所以对于真实的世界消费者皮卡说，Twitter风暴。将应用程序的所有日志行发送给风暴消费者（Aka Kafka Spout）挑选这些线并将它们发送给Bolts（Spout/Bolt风暴术语类似于Map Reduce但实时）的经纪人。

这样你将有一个完整的演示应用程序。

现在的主要问题。如何生成日志以供给Kafka（对于演示项目，如果您没有任何应用程序）。有大量可用的大量数据集（开源）。从Youtube到亚马逊到Twitter，都提供它们。只需下载它并考虑一些应用程序。例如，考虑Youtube视频日志（http://netsg.cs.sfu.ca/youtubedata/）。仿真他们即将上线。将它们输入到Kafka。让Storm Consumer（或Kafka Spout）从Kafka经纪商那里为您选择该日志行。将每一行日志记录到Bolt，其中螺栓只读取一行（执行一​​些分析），并计算最近X分钟内观看的视频的最热门/最热门流派。

编写所有这些不应该花费太多时间。请享用！

Answer 3

你可以试试这个https://github.com/wurstmeister/storm-kafka-0.8-plus 使用0.8 build