字段分组可以在卡夫卡喷口发出的元组上完成吗?如果是的话,那么Storm如何知道卡夫卡记录中的字段?卡夫卡喷口的字段分组
3
A
回答
1
Kafka Spout声明其输出字段与任何其他组件一样。我的解释是基于KafkaSpout的当前implementation。
在KafkaSpout.java类中,我们看到了调用KafkaConfig方案的getOutputFields()方法的declareOutputFields方法。
@Override
public void declareOutputFields(OutputFieldsDeclarer declarer) {
declarer.declare(_spoutConfig.scheme.getOutputFields());
}
默认情况下,KafkaConfig使用RawMultiScheme实现这样此方法。
@Override
public Fields getOutputFields() {
return new Fields("bytes");
}
那么这是什么意思?如果你宣布螺栓从KafkaSpout与fieldGrouping你知道包含每一个元组等于现场读取元组“字节”是要由同一个任务来执行。如果你想发射任何领域,你应该实现你的需求的新计划。
2
Storm中的字段分组(一般来说)用于螺栓,不适用于喷口。这是通过InputDeclarer
课程完成的。
当您致电setBolt()
TopologyBuilder
时,返回InputDeclarer
。
相关问题
- 1. 卡夫卡喷口集成
- 2. 监测卡夫卡喷口
- 3. 卡夫卡风暴喷口lein或Mvn
- 4. 卡夫卡喷嘴性能不佳
- 5. 风暴 - 卡夫卡喷口慢慢消耗
- 6. 比较不透明或交易卡夫卡喷口
- 7. 如何解决风暴卡夫卡喷口只消费卡夫卡的一半数据?
- 8. 从卡夫卡检索主题并发送到相应的喷口和螺栓
- 9. Apache Storm:支持卡夫卡喷嘴中的主题通配符
- 10. 春季卡夫卡分区
- 11. 卡夫卡组清理
- 12. 卡夫卡:如何在卡夫卡实现循环分区
- 13. 卡夫卡喷口错误“消费者没有订阅任何主题或分配任何分区”
- 14. 无法从voltdb出口到卡夫卡
- 15. 的NodeJS和卡夫卡键分区
- 16. UnknownCodecException卡夫卡
- 17. 卡夫卡
- 18. 卡夫卡的retention.ms没有被卡夫卡0.10.2强制执行?
- 19. 卡夫卡0.9:消费从最早的卡夫卡偏移
- 20. 卡夫卡与斯卡拉
- 21. 卡夫卡 - 动态/任意分区
- 22. 卡夫卡流:多主题分区
- 23. 卡夫卡 - 检查每一个分区
- 24. 卡夫卡消费群体和分区
- 25. 阿帕奇卡夫卡 - 分区
- 26. 计算卡夫卡主题分区
- 27. 卡夫卡:分销过程和存储
- 28. 卡夫卡主题分区火花流
- 29. 卡夫卡多分区订购
- 30. 卡夫卡Kubernetes/Minikube
我的不好,我的意思是它的螺栓。 这就是我有一个卡夫卡鲸鱼喷嘴,它会发射元组到随后的螺栓。现在对于包含在风暴分布中的卡夫卡壶嘴,我必须首先知道它发出的田野。这些字段id是否与kafka发布者发布的相同? – Nitin 2014-09-28 07:05:36