Apache Flink作业支持多流支持

关于Apache Flink框架的问题。Apache Flink作业支持多流支持

有没有什么办法可以在单个flink工作中支持像kafka和twitter这样的多个流源？有没有什么可以解决的问题。我们可以在单一链接工作中同时处理多个流媒体资源吗？

我目前在Spark Streaming工作，这是限制。

这是否可以通过Apache Samza，Storm或NIFI等其他流式框架实现？

回复期待已久。

来源

2016-11-06 Sadaf

是的，这是可能的弗林克和风暴（没有关于Samza或NIFI线索...）

，只要你想你可以添加尽可能多的源运营商和每个人都可以从不同的来源消耗。

StreamExecutionEnvironment see = StreamExecutionEnvironment.getExecutionEnvironment(); 

Properties properties = ... // see Flink webpage for more details  

DataStream<String> stream1 = env.addSource(new FlinkKafkaConsumer08<>("topic", new SimpleStringSchema(), properties);) 
DataStream<String> stream2 = env.readTextFile("/tmp/myFile.txt"); 

DataStream<String> allStreams = stream1.union(stream2);

对于使用低级API的Storm，模式类似。请参阅An Apache Storm bolt receive multiple input tuples from different spout/bolt

来源

2016-11-07 03:40:00

Right.Thanks for the answer。我们可以在spark项目中添加这个flink接收器吗？是否有任何中间件通过apache spark加入flink streaming？ – Sadaf

我从未使用Spark。没有线索。此外，我不知道有任何中间件将Flink和Spark结合在一起 - 我想知道为什么你想在第一时间做到这一点...... –

其实我正在开发Spark项目。但是我不能使用Spark Streams在单个作业中传输来自多个流源的数据。所以我想用flink来解决这个问题。并真正知道如何加入这两者。 – Sadaf

Apache Flink作业支持多流支持

回答

相关问题