flink-streaming

0热度

3回答

我正在使用Apache Flink-1.1.3进行实时流式数据分析。我的系统由消息队列的Kafka集群，读取来自kafka分区的消息并对其进行一些分析的Flink集群组成，最后我想将生成的数据转储到Ignite Cache中。对于我使用IgniteSink类的系统将数据汇入点火高速缓存。该版本如下：弗林克1.1.3，卡夫卡2.10，点燃2.0.0 当我试图运行它给了我下面的错误弗林克群集上的

1热度

1回答

Flink HA状态后端

我正在尝试为HA设置配置Flink 1.2.0，并且我必须设置一个名为状态后端的参数。我之前已经将此参数设置为rocksdb，但是随后阅读了文档，其中说明了HA只有文件系统可用。这是真的？（HA设置仅支持文件系统状态后端，并且没有rocksdb可用？）或者这是指不同的（zookeeper特定的）状态后端？谢谢！

3热度

1回答

Flink BucketingSink与自定义AvroParquetWriter创建空文件

我已经为BucketingSink创建了一个编写器。汇和作家工作没有错误，但当涉及到写作avro通用录制到实木复合地板的作家，该文件是从进行中创建，待完成。但是这些文件是空的，有0个字节。任何人都可以告诉我代码有什么问题吗？我试过在open（）方法中放置AvroParquetWriter的初始化，但结果仍然相同。当调试代码，我确认writer.write（元件）不执行与元件包含阿夫罗generi

7热度

1回答

阿帕奇弗林克 - 自定义的Java选项无法识别内部工作

我已经添加了以下行弗林克-conf.yaml： env.java.opts：“-Ddy.props.path =/PATH/TO /道具/ FILE” 启动时jobmanager（jobmanager.sh开始丛）我在日志中看到JVM选项确实是公认的 2017-02-20 12:19:23,536 INFO org.apache.flink.runtime.jobmanager.JobManage

1热度

1回答

Flink：在Flink集群上执行Jar文件

我在2个不同的物理节点上使用9个任务管理器的flink集群。当我将这个罐子提交给Flink的Jobmanager（Master）时，罐子发生了什么。我的意思是，罐子是否分配给所有工作节点，或者该功能的某些部分是否重新分配给所有工作节点？我在问这是因为，当我试图运行我的应用程序时，它在本地运行成功，但在集群上运行时在FlatMapFunction上出现序列化错误。

1热度

1回答

Flink将SingleOutputStreamOperator写入两个文件而不是一个

我试图在工作中使用flink。我已经达到了通过应用计数窗口等来处理流的点。但是，我注意到了一个奇特的行为，这是我无法解释的。似乎一个流由两个线程处理，并且输出也分为两部分。首先我注意到使用stream.print()将流打印到标准控制台时的行为。然后，我打印到一个文件，它实际上打印在输出文件夹中名为1和2的两个文件中。 SingleOutputStreamOperator<Tuple3<St

0热度

1回答

如何在Scala中应用Flink的简单过滤器

我使用的是旧版本的Flink。我升级到1.2.0，我有一些过滤器问题。我有记录的数据流，其工作得很好： val logs: DataStream[Log] = env.addSource(new LogSource( data, delay, factor)) // DISPLAY TUPLE IN CONSOLE logs.print() // EXECUTE SCRIPT

0热度

1回答

Apache Flink在集群上抛出UnknownHostException

我有一个连接到nifi来拉取数据的flink工程。在本地运行时，获取数据流的设置工作得很好。 .url("http://1.2.3.4:8080/nifi") .portName("MyPortName") .requestBatchCount(5) .buildConfig(); 但是，当我将.jar添加到远程集群和运行作业它抛出这样的： java.

1热度

1回答

Flink with zookeeper：由于正在进行的领导者选举，服务暂时不可用。请刷新

我想用高可用性模式运行flink群集。因此，我已根据JobManager High Availability将设置设置为flink配置文件。当我使用start-zookeeper-quorum.sh启动动物园管理员仲裁时，我可以在两台机器上启动两台zookeerper服务器（对等）。但是当我使用2个JobManagers启动flink集群时，我在flink的Web UI上收到的消息为Service

1热度

1回答

当任务管理器失败时，Flink预期HA行为

我创建了一个由1个JobManager和2个任务管理器组成的HA Flink v1.2群集，每个群集都在其自己的VM（不使用YARN或hdfs）中。在JobManager节点上启动作业后，我终止了一个TaskManager实例。立即在Web仪表板中，我可以看到该作业被取消，然后失败。如果我检查日志： 03/06/2017 16:23:50 Flat Map(1/2) switched to DE