当我运行由我自己修改的wordcount样本时,我遇到了Flink 0.9.0 Release的一些问题。我发现计数窗口表现出与官方文档不同的本地窗口。而且我还在https://issues.apache.org/jira/browse/FLINK-1657中发现了一个固定的错误。这是正确的答案?任何帮助,将不胜感激!感谢很多计数窗口是本地或全球Flink 0.9.0版本
回答
现在,规范的答案是时间是全球的(因为时间总是全球化的),所有其他的窗口都是本地的或者没有明确定义的。
我们意识到了这个问题,目前正在为下一个版本修改API。您可以在这里阅读设计文档:https://cwiki.apache.org/confluence/display/FLINK/Streams+and+Operations+on+Streams和https://cwiki.apache.org/confluence/display/FLINK/Time+and+Order+in+Streams。
随着这些变化,我们试图弄清楚哪些窗口是并行处理的,什么是全局/局部的。
谢谢,这可以帮助我很多 – zhangshengxiong
你需要组,通过将窗口前:
dataStream.flatMap(new WordCount.Tokenizer()).groupBy(0).window(Count.of(8)).every(Count.of(4)).sum(1).flatten().print()
数窗口是在本地组装(据我所知)。目前,Flink不提供任何订购保证,因此,本地建筑计数窗口可提供最佳性能。
谢谢,你是对的!我做了很多关于窗口语义的测试,发现计数窗口是局部的,而时间窗口是全局的。你能给我一个规范的答案吗 – zhangshengxiong
- 1. 全球窗口形式比。本地或私人窗口形式
- 2. SVN全球和本地版本
- 3. 本地还是全球?
- 4. 全球或本地安装webdriver?
- 5. 全球卸载Gulp(但不是本地)
- 6. OpenGL vs DirectX,本地还是全球?
- 7. Javascript本地vs全球
- 8. 柴/摩卡全球/本地
- 9. IOS本地化全球
- 10. Drools 5.0 - 本地...全球
- 11. PhantomJS:NPM在本地安装,即使全球同一版本也是如此
- 12. 当前版本的SDL是否允许全窗口透明度?
- 13. 检测窗口版本
- 14. rbenv将不会拥有全球版本
- 15. 出口-CSV从全球到本地变量
- 16. 包alanning:在1.0.6的角色是不符合流星0.9.0或更高版本
- 17. .NET窗口WPF本地化
- 18. 本地化信息(全球化)
- 19. 本地和全球范围内的CoffeeScript
- 20. Boost Python - 全球和本地词典
- 21. 全球VS本地的.gitignore冲突
- 22. 使本地网站变得全球
- 23. 报告(RDLC)本地化/全球化
- 24. 本地化全球namsapce jQuery中
- 25. .NET MVC本地化和全球化
- 26. asp.net中的全球化与本地化
- 27. NPM包本地VS全球范围
- 28. 在ABAP本地化全球varables报告
- 29. JavaScript全球和本地范围
- 30. JS全球和本地变量
你能分享一个你的输入,预期输出和实际输出的例子吗? –
输入是四个字符串,我每5s发送SourceFunction中的每个字符串。该示例的核心代码是dataStream.flatMap(new WordCount.Tokenizer())。window(Count.of(8))。every(Count.of(4))。groupBy(0).sum(1).flatten ()。打印()。输出显示每个管道(env.setParallelism(4))都会严格地处理每个字符串。所以我认为也许计数窗口是本地 – zhangshengxiong