DSMS，Storm和Flink之间的区别

Question

DSMS对应于数据流管理系统。这些系统允许用户提交将被持续执行的查询，直到被用户移除。

像Storm和Flink这样的系统可以被看作是DSMS还是他们更通用的？因为他们试图解决不同的使用情况

感谢

Answer 1

两种类型的系统更是相互正交的。因此，没有一个包含或者是另一个的概括。

DSMS通常是：

• 终端到终端的解决方案，提供存储和计算作为一个统一的解决方案
• 到外部数据导入系统，首先需要
• 经常DSMS是SQL导向是什么让他们易于使用，但往往他们不那么表达
• 通常只能处理结构化数据（基于模式的元组格式）
• DSMS通常不会缩放

流处理框架（弗林克，风暴，火花）：

• 只提供从其他存储系统的计算层和消费者数据
• 最报价语言嵌入DSL（有的还提供SQL在一定程度上）
• 可以处理任何类型的数据（平元组，JSON，XML，平面文件，文本）
• 构建扩展到大型集群（多几百个节点）
• 好进行数据运算，机器学习

流平台（卡夫卡）

• 提供存储层和计算
• 可以处理任何类型，只要导入到系统中的数据（平元组， JSON，XML，平面文件，文本）
• 可扩展性和弹性
• 没有SQL，Java的只有DSL（Confluent Platform这是基于卡夫卡提供KSQL作为开发者预览版）
• 很好打造微服务