2017-08-08 54 views

回答

3

kafka direct是一种优化,它提供了更好的容错保证和更强的可靠性语义加班。
园1.2介绍Write Ahead Logs。它确保没有从任何可靠的数据源(即Flume,Kafka和Kinesis等事务源)接收的数据由于失败(即至少一次语义)而丢失。即使对于像普通旧套接字这样的不可靠(即非事务性)来源,它也可以最大限度地减少数据丢失。 参阅本link为更好地理解

0

直接API卡夫卡 - 这允许发生故障时仍然只有一次处理的每个卡夫卡记录,不使用预写日志。这使得Spark Streaming + Kafka管道更高效,同时提供更强大的容错保证。