Spark Couchbase连接器DCP

我想知道基于DCP的流在Spark Couchbase官方连接器中是否稳定？这些文件指出，他们还没有准备好在生产中使用。我们有没有Java的例子？Spark Couchbase连接器DCP

另外，如果有人能在我试图解决的使用情况，以及是否提供一些线索火花连接器是有道理的位置：

我们得到了有关从couchbase精简版分贝一些徽章同步网关每日更新。现在，在10天的时间内，如果有人获得5张或更多徽章，我们需要推送一张祝贺徽章。这需要每10天完成一次。

因此，我的计划是使用DCP，每天检查更改，运行一项工作，然后将其推送到同步网关。如果在10天的间隔内，5个或更多的徽章已经获得，然后我把它推到同步网关..

这是正确的方式来解决这个问题还是有更好的方法来做到这一点？

可用于

一两件事是：

http://developer.couchbase.com/documentation/mobile/1.2/develop/guides/sync-gateway/server-integration/changes-worker/index.html ..

所以它的做法是在这里更好？

来源

2016-03-21 Sagar

这里有两个问题，最好是将它们分开。 –

由于该产品是GA，并且该功能未标记为实验，因此支持从Spark连接器进行DCP流式传输。如果功能不受支持，Couchbase会尽早引入功能并通过注释将其标记为实验。这就是说，我知道在撰写本文时，有一些已知的JVM核心DCP实现问题，预计在接下来的几个星期（如果不是更早的话）将被修复。我所知道的一个肯定是在这里跟踪：https://issues.couchbase.com/browse/JVMCBC-312

已添加新的测试场景，并且Couchbase正在努力确保它在下一个版本之前的不同失败/重新平衡模式下通过这些测试。

来源

2016-03-21 17:39:22

非常感谢您的回应。如果它用于从同步网关的更改数据流中读取数据流，它是否跟踪lastSequnce数字，即直到它读取了什么点？还是它总是读取桶中的所有数据？ – Sagar

这里的问题并不完全适用，因为最后的序列号不是Couchbase存储桶级别的概念，只能在Couchbase Sync Gateway级别上使用。 Spark连接器直接使用DCP，而不是Sync Gateway，它抽象出一些集群概念并添加更多概念。有关详情，请参阅以下文档：http://developer.couchbase.com/documentation/mobile/current/develop/guides/sync-gateway/running-sync-gateway/connecting-sync-gateway-to-couchbase-server/index html的 –

Spark Couchbase连接器DCP

回答

相关问题