重复的记录插入数据库与春季交易

我们有10个服务器。有些航班相关的数据将来到servers.From服务器，数据将来我们的应用程序。意味着相同的数据可以来我们的应用程序不止一次，但最后我只需要在数据库中保存这些数据一次。因此，在插入数据之前我们正在检查数据库。如果该记录已经不存在于数据库中，那么只有我们要保存数据。但由于某种原因我们正在获取数据库中的重复记录。重复的记录插入数据库与春季交易

在这种情况下是否需要使用同步？

什么可能是提前的问题here.Thanks ...

来源

2014-10-27 PSR

在我们公司，我们处理多个数据源，其中同一条信息可能经过的途径是利用批次。我们发现，通过在代码级别（java和.NET）执行此操作，我们会投入大量时间并仍然有重复。

通过实施批处理流程，我们在本地存储所有内容，并使用2个批处理作业进行处理。 1st将确保数据的质量并消除重复 2nd将压缩并将数据推送到我们的持久性服务（我们使用XCOM直接推入数据库队列，然后将数据插入）。

如果您可以实施类似的任务，因为您有一个入口的中心点，可以实现适当的质量门。

希望我们的例子有所帮助，如果不是让我知道高兴地删除这个。 :)

来源

2014-10-27 10:38:46 Aeseir

重复的记录插入数据库与春季交易

回答

相关问题