通过API导入大数据

Question

我想开发一个系统，在该系统中我将通过提供的API将我的数据库与3方数据库同步。 API有格式，使我们可以提供从最新的和最新

问题

1. 没有API，它使我只能修改的记录。
2. 的数据太大（1000条/天平均）
3. 需要调度，因此所有的记录都将自动更新
4. 我还需要不断的修改的记录轨迹（因为我可以”，这是最大的问题牛逼的修改日期让他们）

注：按以前规定正如我已经开发的系统中，我可以指定从最新的和最新的记录得到更新（其与完成GUI没有ajax被使用）。即使我要求1天的记录，系统也会超时错误。

注2：我真的应该没有说，但客户过于严格（哑）;（他只是需要解决什么都没

Answer 1

假设数据并不需要“新鲜“你能不能写一个进程来运行每小时/夜间取回那几天的数据，并将其加工成你的数据库？

显然，这如果你不更新，确保以前的记录只会工作？

不API提供批次？

你为什么选择一个带有Ajax的Web客户端来处理这些数据？ Windows /控制台应用程序会更适合吗？

Answer 2

如果数据太大而无法通过任何给定的查询进行检索，您只需要通过ID来完成。找出一个好的大小（100条记录？250？），并且通过该大小的组来旋转系统中的每条记录。

你没有说如果你拉下数据，推动数据，或两者。如果你只是把它拉下来，那么你就可以做得最好，随着更多记录的添加，它会变得越来越慢。如果你只是推动它，那么你可以追踪“推送日期”。如果两者都是，那么你如何解决冲突？