将数据批量上传到客户关系管理系统的设计云系统

我们必须设计一个接口，将数据构建上传到基于云的CRM系统中。批量上传将定期执行以实现实时数据推送。有两种方法。将数据批量上传到客户关系管理系统的设计云系统

将转换后的数据存储在队列中，然后执行批量加载数据到CRM系统的计划作业。
转换后的数据存储在数据库表中，然后执行批量加载数据到CRM系统的计划作业。

其中一个主要问题是云客户关系管理系统无法接受2个具有相同主要ID的请求，这意味着在数据上传之前过滤数据。我不熟悉使用队列作为永久组件。数据库表提供了对错误处理[系统/数据]，持久性存储[CLOB]，调试，过滤的更多控制。

我可以得到队列或数据库方式的优点。这将帮助我做出设计决定。此外，如果有人可以启发设计策略，这将是伟大的。提前 Makarand PARAB

2012-04-10 user1323726

感谢你想要做的是技术上所谓数据的ETL。有很多工具可用来加载数据。你打算编写自己的工具来提取和加载数据。第三种方法也可以是从文件加载。通常，如果队列没有实时上传，则不使用队列。 Abinitio是流行的工具。您可以使用autosys工具安排工作。但两者都是付费软件。你的设计涉及2个阶段。（a）清理数据以删除重复项（b）加载CRM系统中的数据。要准确设计界面，请让我们知道您的CRM支持什么界面。（基于文件，SQL等）

来源

2012-04-10 10:19:31 Satish

我们已经使用了PUB-SUB机制并使用CORDYS BPM工具。问题是w.r.t.应该在这样的设计中使用队列来存储转换后的数据。什么是更好的媒体存储/过滤队列或数据库。 – user1323726 2012-04-10 10:28:13

如果是实时使用队列没有问题。我之前使用过JMS队列。必须有一个过滤机制。我有与JMS队列的Openadaptor接口。您可以构建过滤器和级联以加载数据。来源 - > [数据清理] - > [加载数据]。 Openadaptor提供医院，您可以查看任何错误。如果您使用自己的工具，请确保有错误捕获机制。然后应该有失败情况检查。如果一个记录被拒绝，应停止处理。如果有最大n个记录被拒绝，如果它停止处理等...... – Satish 2012-04-10 10:33:58

@ user1323726。请访问www.openadaptor.org。它的架构上可能有一些文件。它只是帮助你做你打算做的事情，尽管你可以将这个架构合并到你的工具中。 – Satish 2012-04-10 11:27:38

将数据批量上传到客户关系管理系统的设计云系统

回答

相关问题