集成/转换来自不同/不同源的数据而不存储它

我有一个用例。我想整合/转换来自不同/不同来源的数据而不存储它。数据源是数据库（oracle，db2等），Webservice（Rest/Soap），平面文件（CSV，XML，JSON），MQ转储，大型机系统。我想从这些来源获取数据，并进行某种智能转换和集成，并将其提供给我们的客户。它看起来像典型的ETL场景，但我的情况不同。我不允许存储绝望来源给出的数据，这就意味着，举个简单的例子，我从oracle，soap和休息中提取数据，并且在运行中完成所有我的智能转换和集成。集成/转换来自不同/不同源的数据而不存储它

我浏览谷歌和技术的东西，但不能得到令人信服的解决我的问题。

如果你们可以帮助我对这个问题给出一些有价值的见解并给出建议和可能的解决方法。

注意：这些来源的数据大小有时可能非常大。

由于提前

来源

2017-09-23 Sadique

看看htto：//teiid.org

THST正是它，并且它是开源的。

来源

2017-09-23 19:06:33

非常感谢Ramesh的建议。我已经使用teiid对JDV进行了审查并做了一些操作。这是一个非常好的工具。但是在某些情况下，当我有大数据时，复杂的聚合/联合，数据本身非常复杂（xml或Json中的多级分层数据）以及工具的可伸缩性问题。如果您可以建议任何支持指南来克服这些典型情况。 – Sadique

您需要提供每个问题的详细信息，如果您无法获得任何建议。 Teiid还支持集群和缓存以帮助扩展。为每个问题建议不同的线程。 –

集成/转换来自不同/不同源的数据而不存储它

回答

相关问题