数据仓库 - 构建ETL模板

Question

我的公司正在试图建立一个庞大的企业数据仓库，我们公司决定聘请一家咨询公司来构建它。需要多少时间才能提出ETL模板？我们正在构建一个sql server 2012数据仓库。我们正处于获得项目计划的阶段，我们对数据仓库周期非常陌生。任何帮助将不胜感激。

Answer 1

提出ETL模板的时间表主要取决于建筑师的经验。但是，大概的时间范围应该在6个月到一年之间，具体取决于数据的复杂程度。 DataStage和Ab Initio是一些可以在企业环境中实施的优秀ETL技术。

咨询公司应该首先能够估计ETL系统在其使用期限内的可扩展性。他们必须能够理解您提到的SLA中必须处理的数据量。可用于从任何地方提取数据更改的时间。一些ETL系统必须扩展以处理太字节的数据，以便用数十TB的数据更新数据仓库。越来越多的数据可能需要可以从每日批量多日处理中扩展的设计。

我个人建议您咨询咨询公司是否可以在尝试提出ETL解决方案时实施并行处理，因为它可以帮助您轻松适应未来需求，同时加快ETL过程。

因此，为模板定义时间范围将至关重要的因素是 1.了解仓库表的参照完整性&。 2.需要处理的数据量。 3.用于ETL过程的各种目的。

您应该主要关注的另一个主要因素是花费足够的时间分析需求，因为您可能不想经常回溯或改变解决方案。

祝你好运！

Answer 2

你需要考虑几件事情：

• 数据源
• 复杂数据源的数
• 数据质量
• 错误处理和记录需要
• 性能水平所需

也影响ETL模型是围绕数据仓库本身复杂性的要求，因为复杂的模型会使ETL的要求复杂化。

我也认为它在设计ETL框架时能够提前做一些工作，并尽可能地使其成为“动态”，因为您不想处于在项目结束时不得不对数百个ETL包/流程进行更改。

没有太多的信息，我会说你会在2周之内（对于简单的项目）和3个月（对于复杂的项目）之间的东西。