数据分析架构

Question

我们有一个使用PostgreSQL的ERP系统，并且有一些我公司想要分析的数据。我必须做他们所要求的，但我觉得我的解决方案很慢。我运行SQL查询来获取数据，然后将其精美地呈现在页面上。但是在每次刷新时，它都会运行相同的代码，并且绝大多数历史数据都不会改变。我觉得他们必须以某种方式让这个速度变得更快。就像将最终数据存储在另一个数据库中一样，如果再次遇到相同的请求，就会产生相同的结果，甚至没有想到（像缓存但更持久）。

我没有这方面的经验，你们可能做了这些事情。我可以得到一些指示，以使过程快速且无冗余。 谢谢。

P.S.刚刚了解了ETL和数据仓库。这两个适合？我应该继续这些还是对这个问题太大？

Answer 1

您需要查询结果缓存。它看起来像PostgreSQL does not do it automatically，但有一个proxy solution这样做。

Answer 2

通常您会使用一些报表扩展名甚至是更适合此类分析查询的不同数据库。

如果你想留在PostgreSQL中，你可以提前materialized views，它允许你存储一个视图的结果（视图将是你的分析查询）。