在Greenplum中加载并行数据

Question

Greenplum表示它具有并行数据加载。我对它是如何工作有疑问。请给我解释一下。我知道记录是并行读取的，但我无法理解并行写入是如何完成的。并行写入是在同一个数据库上完成还是在不同的数据库（分段）上完成？请做解释。谢谢

Answer 1

并行写入是在不同的段上完成的，数据由一个或多个在ETL服务器上运行的gpfdist实例提供。我怀疑是神奇的一个重要组成部分是distributed by扩展，它用于分散跨段服务器的数据库的行。

Answer 2

借助gpfdist或gphdfs可以在段级别完成并发读取/写入操作。例如，如果要将数据卸载到磁盘上的文件，则可以使用连接到多个gpfdist位置的可写外部表，并且每个数据段将数据写入这些目标是并行的。

Answer 3

约翰是对的。

gpfdist的每个实例默认都会处理4个并发连接。 加载时，每个带有连接的段将根据表的分布散列读取它们的“块”数据并进行处理。

参见：https://blog.2ndquadrant.com/parallel_etl_with_greenplum/