将hadoop群集连接到多个Google项目中的多个Google Cloud Storage backets

Question

将Hadoop群集同时连接到多个Google Cloud项目是可能的吗？

如本线程Migrating 50TB data from local Hadoop cluster to Google Cloud Storage中所述，我可以通过Google云端存储连接器轻松地在单个Google项目中使用任何Google存储桶。但是我找不到任何文档或示例说明如何从单个地图缩减作业连接到两个或更多Google Cloud Project。你有什么建议/窍门吗？

非常感谢。

Answer 1

事实上，可以一次将群集连接到来自多个不同项目的存储桶。最终，如果您使用using a service-account keyfile的说明，则GCS请求将代表该服务帐户执行，该服务帐户可以像其他任何用户一样或多或少受到处理。您可以使用cloud.google.com/console的permissions部分添加服务帐户电子邮件your-service-account-email@developer.gserviceaccount.com到拥有您要处理的存储桶的所有不同云项目，并简单地添加该电子邮件地址，或者您可以将其设置为GCS-level access像任何其他用户一样添加该服务帐户。