2017-06-24 55 views
0

有没有办法将已加载到Google云端平台的文件解压缩。将数据上传到Big Query

我有一个33GB的Zip文件,里面充满了CSV文件,路由到Google Big Query。

如果解压缩,则文件大小超过215GB。

有没有办法加载Zip文件并在GCP中解压缩,而不是试图上传215GB的原始数据?

谢谢。

+0

你使用gzip压缩?根据[this](https://cloud.google.com/bigquery/preparing-data-for-loading#loading_compressed_and_uncompressed_data),BigQuery应该能够获取gzip文件(尽管可以阅读侧记)。 –

回答

0

如果它被gzip压缩,那么您可以从Google云端存储加载BigQuery。否则,我不认为有一种方法可以在GCS中解压缩。

一种选择是旋转了一个谷歌计算引擎有足够的硬盘空间(最好是SSD)的,做你想做的那里,然后从那里推到GCS然后关闭计算引擎

相关问题