0
有没有办法将已加载到Google云端平台的文件解压缩。将数据上传到Big Query
我有一个33GB的Zip文件,里面充满了CSV文件,路由到Google Big Query。
如果解压缩,则文件大小超过215GB。
有没有办法加载Zip文件并在GCP中解压缩,而不是试图上传215GB的原始数据?
谢谢。
有没有办法将已加载到Google云端平台的文件解压缩。将数据上传到Big Query
我有一个33GB的Zip文件,里面充满了CSV文件,路由到Google Big Query。
如果解压缩,则文件大小超过215GB。
有没有办法加载Zip文件并在GCP中解压缩,而不是试图上传215GB的原始数据?
谢谢。
如果它被gzip压缩,那么您可以从Google云端存储加载BigQuery。否则,我不认为有一种方法可以在GCS中解压缩。
一种选择是旋转了一个谷歌计算引擎有足够的硬盘空间(最好是SSD)的,做你想做的那里,然后从那里推到GCS然后关闭计算引擎
你使用gzip压缩?根据[this](https://cloud.google.com/bigquery/preparing-data-for-loading#loading_compressed_and_uncompressed_data),BigQuery应该能够获取gzip文件(尽管可以阅读侧记)。 –