如何从Google云端存储中读取大文件（〜300 MB）？

-1

我可以很容易地upload/write或Read从Google Cloud Storage如何从Google云端存储中读取大文件（〜300 MB）？

文件（〜80KB）的内容现在，我同时担任大文件（〜200MB-300MB）来执行更重要的任务：

1）需要读上传文件的内容分块（〜10 KB）。

 <--Want to modify chunked data programmatically-->

2）重复的“1”的步骤，直到流中读取的文件的全部内容（从开始到结束顺序）。

我试过this程序，但在响应我只有一定数量的数据。如何执行提到的任务？

来源

2014-09-03 Amit Pal

您不应该使用文件API（已弃用 - 请参阅您提到的页面顶部的注释）。而是使用GCS客户端（在弃用声明中提到）。 GCS客户端允许您连续读取，您可以在请求之间序列化GcsInputChannel的状态，直到读取完成（如果读取时间超过请求超时时间）。您还应该考虑使用mapreduce库并使用GoogleCloudStorageLineInput来读取文件并将修改后的文件写入您的映射器（可能仅包含map）。

来源

2014-09-04 00:30:34 ozarov

我试过使用GCS客户端，但我不知道应该在哪里设置'AppEngine Application ID'来承载'App-Engine'上的项目？由于'prefetch buffer'，我使用GCS客户端： https://developers.google.com/appengine/docs/java/googlecloudstorageclient/getstarted – 2014-09-04 10:50:58

我不确定我是否理解这个问题。从App Engine应用程序访问存储区有困难吗？ – ozarov 2014-09-05 23:07:08

请看看：http://stackoverflow.com/questions/25704937/openprefetchingreadchannel-is-not-working-in-google-cloud-storage-client-api – 2014-09-06 21:33:19

如何从Google云端存储中读取大文件（〜300 MB）？

回答

相关问题