如何在Google App Engine上获取（）超过1MB？

Question

Google App Engine限制urlfetch.fetch()对1MB的回复。是否有任何解决方法（切换到付费版本可能）？

我正在使用Python，如果有可能提供一个很棒的例子。

Answer 1

随着全新的SDK 1.4.0你可以下载32MByte; 请记住，您仍然有10秒的截止日期限制;-)。 截止时间对于请求处理程序最多可以为60秒，对于任务队列和cron作业处理程序最多可以为10分钟。

URLFetch允许响应大小有 已增加，最多32 MB。请求 大小仍然限制为1 MB。

Answer 2

不，您无法获取每个URL获取超过1MB（即使您启用结算功能）。但是，您可能可以使用Range标题获取部分目标URL，然后合并这些部分。这可能会更快，因为您可以同时获取每个1MB块（使用asynchronous fetches）。