0
我正在研究基于Web的数据可视化应用程序。在某些情况下,上传的数据文件的大小为几十MB。由于用户通常来自具有良好关系的大学环境,因此连接丢失不应该成为问题。 我基本上只想直接处理数据,而不是保存数据,因为无论如何都会丢弃99%。 什么是处理这个GET请求的简单方法,因为它们超过了标准GAE GET大小的限制。如何在Google-app-engine中处理大量的发布数据?
我正在研究基于Web的数据可视化应用程序。在某些情况下,上传的数据文件的大小为几十MB。由于用户通常来自具有良好关系的大学环境,因此连接丢失不应该成为问题。 我基本上只想直接处理数据,而不是保存数据,因为无论如何都会丢弃99%。 什么是处理这个GET请求的简单方法,因为它们超过了标准GAE GET大小的限制。如何在Google-app-engine中处理大量的发布数据?
如果您正在上传需要更多时间的文件。您可以使用任务队列来上传该数据。 https://developers.google.com/appengine/docs/java/taskqueue/。用户上传时,不处理数据。只需将该数据存储在temparory存储表中即可。在任务队列中处理数据。
对于上传大文件,你有blobstore。没有大小限制。 50 MB的限制已经下降。您必须等待完成的上传才能处理blob。 – voscausa
但是,这仍然如此? “除了系统范围的安全配额外,还有一个限制特别适用于Blobstore的使用:应用程序使用一个API调用可以读取的Blobstore数据的最大大小为32兆字节。” – sonium
我从来没有使用它,但你可以寻求和阅读。这使得可以以块读取大文件。 – voscausa