如何使用curl将文件从一台服务器流式传输到另一台服务器（受限服务器资源）

Question

我的API服务器的磁盘空间（500MB）和内存（1GB）非常有限。它获得的API调用之一是接收文件。消费者调用API并传递要下载的URL。

我的服务器的“目标”是将此文件上传到Amazon S3。不幸的是，我不能要求消费者直接将文件上传到S3（部分要求）。

问题是，有时候那些大文件（10GB）并将它们保存到磁盘，然后将其上传到S3不是一个选项（500MB磁盘空间限制）。

我的问题是，如何使用curl Linux程序将文件从输入url“管道化”到S3？

注意：我可以通过不同的方式管它，但是，它首先尝试下载整个文件并失败，或者我遇到了内存错误和卷曲退出。我的猜测是，下载速度比上传快得多，所以当我获得10GB文件时，管道缓冲区/内存会增加并爆炸（服务器上的1GB内存）。

有没有办法实现我正在尝试使用卷曲和管道做的事情？

谢谢 - 杰克

Answer 1

另一个SO用户被问及从标准输入卷曲的帖子了类似的问题。见use pipe for curl data。

一旦您能够从第一个curl过程的标准输出的输出中发布上传流，如果由于下载速度快于上传速度而导致内存不足，请查看mbuffer实用程序。我自己并没有使用它，但它似乎是专门为这类问题而设计的。

最后，如果一切都失败了，我想你可以使用curl的--limit-rate选项来锁定上传和下载的传输速率到一些相同和可持续的值。这可能没有充分利用带宽，并且不能很好地利用多个并行下载/上传流来扩展，但对于某些一次性批处理，这可能足够好。