流标准输出到s3

Question

我有一个流（假设它是一个生成过程的标准输出），我想用boto发送给s3。

请问我有代码示例吗？

Answer 1

从教程差不多： http://boto.s3.amazonaws.com/s3_tut.html#storing-data

from boto.s3.connection import S3Connection 
from boto.s3.key import Key 
import subprocess 

conn = S3Connection() 
buckets = conn.get_all_buckets() 
bucket = buckets[0] # assuming you have one bucket created 

output = subprocess.check_output(["echo", "Hello World!"]) 
k = Key(bucket) 
k.key = 'test' 
k.set_contents_from_string(output) # should be saved on S3 

k.get_contents_as_string()   # should retrieve the string 

Answer 2

我认为答案是，你不能轻易流数据到S3，除非你知道你是流数据的大小，因为S3需要的大小预先知道的对象。您绝对可以从s3中流出数据，但为了获取数据，您需要在内存或磁盘上进行缓冲，除非您有足够的幸运知道其大小。