在不下载的情况下阅读s3存储桶上的文件内容

Question

对于aws和s3，我非常新，所以如果看起来我没有尝试过任何东西，那么请原谅。我想遍历目录和文件，读取文件并从可公开访问的s3存储桶中检索特定的行：s3://cgl-rnaseq-recompute-fixed/，而无需下载它。我只想在文件内容上执行基本任务，如grep/cat。

例如，我应该可以从s3存储桶中的所有文件和文件夹中获取包含MYCN的行。

什么是最有效的方法呢？ R/Python中是否有包可以帮助遍历s3桶？

谢谢！

Answer 1

http://boto.readthedocs.io/en/latest/s3_tut.html

conn = boto.s3.connection.S3Connection(
     aws_access_key_id='xxx', 
     aws_secret_access_key='yyy' 
) 
for key in conn.list(prefix='logs/*.log'): 
    print key