2015-08-24 43 views
0

我与EMR(弹性MapReduce)在AWS基础设施和默认的方式提供输入文件(大数据集)工作方案就是将它们上传到S3桶和EMR内的参考那些桶。从互联网上下载文件,直接到我的S3存储

通常我下载的数据集,以我的地方,开发机,然后将它们上传到S3,但这是越来越难有较大的文件做,因为上传速度通常比下载速度低得多。

我的问题是是有办法从网上下载文件(鉴于其URL)直接到S3,所以我没有将它们下载到我的本地机器,然后手动上传?

回答

2

号您需要通常是intermediary-,EC2实例使用,而不是本地计算机,速度。

相关问题