0
如何更改此配置？ 对于我的应用程序，64/128的分割大小对我来说太大了，Amazon ElasticMapReduce（EMR）控制分割大小/数量的映射器
而我想要分割大小为16 MB的例子。
我该怎么办？
A
回答
1
您可以通过设置fs.s3n.block.size来更改默认块大小。请在代码中尝试下面的代码 - jobConf.set（“fs.s3n.block.size”，value）;
请参考下面的链接，以及 - http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-bootstrap.html
http://s3.amazonaws.com/awsdocs/ElasticMapReduce/latest/emr-dg.pdf
相关问题
- 1. ElasticMapReduce：每个EC2类型的映射器/缩减器的数量
- 2. EMR集群中的映射器分布
- 3. 输入分割的数量等于映射器的数量？
- 4. Amazon EMR：为每个EMR实例设置唯一的映射器和缩减器数量
- 5. 将具有大量分数的.Net小数映射到SQL Server
- 6. 亚马逊EMR上的Python映射器
- 7. 最大内存映射分配大小？
- 8. 使用FileInputFormat为大文件的映射器分割输入？
- 9. 轨3.0控制器映射
- 10. SpringBootApplication与控制器映射
- 11. 重映射Codeigniter控制器
- 12. 控制器类映射
- 13. 如何限制分割视图控制器左侧的表视图的大小？
- 14. 分割ASP.NET MVC控制器
- 15. ElasticMapReduce：是否可以重新使用已分配的EMR集群？
- 16. F3区分大小写映射错误
- 17. 设置输入分割不工作的映射器的Hadoop数
- 18. @OneToMany映射列表大小限制
- 19. Java - 由大数分割的小数字
- 20. 没有注释的映射控制器
- 21. 的Grails：URL映射更改控制器名
- 22. 映射控制器内部的路由
- 23. Amazon EMR JSON
- 24. Amazon EMR Pyspark：rdd.distinct.count（）failling
- 25. 在Hadoop中使用Avro输入格式控制分割大小
- 26. 如何动态调整分割或表格视图控制器的大小？
- 27. 如何限制用分割器上传时的文件大小？
- 28. URL控制器映射策略（PHP）
- 29. Spring MVC - 映射/到控制器
- 30. Grails控制器映射，完全误解
我使用Hadoop流 – member555
我在哪里可以把这个设置？ fs.s3n.block.size 我通过aws网站运行emr，请帮我 – member555
我还没有试过EMR与流媒体，我想你也可以改变参数，如下面的链接中给出的。但不是很确定https://hadoop.apache.org/docs/stable/hadoop-aws/tools/hadoop-aws/index.html –