elastic-map-reduce

8热度

3回答

使用Amazon的“maximizeResourceAllocation”设置的Spark + EMR不使用所有内核/核心

我正在为Spark使用亚马逊特定的maximizeResourceAllocation标志（如记录here）运行EMR集群（版本emr-4.2.0）。根据这些文档，“该选项计算核心节点组中节点上执行程序可用的最大计算和内存资源，并使用此信息设置相应的spark-defaults设置”。我使用m3.2xlarge实例为工作节点运行群集。我为YARN master使用了一个单独的m3.xlarge

0热度

1回答

基于点击流数据的访问者/用户分析？

我们建立了一个rails 4网站，并将ES用于我们的搜索旅行/住宿引擎。我们为点击流数据创建了单独的ES索引，并且我们存储了非登录（session_id）和登录用户（user_id）的数据。我们现在使用存储的数据来显示网站上的查看和收藏夹。现在我希望基于点击分析来聚集访问者（非和登录）在指定的群集中。群集可以是“预算”，“夫妻”，“家庭”等。我想用用户/会话ID配置文件“馈送”这些群集，以便我

0热度

1回答

获取AWS EMR中任务实例组实例数量的API

我想获取AWS EMR中任务实例组实例的数量。为此，我使用Cloudwatch检查每个任务实例组实例的心跳。但我想，最后EMR是一个使用hadoop的框架，而hadoop的主人必须拥有活动任务节点的信息。任何人都可以告诉我元数据链接（或任何文件位置）来获取此信息？

0热度

1回答

MapReduce以文件名作为关键字，内容作为值，很多小文件

我看过FileInputFormat where filename is KEY and text contents are VALUE,How to get Filename/File Contents as key/value input for MAP when running a Hadoop MapReduce Job?和Getting Filename/FileData as key/

1热度

1回答

如何手动进行AWS EMR步骤失败

我遇到了一个问题，并想到了一个问题，我没有找到一个好的答案。那就是，我如何故意使AWS EMR步骤失败？我有一个Spark Scala脚本，作为Spark步骤添加一些命令行参数，脚本的输出写入S3。但是，如果在读取和处理命令行参数时出现问题，则会跳过该脚本的逻辑并结束脚本。但是对于EMR这是正常的行为，它不知道没有输入if块。并且在“失败”运行后，步骤状态仍然变为“完成”，并且看起来成功而没

0热度

1回答

Hadoop访问控制例外：权限

Job setup failed : org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/mnt/var/lib/hadoop/tmp/2204827016_Attaching_UU_Codes_5C4141BF22014C8FAD3CD045

2热度

1回答

AWS EMR PySpark连接到mysql

我试图通过pyspark使用jdbc连接到mysql。我能够在EMR之外做到这一点。但是当我尝试使用EMR时，pyspark无法正确启动。，我在我的机器 pyspark --conf spark.executor.extraClassPath=/home/hadoop/mysql-connector-java-5.1.38-bin.jar --driver-class-path /home/ha

3热度

1回答

More_like_this查询与过滤器

我有1702文件索引在弹性搜索，其中有类别作为其中一个领域，它也有一个名为SequentialId字段。我最初是从文档1和文档850之间提取类别为1.1的文档，如下所示。 **POST testucb/docs/_search { "size": 1702, "query": { "bool": { "must": [ {"matc

0热度

1回答

Gobblin Map-reduce作业在EMR上成功运行，但s3中没有输出

我正在运行gobblin，使用3节点EMR集群将数据从kafka移动到s3。我在hadoop 2.6.0上运行，并且我还针对2.6.0构建了gobblin。看起来好像map-reduce作业成功运行。在我的hdfs我看到指标和工作目录。指标有一些文件，但工作目录为空。 S3存储桶应该有最终的输出，但没有数据。并在最后它说输出任务状态路径/ gooblinOutput /工作/ GobblinK

0热度

1回答

EMR群集的主/从安全组所需的最小出站规则集是多少？

我正在尝试使用Amazon Elastic MapReduce（EMR）来分析受控访问基因组数据的管道，它将有助于了解EMR群集的主从安全组所需的最小出站规则集。我确信它不同于地区，并且在http://docs.aws.amazon.com/general/latest/gr/aws-ip-ranges.html给出的IP范围可能包含它们，但是确切地知道我们应该担心哪些CIDR块将是很好的。看起来