emr

0热度

1回答

EMR色调：不支持CUSTOM服务器认证。有效的是['NONE'，'KERBEROS'，'PAM'，'NOSASL'，'LDAP']

当我为Hive启用“CUSTOM”身份验证时，Hue无法建立与HiveServer2的连接。它会引发以下错误： CUSTOM server authentication not supported. Valid are ['NONE', 'KERBEROS', 'PAM', 'NOSASL', 'LDAP']. 如果我们使用自定义身份验证提供程序配置Hive，是否意味着Hue不起作用？ Hiv

0热度

1回答

如何使用Terraform在AWS EMR中传递多个引导操作？

我正在尝试为AWS EMR群集创建一个terraform模块。我需要在EMR中运行多个引导脚本，在这里我有错误。例如： main.tf ... variable bootstrap_actions { type = "list"} ... resource "aws_emr_cluster" "emr-cluster" { name = "${var

2热度

1回答

对于HDFS上的__spark_config__.zip，EMR 5.5.0上的简单spark-submit作业失败，FileNotFoundException异常

我试图部署在AWS ERM 5.5.0上运行Python 3 Spark应用程序。我阅读了一些关于如何配置集群以使其需要Python 3的文章。我想测试一下设置是否正确，因此我创建了一个简单的应用程序来打印sys.version。然后我将这个工作提交给集群。当我使用spark-submit --deploy-mode client /local/path/to/version.py或在客户端模式

0热度

2回答

在Spark中，如何将多个数据帧转换为avro？

我有一个Spark作业，它将一些数据处理成多个单独的数据框。我将这些数据帧存储在一个列表中，即dataframes []。最后，我想将这些数据框合并为一个分层格式并将输出写入avro。该架Avro模式是这样的： { "name": "mydata", "type": "record", "fields": [ {"name": "data", "type"

0热度

1回答

节点配置程序中的EMR从站引导失败引导操作成功后

我正尝试使用EMR w/Spark在AWS中启动群集。我有一个bash bootstrap脚本来安装一些python软件包，下载凭据并应用一些配置。引导操作在主服务器上成功，但在从服务器上失败。错误的唯一提示是“i - #####：启动失败，bootstrap操作2失败，出现非零退出代码”。紧接在它之前的消息是“我 - #####：引导操作1已完成”。（在这两种情况下都指的是从站的实例ID，主站

0热度

1回答

MKS for AWS SimpleWorkflowService和ElasticMapReduce

AWS SWF或EMR在任何地方都可用吗？我试着查看一些其他AWS API模拟，例如https://github.com/atlassian/localstack/或https://github.com/treelogic-swe/aws-mock，但它们没有SWF或EMR，这些将会很难再现。只是不确定是否有人听说过在本地测试使用这些服务依赖关系的方法。

0热度

1回答

在简单的正则表达式取代NPE

我写了一个简单的代码来解析一个大的XML文件（提取行，干净的文本，并从它删除任何HTML标记）使用Apache Spark。对字符串调用.replaceAllIn时，我看到一个NullPointerException，该字符串非空。有趣的是，我没有错误，当我在本地运行代码，使用从磁盘输入，但我得到一个NullPointerException当我运行在AWS EMR相同的代码，加载从S3输入文件

0热度

1回答

调试在EMR上运行的Spark应用程序

我有通过Luigi连接的Spark作业和在30台机器群集（每台15GB RAM）上运行的S3作业的序列，这些作业定期挂在各个阶段。今天是处理5 GB数据的时间。该阶段需要3,5h 这个挂起的阶段只是对数据集的简单处理以及稍后的groupByKey（用户id，1L）和reduceGroups以获取用户事件计数。即使某些用户有1m事件（不太可能，因为之前在过滤机器人之后最多为300K），在休息结束后

0热度

1回答

AWS EMR Spark步骤参数错误

我通过AWSCLI向EMR提交Spark作业，EMR步骤和spark配置作为单独的json文件提供。出于某种原因，我的主类的名字作为不必要的命令行参数传递给我的Spark jar，导致作业失败。 AWSCLI命令： aws emr create-cluster \ --name "Spark-Cluster" \ --release-label emr-5.5.0 \

0热度

1回答

电子病历Oozie示例

有人可以请解释什么是EMR（EMRFS）工作时，oozie动作的名称节点和作业跟踪程序。我明白，名称节点是特定于hdfs，但如果我使用EMRFS，那么它应该是在oozie中的值。