cloudera-cdh

-1热度

1回答

哪里可以找到CDH及其所有软件版本？

我想知道目前最常用的CDH版本及其所有软件版本的详细信息。 I.e .:如果CDH 5.6那么这个软件包中的MapReduce，Hive，Impala，Sqoop等版本是什么。

0热度

2回答

在CDH 5. *上安装Spark 2？

我有一个从RPM软件包安装的Cloudera CDH 5.11集群（我们不想使用Cloudera Manager或parcel）。有没有人为CDH找到/构建Spark 2 RPM软件包？看来Cloudera只将Spark 2作为包裹运送。

1热度

1回答

未启动Spark历史记录服务器

我在3节点群集上安装了CDH 5.4.7。在Spark上运行第一个作业后，我检查了应用程序历史记录页面。它写成如下 Event log directory: hdfs://****:8020/user/spark/applicationHistory No completed applications found! Did you specify the correct logging d

0热度

2回答

Hive上的Spark进度条陷入10％

最近我们升级到Spark 1.6并尝试将SparkQL用作Hive的默认查询引擎。 Spark Gateway角色与HiveServer2添加在同一台计算机上，启用了Spark On Yarn Service。然而，当我运行一个查询类似以下内容： SET hive.execution.engine=spark; INSERT OVERWRITE DIRECTORY '/user/someuser

0热度

1回答

卡夫卡分区领导人选举失败后，不受控制的经纪人关机

我们有3卡夫卡经纪人和主题与40个分区和复制因子设置为1.在一些分区失控的卡夫卡经纪人关闭后，我们看到，它是不可能选出新的领导者（请参阅下面的日志）。最终我们无法读到这个话题。请注意，如果可以在不改变复制因子大于1的情况下幸存这种类型的崩溃。我们希望我们的目标数据库具有一致的状态（基于kafka主题的事件创建），所以我们还将参数unclean.leader.election.enable设置为

0热度

1回答

捻与PySpark2：错误KuduStorageHandler

我试图用PySpark 2.1.0 >>> from os.path import expanduser, join, abspath >>> from pyspark.sql import SparkSession >>> from pyspark.sql import Row >>> spark = SparkSession.builder \ .master("local"

0热度

1回答

简单插入查询到蜂房给出错误

我有一个在Cloudera CDH中创建的简单表。使用的版本是Hive 1.1.0 CDH 5.8。 create table student(id decimal, name varchar(100), valid char(1)) clustered by (id) into 2 buckets stored as orc TBLPROPERTIES('transactional'='tr

0热度

1回答

HDFS不复制块

我最近安装了Hadoop（Cloudera）。我遇到了一个错误，我在复制块下（在Cloudera Manager中，它是安装的GUI）。所以，当我运行 hdfs dfsadmin -report 我得到 Configured Capacity: 555730632704 (517.56 GB) Present Capacity: 524592504832 (488.56 GB) DFS R

0热度

1回答

Cloudera管理服务自动化

我正在使用Cloudera Express。 Cloudera Manager版本是5.12.0。我正在尝试自动化服务，如hdfs，hbase ...我可以通过在主机模板中指定每个服务的必需信息并使用使用Cloudera Manager的curl命令将主机模板推送到Cloudera Manager来实现此目的API。现在，我想自动启动Cloudera管理服务，如主机监视器，服务监视器，事件服务器，

0热度

1回答

写入实木复合地板/卡夫卡：线程中的异常“dag-scheduler-event-loop”java.lang.OutOfMemoryError

我试图解决我在我的火花设置中看到的内存溢出问题，此时，我无法就我为什么看到这一点做出具体分析。编写数据框到镶木地板或卡夫卡时，我总是看到这个问题。我的数据帧有5000行。它的模式是 root |-- A: string (nullable = true) |-- B: string (nullable = true) |-- C: string (nullable