hive

0热度

1回答

的给定一个表像这样的蜂巢累积距离： latitude longitude 我们希望将第三列添加到该表，该表将存储的行驶距离 latitude longitude odometer 其中用于第i行的里程表计算如下： odometer_i = odometer_{i-1} + distance(lat_i, lon_i, lat_{i-1}, lon_{i-1}) distance(x1,

0热度

1回答

蜂巢表中的Spark流是可能的吗？

我有一个用例我们的Java框架，从室壁运动分析实时数据蜂巢表中每半小时一班。我需要访问这个配置表格，并做一些接近实时的处理。一小时延迟是好的，因为我没有权限访问Kinesis流。一旦处理完成在spark（pyspark优先），我必须创建一个新的kinesys流并推送数据。然后，我将使用Splunk并将其拉近实时。问题是，任何人使用python完成从蜂巢的火花流？我必须做一个POC，然后做

0热度

1回答

在下面的数据我如何写查询，用于计算具有技能html的员工数量？

var myMenu = $(` <menu type="context" id="table"> </menu> `).appendTo ("body"); id name skill 1 abc html,java,css 2 xyz html,c,other

0热度

1回答

在蜂巢表基于一个子查询

我试图添加分区蜂巢表（按日期分区）我的问题是，日期需要从另一个表获取加分。我的查询是这样的： ALTER TABLE MY_TABLE ADD IF NOT EXISTS PARTITION（server_date =（SELECT MAX（server_date）FROM processed_table））; 当我运行查询蜂巢引发以下错误：错误：错误在编译声明：失败：ParseExcept

1热度

1回答

Shuffle写入时的优化和火花任务变得非常慢

有一个SparkSQL将加入4个大型表（前3个表为5000万个，最后一个表为50万个），并执行一些组操作，耗用60天数据。而这个SQL将需要2个小时才能运行，在此期间，我检查了Shuffle Write正在急剧增加，可能会高达200GB以上。相比之下，当我将使用日期范围从60天减少到45天时，运行只需6.3分钟。我在DAG图上检查了45天的数据，在最后一次sortMergeJoin后输出10亿个

1热度

2回答

如何传递多个参数蜂巢脚本

员工： Table data 我想通过运行蜂巢脚本sample.hql去取年= 2016的记录。 use octdb; select * from '${hiveconf:table}' where year = '${hiveconf:year}'; [[email protected] ~]$ hive -hiveconf table='employee', year=2016 -f s

1热度

1回答

展开行成基于计数列多行SQL

假设我有一个表，如下， ID word count 1 A 3 1 B 2 1 C 4 2 D 2 2 E 3 我想扩大到表基于计列多行。如果计数值为3，那么我想创建3行。同样我想为所有人做。输出应该如下， ID word count 1 A 3 1 A 3 1 A

1热度

1回答

月在MM在蜂巢

Select * from concat(YEAR(DATE_SUB(MAX(Column_name),60),MONTH(DATE_SUB(MAX(Column_name),60),-01) 的month()产量仅单位使用一个月（）数月至九月即一月返回1而不是01。在处理这件事上需要帮助。我正在使用此输出来提供使用TO_DATE的另一个SELECT查询。

1热度

1回答

Spark数据集：表格数据与其创建的视图不完全相同

我的代码与此完全相似。只在这里更改变量和表名。请在输入时忽略任何语法错误。原始代码编译成功。 ------ CODE ------ Dataset<Row> test = sqlContext.sql("select * from test_table"); test.createOrReplaceTempView("temp_view_test"); sqlContext.sql("dr

0热度

1回答

直线不加载CSV文件

所以我试图加载一个CSV文件直线进行一些简单的分析，并开始使用hadoop套件。我使用下面的命令 CREATE EXTERNAL TABLE IF NOT EXISTS babies( PseudoID_voorkeur INT, OpnameID INT, Specialisme VARCHAR(32), Opnamecategorie VARCHAR(32), OpnamecategorieO