hive

0热度

1回答

在Apache Hive中忽略外部表中的子目录

在查询外部表时，Hive是否有设置或强制它忽略子目录的方法？我在我的表文件夹中有一个不属于表数据一部分的子目录，我想避免将其删除或将文件复制到别处。

1热度

1回答

嵌入式轻灵？可能吗？

我刚刚在一个新的应用程序，并已决定尝试/学习卡桑德拉和使用它的后端。我已经嵌入卡桑德拉像魅力一样工作。现在我想在顶部添加Hive。有没有人尝试过嵌入Brisk（来自DataStax）？这是甚至可能与所有的运动部件？谢谢！最大

2热度

2回答

Hadoop的多卷和限制磁盘使用情况

我正在使用Hadoop处理大量数据。我设置了一个hadoop节点来使用多个卷：其中一个卷是一个具有10To磁盘的NAS，另一个是来自服务器的本地磁盘，存储容量为400 GB。问题是，如果我明白，数据节点会尝试在每个卷中放置相等数量的数据。因此，当我在大量数据上运行作业时，400 GB的磁盘很快就满了，而10 To磁盘仍有足够的空间。然后，我的地图 - 减少程序产生Hive冻结，因为我的群集打开安

1热度

1回答

配置单元regexp_extract

我使用regexp_extract()从字符串中提取子字符串。一种类型的子字符串看起来像：Abc-Def-ghi 我使用regexp_extract(s, '^[a-zA-Z0-9]{1,}\-[a-zA-Z0-9]{1,}\-[a-zA-Z0-9]{1,}')）来得到它。其他类型的子字符串的样子：wp.Abc-Def-ghi 我怎样才能使用一个regexp_extract()两种类型的字符串

8热度

4回答

如何在配置单元中将unix时元日期字符串转换为

我有一个包含时间戳列的日志文件。时间戳采用unix纪元时间格式。我想根据分区年，月，日的时间戳创建分区。到目前为止，我已经做了这个，但它是抛出一个错误。 PARSE ERROR cannot recognize input '(' in column type 这是我的代码。 from ( from raw_data MAP ${PREFIX}raw_data.li

3热度

2回答

蜂巢中是否有任何功能将纪元时间转换为标准日期？

to_date函数将此“1970-11-01 00:00:00”作为输入并返回“1970-11-01”。但我有纪元时间作为输入。如何将其转换为标准日期格式？有一个功能可以将标准日期转换为unix时代，但不是其他方式。任何帮助表示赞赏。感谢 priyank

0热度

2回答

Hadoop Hive DOUBLE类型问题

来自新用户的Quick Hive/Hadoop问题。我有一个值为“1.8E8”的DOUBLE列，是否意味着我达到了DOUBLE的最大值？

1热度

2回答

为什么配置单元在UDF使用某些外部资源文件但在本地运行时出现FileNotFoundException异常？

UDF使用了一些外部资源文件，那么它的错误： “java.io.FileNotFoundException：resource/placeMap.txt（没有这样的文件或目录）”，这个函数在本地运行，为什么在配置单元时出错，how我能解决吗？非常感谢你！

0热度

1回答

我的Hive-UDF有什么问题？如何设置配置单元的地图编号？

我使用Hadoop-Hive来分析apache日志到statis访问功能。我写了一个名为GetCity的UDF将remote_ip转换为城市名称，但是当我运行“select log_pre;”时选择GetCity（remote_ip），“它非常慢，甚至在数据超过1000个项目时失败。我试图设置mapred.reduce.tasks = 10，但jobtracker显示的地图总数为1都是一样的。选

11热度

2回答

与Hive中的特定列不同

我正在运行Hive 071 我有一个具有多行的表，其列值为例如， x | y | --------- 1 | 2 | 1 | 3 | 1 | 4 | 2 | 2 | 3 | 2 | 3 | 1 | 我想有X列独特，并删除具有相同的X VAL 例如行 x | y | --------- 1 | 2 | 2 | 2 | 3 | 2 | 或 x | y | ------