提供对Hadoop中非结构化文件的访问

Question

因此，我有一个归档在HDFS中的文件集合，文件名中包含唯一键。我有一张HIVE表格中有相同唯一键的记录表。

我该如何提供对其他用户的访问权限？我可能需要限制对某些用户的访问。

我在考虑提供对hive表中文件的引用。

我也可以看看某种网络界面来搜索下载文件。

Answer 1

每次执行查询时，Hive都会启动MapReduce作业（或多个作业）。通过设置和拆除MapReduce作业引入的延迟超出了Web界面预期响应的任何可接受标准。

我建议您在关系数据库中保留文件的元数据。你必须有一个关系数据库，比如PostgreSQL来存储Hive元数据。我当然希望你没有使用默认的德比！