2013-10-14 30 views
2

我有相同的列和数据类型等2个蜂房表,我想将数据从一个表复制到另一个表中一个不同的簇。如何跨群集将hive表复制到配置单元表?

并配置单元或sqoop提供一个简单的方法来做到这一点?

场景:

Table A in Cluster1 
Table B in Cluster2 
Append table A into Table B on Cluster 2 

回答

0

一种便捷的方式来实现这一目标是使用蜂巢的Import/Export功能。 导出命令将表或分区的数据连同元数据一起导出到指定的输出位置。然后可以将此输出位置移至不同的Hadoop或Hive实例,并使用导入命令从那里导入。

0

您可以使用猎鹰以及做数据复制。 您也可以使用配置单元上下文并在Java或Scala中编写代码来复制数据。

+1

你能展示一些示例代码吗? –

+0

在蜂房内的XML使像的变化: <结构> hive.metastore.uris 节俭:// hklpadhod08:9083,节俭:// hklpadhod09:9083

0

可以使用DistCp使用命令复制,你必须首先将表数据转换成一个文件,并使用下面的command.Usage的文件复制到不同集群之间clusters.But数据:

$ hadoop distcp (src) (dest) 

后该文件被复制到集群2中,然后您可以在该表中加载该文件。 你可以在这个链接中找到更多信息:http://hadoop.apache.org/docs/r1.2.1/distcp.html

相关问题