将postgresql数组导入配置单元

Question

我一直在使用Sqoop在Postgresql表和Hive之间移动数据。但显然Sqoop不支持Postgresql数组类型。

Answer 1

Postgresql有一个叫做array_to_string的函数。你可以利用它来将你的数组转换成一个字符串。

为了说明，这里是在postgresql表：

=# select * from albums; 
    id | album_id | names 
-----------+-------+----- 
123 | {1,2,3,4} | test 
(1 row) 
=# 

正如所看到的album_id具有阵列型，更具体地整数数组。

sqoop import --connect jdbc:postgresql://localhost:5432/mydb \ 
--query "select id, array_to_string(album_id,',','*'), names \ 
     from albums where \$CONDITIONS" \ 
--split-by id \ 
--target-dir albums 

之后，你可以创建创建外部蜂巢表具有以下参数：

collection.delim  $     
field.delim    ,