如何将PIG输出存储为Ctrl-a分隔输出以存储到配置单元中?将PIG输出存储为Ctrl分隔输出以导入配置单元?
1
A
回答
5
要获得期望的结果,你可以使用下面的命令按照以下提到的方法
Store的关系
STORE <Relation> INTO '<file_path>' USING PigStorage('\u0001');
揭露蜂巢表指的是生成的文件
hive>CREATE EXTERNAL TABLE TEMP(
c1 INT,
c2 INT,
c3 INT,
c4 INT
.....
)
ROW FORMAT
DELIMITED FIELDS TERMINATED BY '\001'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE
LOCATION '<file_path>';
如果输出文件目前在linux本地目录下创建表
hive>CREATE TABLE TEMP(
c1 INT,
c2 INT,
c3 INT,
c4 INT
.....
)
ROW FORMAT
DELIMITED FIELDS TERMINATED BY '\001'
LINES TERMINATED BY '\n'
STORED AS TEXTFILE;
和数据加载到表
hive> load data local inpath '<file_path>' into table temp;
1
你能试试吗?
STORE <OutpuRelation> INTO '<Outputfile>' USING PigStorage('\u0001');
Example:
input.txt
1,2,3,4
5,6,7,8
9,10,11,12
PigScript:
A = LOAD 'input.txt' USING PigStorage(',');
STORE A INTO 'out' USING PigStorage('\u0001');
Output:
1^A2^A3^A4
5^A6^A7^A8
9^A10^A11^A12
UPDATE:
以上猪的脚本输出存储到文件名“部分-M-00000”,我想这个文件加载到蜂巢。一切工作正常,我没有看到任何问题。
hive> create table test_hive(f1 INT,f2 INT,f3 INT,f4 INT);
OK
Time taken: 0.154 seconds
hive> load data local inpath 'part-m-00000' overwrite into table test_hive;
OK
Time taken: 0.216 seconds
hive> select *from test_hive;
OK
1 2 3 4
5 6 7 8
9 10 11 12
Time taken: 0.076 seconds
hive>
相关问题
- 1. 如何将pig输出存储到配置单元表?
- 2. 为Hadoop/PIG输出数据分配ID
- 3. 是否可以将GPIO配置为输入和输出?
- 4. Awk输入输出文件分隔符
- 5. 将脚本的输出写入配置单元中的文件
- 6. 将配置单元查询输出写入HDFS文件
- 7. 如何在配置单元输出多个输出组
- 8. 将配置对象输出到配置单元
- 9. 配置单元输出到xlsx
- 10. 将输出存储在PIG中的文本文件中
- 11. 配置单元导出到管道分隔文件
- 12. 文件输入/输出,存储数据
- 13. Excel - 自动更改输入单元格值并将输出单元格导出为新工作簿
- 14. 重新分配输入/输出流?
- 15. 将循环输出存储为矢量?
- 16. 配置输出作为logstash
- 17. 将python输出配置为Ansible变量
- 18. 以制表符分隔格式将PowerShell输出导出到文本文件
- 19. 插入逗号分隔输出
- 20. Oracle查询输出以逗号分隔
- 21. 未设置Hadoop Pig输出目录
- 22. 如何加入Pig输出文件?
- 23. 使用“>”通过oozie保存配置单元输出
- 24. DB2逗号分隔输出
- 25. SSMS:管道分隔输出
- 26. 如何将存储过程输出导出到文本文件
- 27. python是否可以接收配置单元控制台输出?
- 28. 将传单输出保存为html
- 29. 设置分隔符以生成导出
- 30. 以输出,并将其输入
为什么不直接将数据存储到一个蜂巢表? (见'HCatStorer()') – gobrewers14 2014-10-30 13:36:37