我想将JSON或CSV加载到HBASE中,而不使用任何mapreduce程序以及HIVEQL/pig支持,是否有可能以及哪一种更高效hive-hbase或mapreduce- HBase的。我想将json/csv加载到hbase
1
A
回答
0
也许你可以参考批量加载。链接在这里。 bulk loading
1
我使用Perl脚本来做到这一点;
这是我的(perl的生成)JSON文件
{"c3":"c","c4":"d","c5":"tim","c2":"b","c6":"andrew","c1":"a"},"CURRENTLY20140131":{"c2":"tim2","c1":"bill2"},"THERE20140131"::{"c3":"c","c4":"d","c9":"bill2","c10":"tim2","c2":"b","c6":"andrew","c7":"bill","c5":"tim","c1":"a","c8":"tom"},"TODAY20140131":{"c2":"bill","c1":"tom"}}
我分片上的绳子,用多列取决于谁/什么引用的关键对象。
use strict;
use warnings;
use Data::Dumper;
use JSON::XS qw(encode_json decode_json);
use File::Slurp qw(read_file write_file);
my %words =();
my $debug = 0;
sub ReadHash {
my ($filename) = @_;
my $json = read_file($filename, { binmode => ':raw' });
%words = %{ decode_json $json };
}
# Main Starts here
ReadHash("Save.json");
foreach my $key (keys %words)
{
printf("put 'test', '$key',");
my $cnt=0;
foreach my $key2 (keys %{ $words{$key} }) {
my $val = $words{$key}{$key2};
print "," if $cnt>0;
printf("'cf:$key2', '$val'");
++$cnt;
}
print "\n";
}
生成Hbase命令,然后执行它们。
另外 - 我会看看happybase(Python),它也很快加载大型数据集。
希望这有助于
这应该产生这样的输出.....
put 'test', 'WHERE20140131','cf:c2', 'bill2','cf:c1', 'tim2'
put 'test', 'OMAN20140131','cf:c3', 'c','cf:c4', 'd','cf:c5', 'tim','cf:c2', 'b','cf:c1', 'a','cf:c6', 'andrew'
put 'test', 'CURRENTLY20140131','cf:c2', 'tim2','cf:c1', 'bill2'
相关问题
- 1. 如何将图像(Blob)加载到Hbase
- 2. 将csv数据加载到Hbase
- 3. 用于将数据加载到HBASE
- 4. 如何将数据加载到hbase
- 5. 将数据从API加载到HBase
- 6. 将数据加载到hbase中
- 7. 我在Postgres有一个表,我想将它移动到Hbase
- 8. 通过map-reduce程序将hbase中的表从hbase加载到hdfs
- 9. Jquery加载()加载超过我想要
- 10. 通过Spark加载csv文件到HBase
- 11. 从oozie调用ImportTsv以加载到hbase
- 12. 加载文件到HBase的使用PIG
- 13. 如何将数据批量加载到python中的hbase
- 14. 如何将数据从hdfs加载到hbase?
- 15. 将大型Hbase表加载到SPARK RDD需要很长时间
- 16. 如何使用MAP-REDUCE将HBASE表加载到HDFS java程序
- 17. 如何将最新的100行从Hbase加载到Spark
- 18. 使用Scala将csv数据加载到Hbase
- 19. 如何将pyspark ml模型保存/加载到HBase
- 20. 将MapReduce输出数据加载到HBase中
- 21. 如何将键值数据加载到HBase表中?
- 22. HBase批量加载使用
- 23. 我想要将我的JSON URL数据加载到我的Android应用程序
- 24. 将SQL函数添加到HBase中
- 25. 如何将日期添加到我的hbase快照
- 26. 关于如何通过HFile将协议缓冲区文件批量加载到HBase的任何想法?
- 27. 我想从mysql加载我的数据到sqlite
- 28. 我想默认文本加载到文本区域,而页面加载
- 29. 我的Asp.net页面不想加载
- 30. RequireJS加载资源我不想