2011-10-13 56 views

回答

3

没有办法自定义文件写入的方式。它将写入磁盘,对此你可以做的事情不多。

你应该做的是做一个外部调度的进程(可能使用cron),它定期地将Redis文件取出并转储到HBase中。

您可以自定义这个过程中一些方法来更加强劲,如果它适合你的情况和需求:

  • 开始摄取处理,以确保你有一个向上的最新转储前执行一个BGSAVE
  • 在将文件导入HBase之前,先对文件执行md5sum。检查自上次处理以来md5sum已更改。如果Redis实例中的数据不经常更改,这可能很有用。
  • 改为使用append only file转储。这样,您可以跟踪已经摄入HBase的内容,然后只更新到更改。你只需要跟踪你上次离开的线路。如果你不想每次都转储你的HBase表并重新加载它,这会很好。
+0

感谢您的回答。 –

+0

@Donald Miner,当你说“需要redis文件,然后将其转储到HBase中”时,你的意思是读取redis文件,解析它,然后将它放到HBase格式,对吧? – Shengjie

+0

@盛杰是的,有些工作是必需的。 –

相关问题