2015-09-03 102 views
5

我们有我们需要appednd ORC文件的要求。我试图谷歌它,但没有结果。另外org.apache.hadoop.hive.ql.io.orc.WriterImplORC没有附加API。有无论如何追加ORC文件? (更具体地使用JAVA)如何追加ORC文件

回答

4

ORC数据文件被细分为独立的条纹;每个条纹都是在一个原子步骤中创建的。有关详细信息,请参阅the official documentation

我不相信你可以直接追加到一个现有的文件即时。这意味着如果在写作时发生作业崩溃,则会留下损坏的条纹(因此是损坏的文件)。

但是你可以

  • 创建一个新的ORC数据文件(它将包含1..1条纹根据 实际数据量与orc.stripe.size属性)每减速
  • 然后在“串联”这些数据文件和现有文件 - 使用Hive V0.14 and above