您可以指定sqoop-export的提交大小吗？

Question

从Sqoop用户指南：

Sqoop采用多行INSERT语法插入多达100条记录每条语句。每100个语句，一个写者任务中的当前事务被提交，导致每10,000行提交一次。

但它没有提及您是否可以指定特定的提交大小。因此我的问题是 - 你能指定它吗？有谁知道？

Answer 1

有一些可以用来调整这种行为的两个属性：

1. sqoop.export.records.per.statement - 将为单个插入语句创建的行数，例如INSERT INTO xxx VALUES（），（），（），...
2. export.statements.per.transaction - 每个事务的插入语句的数量。例如BEGIN; INSERT，INSERT，... COMMIT

您可以指定在命令行的HADOOP_ARGS部分的属性（甚至都在同一时间），例如：

sqoop export -Dsqoop.export.records.per.statement=X --connect ... 

你可以找到进一步描述其在Apache Sqoop Cookbook中的使用。