sqoop

0热度

1回答

有无论如何，我们可以使用Sqoop实用程序将表从SQL Server数据库导入Azure Blob存储，格式为.parquet文件格式吗？是否sqoop接受目标为wasb（s）：//协议指向Azure blob存储？

0热度

1回答

我有一个配置单元表分区在国家列。我的RDBMS列如下： id int, fname varchar(45), lname varchar(45), email varchar(45), password varchar(45), street varchar(45), city varchar(45), state varchar(45), zipcode varchar(45), c_time

0热度

1回答

无法使用Sqoop

我尝试使用下面的命令从Oracle XE数据库的数据导入到HDFS从Oracle数据导入到HDFS： sudo sqoop import -connect jdbc:oracle:thin:system/[email protected]:1521:xe -username system -P -table employee -columns "ID" -target-dir sqoopoutpu

0热度

1回答

比较DB2和Hive的行数

我正在尝试编写一个shell脚本，用于比较DB2和Hive行计数并检查它们是否匹配。虽然这样做，我正面临着蜂巢计数问题。，因为我走在一个文本文件蜂箱数，其未来在以下格式： +---------+--+ | _c0 | +---------+--+ | 713313 | +---------+--+ 后，我在更改属性，从表到CSV（直线--outputformat = TSV）和现在

0热度

1回答

如何sqoop导入将新数据追加到partitoned配置单元表中，该表在同一分区列上创建新的分区文件夹？以下是我的场景

我在配置单元中的日期列上有一个分区表，并且能够sqoop第一次将数据导入到配置单元分区表中。当我执行此操作时，它会正确创建所有日期文件夹，并将数据加载到hive表的hdfs位置中的每个文件夹中。现在，当我想要sqoop导入并将新数据再次添加到具有新更新日期的同一个配置单元表中时（在hdfs配置单元位置中创建新的日期分区文件夹）并将新数据加载到表中。如何使用sqoop导入操作执行此操作？

0热度

1回答

从avsc模式创建的配置单元表没有数据

我从mysql导入数据到hdfs作为avroformat。我将.avsc文件移动到hdfs并使用.avsc文件创建配置单元表。请参阅下表： .AVSC file：-rw-r - r-- 3 jonnavithulasivakrishna hdfs 1041 2017-09-13 00:05 hdfs：//nn01.itversity.com：8020/user/jonnavithulasivakr

-1热度

1回答

sqoop导出失败

1.sqoop export --connect jdbc:mysql://localhost:3306/hduser_db --username hduser --password hduser --table export --export-dir /user/hive/warehouse/three -- fields-terminated-by ',' 17/09/13 1

0热度

1回答

Sqoop进口为Oracle数据库失败，空指针，sqoop EVAL工作正常

我们能够sqoop EVAL成功运行，但sqoop导入失败，空指针异常 sqoop import --driver oracle.jdbc.OracleDriver --connect "jdbc:oracle:thin:@//*.*.*.*:1521/dbname" --username **** -P --query "select * from Tablename WHERE \$COND

0热度

1回答

如何设置vcores为sqoop工作

如何sqoop aquires vcores执行。我提交了一个包含4个mapper的sqoop作业，即使有大约50个vcore，应用程序也从1个vcore开始。所以没有任何parelllization。这是一个导入到文本文件的sqoop作业。这些是关于vcrore分配的纱线配置参数。 sqoop作业如何获取要执行的vcore？从大多数数据库源平行 <property> <name>yarn.sc

0热度

1回答

错误orm.ClassWriter：没有Java类型的SQL类型-8列AAA $ T

我有一个视图在oracle数据库，在视图中的一列是ROWID列，一旦我尝试导入负载到sqoop它会抛出以下错误： . . . 17/09/14 08:15:32 INFO manager.OracleManager: Time zone has been set to GMT 17/09/14 08:15:32 INFO manager.SqlManager: Executing