sqoop2

0热度

1回答

如何sqoop aquires vcores执行。我提交了一个包含4个mapper的sqoop作业，即使有大约50个vcore，应用程序也从1个vcore开始。所以没有任何parelllization。这是一个导入到文本文件的sqoop作业。这些是关于vcrore分配的纱线配置参数。 sqoop作业如何获取要执行的vcore？从大多数数据库源平行 <property> <name>yarn.sc

1热度

1回答

Sqoop错误使用Oracle钱包

sqoop import -D mapred.map.child.java.opts='-Doracle.net.tns_admin=. -Doracle.net.wallet_location=.' -files $HOME/wallet/cwallet.sso,$HOME/wallet/ewallet.p12,$HOME/wallet/sqlnet.ora,$HOME/wallet/tnsna

0热度

1回答

使用sqoop从RDBMS导入所有表格

我想从测试mysql数据库导入数据到使用sqoop的hadoop。但是在一些表中有主表和一些表没有主键。 $sqoop import-all-tables --connect jdbc:mysql://192.168.0.101/mysql -username test -P --warehouse-dir /home/user_all_tables 17/08/01 22时46分54秒ERR

0热度

1回答

导入在sqoop

我学习sqoop从RDBMS选定的表。我想从数据库中导入一些选定的表格，那怎么办？如果我有一个数据库表1000，那么我想只导入500台。我可以使用--exclude-tables，但我无法在命令行中输入所有500个表名以排除。请建议我，如何实现它？

2热度

1回答

Sqoop导入验证

任何人都可以请帮我理解后，从源系统（Postgres，甲骨文，sqlserver）的数据导入hdfs使用sqoop。您执行的检查是否正确导入了所有数据，且没有任何差异。你如何确保你导入的数据不是重复的数据。你执行的其他检查是什么？

0热度

1回答

导入数据Sqoop

JOIN当我尝试使用sqoop sqoop import --connect jdbc:mysql://100.107.57.141/mysql --username test -P --query 'SELECT FirstName, Education, Car_Details FROM emp e JOIN emp_test_new etn on e.id=etn.id) WHERE $CO

0热度

1回答

sqoop更多零件与小尺寸

我有sqoop stmt与10 mappers。整个数据在hadoop中分成10个部分，每部分超过1GB。我想将数据分成多个小部分的文件，不用说超过10个，就像每个200MB的50个文件。但是由于数据库瓶颈问题，我无法在sqoop中创建超过10个映射器。让我知道是否有任何简单的解决方案。

0热度

1回答

什么是直接连接在Sqoop

我们知道Sqoop工作由suplying --direct选项性能是Sqoop文件中所提及连接到使用的连接器以及JDBC驱动程序特定databases.But数据库enhanced.Could有人解释“直接'模式import.How它与使用JDBC驱动程序的正常连接器不同。我已经通过了文档，但没有得到清楚的理解。而且确实我们为Teradata直接连接？

0热度

1回答

sqoop将期望的输出重定向到日志文件预计

如何将所有sqoop命令stdout和stderror重定向到日志文件.so当我运行sqoop命令时，它不应该在屏幕上显示任何消息。我使用以下，但仍表现出messgaË sqoop command 2>.&1 >>logfile

0热度

1回答

Sqoop2未能从MySQL导入与HDFS“产生的原因：java.lang.ClassCastException：java.math.BigInteger中不能转换为java.lang.Long中的”

我想从Mysql数据导入到HDFS与Sqoop2 我的表看起来像 CREATE TABLE `campaign` ( `id` bigint(20) unsigned NOT NULL AUTO_INCREMENT, `name` varchar(128) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB DEFAULT CHA