sqoop

0热度

1回答

我启动了hadoop EMR集群（5.5.0 - components - Hive，Hue），但没有启动SQOOP。但是现在我需要使用sqoop来查询和转储来自mysql数据库的数据。由于集群已经启动了大量的数据，想知道我是否也可以添加Sqoop。我在AWS控制台上看不到此选项。谢谢

0热度

1回答

Sqoop多个作业invokation

我基于Sqoop创建导入工具，我的shell脚本的样子： while <cond> ; do sqoop import <parameters> & done 第一invokation工作正常，但我得到以下错误的休息：所致：java.sql.SQLException中：失败当我通过一个手动启动一个每次迭代转换为内部表示，他们工作得很好，但没有如上所述。我调查后发现了什么，是第一sq

0热度

1回答

索引超出范围：JDBC SqlServer异常

我正在使用Sqoop将数据从SQL服务器导入本地HDFS。我正在使用一个简单的自由格式查询来从表中拉出10行。下面是我从终端执行sqoop命令： sqoop import --connect 'jdbc:sqlserver://xx.xx.xx.xx;username=xx;password=xxxxx;database=DBName' --query "SELECT top 10 OrderID

1热度

1回答

Sqoop进口--target-dir的不工作，而不是放在默认目录下的文件

Sqoop导入脚本： sqoop import --connect jdbc:mysql://localhost/retail_db --username root --password cloudera --target-dir /user/cloudera/retail_db/products_test --table products --hive-import --create-hive-

1热度

2回答

如何将bigint转换为配置单元中的datetime？

我使用sqoop import命令将数据从teradata sqooped到Hive。对于teradata中的其中一个表，我有一个日期字段。在sqooping之后，我的日期字段显示为具有bigint数据类型的时间戳。但我需要日期字段作为日期数据类型在配置单元表中。任何人都可以请建议我在实现这个？

0热度

1回答

如何将数据拆分为sqoop中的零件文件

我怀疑如果数据偏斜，数据如何分区为零件文件。如果可能，请帮我澄清一下。我们说这是我的department表，其中department_id作为主键。 mysql> select * from departments; 2 Fitness 3 Footwear 4 Apparel 5 Golf 6 Outdoors 7 Fan Shop 如果我通过在导入命令提-m 1使用sqoop

1热度

1回答

如何使用Sqoop自动将MySQL表与Hive外部表同步？

我已经在自己的本地机器（Linux）中拥有一个MySQL表，并且我有一个与MySQL表具有相同架构的Hive外部表。我想从MySQL表导入数据到我的Hive外部表，我使用Sqoop。但问题是，无论何时将新记录添加到MySQL表中，它都不会自动更新Hive外部表？这是Sqoop导入命令我使用的是： sqoop import --connect jdbc:mysql://localhost:33

0热度

1回答

Sqoop中$条件的含义

sqoop导入命令中$ conditions子句的意义是什么？ select col1, col2 from test_table where \$CONDITIONS

0热度

1回答

Sqoop - 日期 - 时间戳

我正在尝试将Oracle中的数据sqoop转换为Hadoop。在Oracle方面，日期字段是格式为'10/01/2015 12:00:00 AM'的时间戳。我如何在月，日和年过滤器？过滤器中不需要小时和分钟，但加载到HDFS中的数据需要具有10/01/2015 12:00:00 AM格式。任何想法？我看着其他的计算器，没有找到它的格式。谢谢！！请参阅下面的代码。我没有得到任何结果。 sqoo

0热度

1回答

sqoop导入与一个表一起工作，但不与另一个

我有2个表VB_B2B_INN_201611_201705_7我导入到adhoc_mn_client_inn_201611_201705和EVKUZMIN_B2B_CHURN_BAN_SEGMENT应该去evkuzmin_b2b_churn_ban_segment。脚本在两种情况下是 sqoop import \ -Dmapreduce.job.queuename=adhoc \ --con