sqoop

0热度

1回答

我研究过的大多数教程都指出我必须使用Sqoop进行导出/导入，并且很多手册都显示了如何将数据从数据库导出到HDFS，但我如何做倒退的情况？比方说，我有company DB上localhost，它有一个空的users表列：id，user和我的Hadoop是为我提供了数据，如(id, user)但节省了这部分hadoop-output.txt没有到MySQL。是否有一些命令行可以通过Sqoop从H

1热度

1回答

sqoop出口本地CSV到MySQL错误MapReduce的

我试图本地CSV文件导出到MySQL表“测试”： $ sqoop export -fs local -jt local --connect jdbc:mysql://172.16.21.64:3306/cf_ae07c762_41a9_4b46_af6c_a29ecb050204 --username username --password password --table test --expo

1热度

1回答

如何指向Sqoop使用TAB作为分隔符？

我试图从Hadoop中获取数据到MySQL。为了这个目的，我使用Sqoop。在Hadoop（HDFS）端输出（）我收到key,value分隔TAB。现在我想通过把输出到DB通过Sqoop： sqoop-export --connect jdbc:mysql://localhost/test --username root --password pswd --table c

1热度

1回答

Sqoop出口到MySQL出口作业失败tool.ExportTool但得到的记录

这是 sqoop export local csv to MySQL error on mapreduce 我能够运行sqoop作业，并从当地得到的数据到MySQL的后续问题。使用CSV文件如下命令： $ sqoop export -fs local -jt local -D 'mapreduce.application.framework.path=/usr/hdp/2.5.0.0-1245/h

-1热度

1回答

Hadoop - 配置HUE时没有路由到主机

我已经在我的本地ubuntu系统上安装了hue，并在两个系统上安装了hadoop多个集群系统。 Hadoop Version : 2.7.3 Hue Version : 3.12.0 Ozzie Version : 4.3.0 我面临的问题，当我从mysql运行sqoop工作过程中从HDFS导入数据。我得到以下错误。 Caused by: java.net.NoRouteToHostExc

0热度

1回答

只能复制到0节点而不是minReplication（= 1）。在此操作中有2个datanode正在运行并且不包含任何节点

当我将“sqoop import ...”配置为配置单元时，出现此错误。 namenode log java.io.IOException: File /input/xxxx/_temporary/1/_temporary/attempt_1492073551248_0012_m_000002_1/part-m-00002 could only be replicated to 0 nodes

1热度

1回答

在hdfs中做选择的最佳方法？

我有一个Hadoop环境1个主，我在哪里节约了MySQL的应用程序的所有数据与sqoop 4个节点我需要通过应用程序的Web访问此数据存储在Hadoop中，换句话说：如果用户使用6个月前的日期创建记录，我希望应用程序在hadoop数据中进行选择。他们是关系数据，mysql。我不必做任何好的分析。这是可行的吗？什么是最好的办法呢？你使用什么工具？发送hdfs中的数据对于这种情况不可行吗？

1热度

1回答

如何将更新的记录与从RDBMS表增量导入Hive表一起使用？

我正在使用Sqoop增量导入，每天将数据放入我的配置单元表中。我有以下情形：我有一个RDBMS表：与列 id name city 1 Sid Amsterdam 2 Bob Delhi 3 Sun Dubai 4 Rob London 我将数据导入蜂巢EMPDATA，使用Sqoop增量导入通过cron作业做的工作，这shell脚本。 #!/bin/bash DATE=$(d

0热度

1回答

Sqoop增量导入失败

我有下面的表格：mergetab在MYSQL中。 id | name | city | rectime | ---+-----------+-------------+---------------------+ 1 | Sidhartha | Hyderabad | 2017-04-18 15:31:22 | 2 | Saketh | Bengaluru | 2017-04-18

1热度

1回答

无法使用cloudera中的更新模式导出Sqoop 5.8.0

sqoop export --connect jdbc：oracle：thin：@ // xxxx --username xxxxx --password xxxxxxx --table xxxx --update-mode allowinsert - -update-key xxxxx --export-dir xxxx --input-fields-terminated-by'，'