2016-12-30 164 views
2

据sqoop.apache.org,Sqoop 2功能不完整,不应该被用于生产系统。公平的说,有些人可能想要在他们的测试环境中测试Sqoop 2的新功能。Sqoop 2提供的Sqoop 1没有提供什么?

Cloudera在Sqoop 1和Sqoop 2(https://www.cloudera.com/documentation/enterprise/5-8-x/topics/cdh_ig_sqoop_vs_sqoop2.html)之间进行了功能比较,但根据页面,Sqoop 2没有提供Sqoop 1没有提供的内容。

那么,为什么会有人使用Sqoop 2目前的形式?它与Sqoop 1相比有什么优势吗?如果没有,为什么可以使用?提前致谢!

回答

2

一些预计在Sqoop2稳定版本的功能:

  1. 一个易于使用的GUI这将是附加到现有的命令行。
  2. 像公开共享密码的安全修补程序是固定的
  3. 简化调试工作提供更好的日志记录。
  4. 提供给不遵循JDBC连接模型的支持。

目前没有可用的sqoop 2的稳定版本。但是您可以构建最新的项目来测试产品并承诺开放项目(如果感兴趣的话)。


参见:

Sqoop2 proposal

Features and releases

+0

感谢您的答案和来源,我接受你的答案,因为功能列表最接近我正在寻找的东西。不过,我想这些都是最终的功能 - 您能否详细说明Sqoop 2目前存在哪些功能?谢谢! –

+1

Hbase连接器(KiteConnector)支持,更新执行引擎(MR)和Kerberos支持。只有稳定发布后,我们才会知道完整列表。 [Sqoop路线图](https://cwiki.apache.org/confluence/display/SQOOP/Sqoop+2+Roadmap) –

0

的Apache Sqoop使用客户端模型,其中用户需要安装Sqoop与客户端上的连接器/驱动器一起。 Sqoop2使用基于服务的模型,其中连接器/驱动程序安装在Sqoop2服务器上。另外,所有配置都需要在Sqoop2服务器上完成。

从MR的角度来看,另一个区别是Sqoop提交了一个Map only作业,而Sqoop2提交了一个MapReduce作业,其中Mappers将从源传输数据,而Reducers将根据指定的源转换数据。这提供了一个干净的抽象。在Sqoop,运输和转换都是由Mappers提供的。

在Sqoop2另一个主要区别是从安全角度来看。管理员将建立到源和目标的连接,而运营商用户使用已建立的连接,因此运营商用户无需知道有关连接的详细信息。操作员只能根据需要访问一些连接器。

+0

感谢您的答案,其中包括Map和MapReduce的区别。这是一个很好的观点,抽象更清晰。 –

2

就像一个快速注:

根据Cloudera(如2017年11月的)

无te:Sqoop 2已被弃用。 Cloudera推荐使用Sqoop 1.

+0

这不提供问题的答案。要批评或要求作者澄清,请在其帖子下方留言。 - [来自评论](/ review/low-quality-posts/18664928) – diceler