关键词：
Sqoop （sqoop.apache.org）工具是hadoop环境下连接关系数据库，和hadoop存储系统的桥梁，支持多种关系数据源和hive,hdfs,hbase的相互导入。一般情况下，关系数据表存在于线上环境的备份环境，需要每天进行数据导入，根据每天的数据量而言，sqoop可以全表导入，对于每天产生的数据量不是很大的情形可以全表导入，但是sqoop也提供了增量数据导入的机制。
sqoop1与sqoop2对比：
版本号对比
两代之间是两个完全不同的版本，不兼容
sqoop1：1.4.x
sqoop2：1.99.x
sqoop2比sqoop1的改进
(1) 引入sqoop server，集中化管理connector等
(2) 多种访问方式：CLI,Web UI，REST API
(3) 引入基于角色 的安全机制
sqoop2和sqoop1的功能性对比
| 功能 | Sqoop 1 | Sqoop 2 |
| 用于所有主要 RDBMS 的连接器 | 支持 | 不支持 解决办法： 使用已在以下数据库上执行测试的通用 JDBC 连接器： Microsoft SQL Server 、 PostgreSQL 、 MySQL 和 Oracle 。 此连接器应在任何其它符合 JDBC 要求的数据库上运行。但是，性能可能无法与 Sqoop 中的专用连接器相比 |
| Kerberos 安全集成 | 支持 | 不支持 |
| 数据从 RDBMS 传输至 Hive 或 HBase | 支持 | 不支持 解决办法： 按照此两步方法操作。 将数据从 RDBMS 导入 HDFS 在 Hive 中使用相应的工具和命令（例如 LOAD DATA 语句），手动将数据载入 Hive 或 HBase |
| 数据从 Hive 或 HBase 传输至 RDBMS | 不支持 解决办法： 按照此两步方法操作。 从 Hive 或 HBase 将数据提取至 HDFS （作为文本或 Avro 文件） 使用 Sqoop 将上一步的输出导出至 RDBMS |
不支持 按照与 Sqoop 1 相同的解决方法操作 |
sqoop1与sqoop2优缺点比较 :
- sqoop1优点架构部署简单
安装需要root权限，connector必须符合JDBC模型
- sqoop2的优点多种交互方式，命令行，web UI，rest API，conncetor集中化管理，所有的链接安装在sqoop server上，完善权限管理机制，connector规范化，仅仅负责数据的读写。
sqoop2安装
下载http://www-us.apache.org/dist/sqoop/ 打开以上链接，开始下载sqoop2 下载后得到：sqoop-1.99.7-bin-hadoop200.tar.gz文件其中sqoop1和sqoop2区别可以参考以下链接 重拾初心——Sqoop1和Sqoop2的刨析对比 http://blog.csdn.ne 查看详情
sqoop环境搭建01sqoop-1.4.7安装配置centoslinuxrelease7.5.1804（附sqoop1最新版+sqoop2最新版安装包+mysql驱动包资源）(代码片段)
目前Sqoop有Sqoop1和Sqoop2两个版本，但是截至到目前，官方并不推荐使用Sqoop2，因为其与Sqoop1并不兼容，且功能还没有完善，所以这里优先推荐使用Sqoop1。本次安装的文件是【Sqoop1的最新版本】sqoop-1.4.7.bin-hadoop-2... 查看详情
sqoop数据迁移
...Hadoop的文件系统中导出数据到关系数据库mysql等 1.2、sqoop1与sqoop2架构对比sqoop1架构 sqoop2架构&nbs 查看详情
基于hadoop生态圈的数据仓库实践——etl
...2012年3月被成功孵化，现在已是Apache的顶级项目。Sqoop有Sqoop1和Sqoop2两代，Sqoop1最后的稳定版本是1.4.6，Sqoop2最后版本是1.99.6。需要注意的是，1.99.6与1.4 查看详情
sqoop导入导出
sqoop产生背景 什么是sqoop sqoop的优势 sqoop1与sqoop2的比较 为什么选择sqoop1 sqoop在hadoop生态体系中的位置 sqoop基本架构 sqoopimport原理 sqoopimport详细流程 sqoopexport原理 sqoop安 查看详情
sqoop1.99.3操作，导入数据全纪录
sqoop的1.99.7版本有问题，请千万不要用需求：将hive数据库中的TBLS表导出到HDFS之上； $SQOOP2_HOME/bin/sqoop.sh clientsqoop:000> set server --host 127.0.0.1 --port 12000 --webapp s 查看详情
springboot集成sqoop1.4.7实现从mysql导入数据到hdfs(代码片段)
这里写自定义目录标题背景介绍问题1：Sqoop1和Sqoop2有什么区别问题2：可以在Windows下运行吗？需要在Windows下安装Haddop吗问题3：无法下载org.apache.sqoop:sqoop:1.4.7问题4：log4j的依赖冲突问题5：执行本地MapReduce... 查看详情
sqoop2报错，哪位大神指点迷津。
ExceptionhasoccurredduringprocessingcommandException:org.codehaus.groovy.control.MultipleCompilationErrorsExceptionMessage:startupfailed:groovysh_parse:1:expectingEOF,found':'@line1,column43.databases--connectjdbc:mysql://10.164.输入的命令是：sqooplist-databases--connectjdbc:mysql:... 查看详情
针对sqoop1.99.6从jdbc向hdfs中抽取数据的几点感想
最近在用sqoop1.99.6做数据抽取，期间遇到了很多问题，特此在这里记录一下，方便以后的回顾与整理1.首先配置的时候，需要配置hdfs的lib目录到catalina.propertiescommon.loader=${catalina.base}/lib,${catalina.base}/lib/*.jar,${catalina.home}/lib,${catalina... 查看详情
sqoop2使用方法简介
1.sqoop2-shell进入shell2.show connector显示支持的连接方式650)this.width=650;"src="/e/u261/themes/default/images/spacer.gif"style="background:url("/e/u261/lang/zh-cn/images/localimage.png")no-repea 查看详情
sqoop2使用方法简介
1.sqoop2-shell进入shell2.show connector显示支持的连接方式650)this.width=650;"src="/e/u261/themes/default/images/spacer.gif"style="background:url("/e/u261/lang/zh-cn/images/localimage.png")no-repea 查看详情
Sqoop2 Hbase 导入：无法为行键列插入具有空值的行
】Sqoop2Hbase导入：无法为行键列插入具有空值的行【英文标题】：Sqoop2HbaseImport:Couldnotinsertrowwithnullvalueforrow-keycolumn【发布时间】：2017-04-2613:06:44【问题描述】：我正在尝试使用sqoop作业将数据从oracle迁移到Hbase。看起来它已成功... 查看详情
sqoop1.99.7安装及配置
一 下载sqoop1.99.7 http://mirror.bit.edu.cn/apache/sqoop/1.99.7/二解压安装文件 三配置Sqoop环境变量 最后把mysql的驱动jar文件复制到extera这个目录下。四配置Hadoop代理访问因为sqoop访问Hadoop的MapReduce使用的是代理的方... 查看详情
安装hadoop下的sqoop1.99.3及配置问题全解决
2016年8月27日，解决sqoop先下载的是sqoop1.99.7，结果配置的时候，出现了没有server/conf目录，以及启动时出现无法配置错误./bin/sqoop.shserverstart[email protected]:/opt/sqoop-1.99.7$./bin/sqoop.shserverstartSettingconfdir:./bin/../confSqooph 查看详情
甘道夫sqoop1.99.3基础操作--导入oracle的数据到hdfs
第一步：进入clientShell[email protected]:~$ sqoop.shclientSqoophomedirectory:/home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200SqoopShell:Type‘help‘or‘h‘forhelp.sqoop:000> setserver--hostFBI00 查看详情
sqoop使用入门(代码片段)
...执行。 基本架构目前sqoop提供了两个版本，1.4.x的为sqoop1，1.99x的为sqoop2，前者因为安装简单，得到了大量使用，后者虽然引进了安全机制、webui，restapi等更加方便使用的特性，但是安装过程繁琐暂时不记录。以下是sqoop1的结... 查看详情
甘道夫ubuntu14server+hadoop2.2.0环境下sqoop1.99.3部署记录
第一步。下载、解压、配置环境变量：官网下载sqoop1.99.3http://mirrors.cnnic.cn/apache/sqoop/1.99.3/将sqoop解压到目标文件夹，我的是/home/fulong/Sqoop/sqoop-1.99.3-bin-hadoop200配置环境变量：exportSQOOP_HOME=/home/fulong/Sqoop/sqoop-1.99.3-bin-h 查看详情
CDH4.3 中的 Sqoop 1.4.4 不兼容ClassChangeError
】CDH4.3中的Sqoop1.4.4不兼容ClassChangeError【英文标题】：Sqoop1.4.4inCDH4.3incompatibleClassChangeError【发布时间】：2013-08-1306:49:29【问题描述】：Sqoop1.4.4支持使用复合行键从db导入HBase，而在1.4.4之前，只能将db中的一列用作行键。到目前为... 查看详情