关键词：
官网文档：http://sqoop.apache.org/docs/1.99.7/user/CommandLineClient.html#delete-link-function
一、了解sqoop数据导入的几个重要概念
（1）connector：sqoop2中预定了各种链接，这些链接是一些配置模板。 #查看预定制的连接器 sqoop:000> show connector +------------------------+---------+------------------------------------------------------------+----------------------+ | Name | Version | Class | Supported Directions | +------------------------+---------+------------------------------------------------------------+----------------------+ | oracle-jdbc-connector | 1.99.7 | org.apache.sqoop.connector.jdbc.oracle.OracleJdbcConnector | FROM/TO | | sftp-connector | 1.99.7 | org.apache.sqoop.connector.sftp.SftpConnector | TO | | kafka-connector | 1.99.7 | org.apache.sqoop.connector.kafka.KafkaConnector | TO | | kite-connector | 1.99.7 | org.apache.sqoop.connector.kite.KiteConnector | FROM/TO | | ftp-connector | 1.99.7 | org.apache.sqoop.connector.ftp.FtpConnector | TO | | hdfs-connector | 1.99.7 | org.apache.sqoop.connector.hdfs.HdfsConnector | FROM/TO | | generic-jdbc-connector | 1.99.7 | org.apache.sqoop.connector.jdbc.GenericJdbcConnector | FROM/TO | +------------------------+---------+------------------------------------------------------------+----------------------+ 其中，最基本的是generic-jdbc-connector，是mysql等关系型数据库的连接器。支持数据的从关系型数据库的导入导出。 除此之外，支持导入导出的还有：hdfs-connector、kite-connector和oracle-jdbc-connector。 仅支持数据导入的连接器有： sftp-connector 、 ftp-connector 以及kafka-connector 。 通过这些模板，可以创建出对应数据源的link，比如我们链接mysql，就是使用JDBC的方式进行链接，这时候就从这个generic-jdbc-connector模板继承出一个link。那如果我们需要连接hdfs，则需要使用hdfs-connector模版。 （2）link：从connector继承出的对象，用于指定的对数据源的链接。 （3）job：指定一个导入导出作业，必须指定数据源和数据目的地，并配置各项job参数，用于提交给mapreduce。
二、几个常用的重要命令
#设置 set [server|option|truststore] #查看 show [server|version|connector|driver|link|job|submission|option|role|principal|privilege] #创建 create [link|job|role] #删除 delete [link|job|role] #更新 update [link|job] #克隆 clone [link|job] #执行任务 start [job] #结束任务 stop [job] #查看任务状态 status [job] #启用 enable [link|job] #禁用 disable [link|job] #授权 grant [role|privilege] #回收授权 revoke [role|privilege]
set option --name verbose --value true set option --name poll-timeout --value 20000
三、查看
查看服务器
sqoop:000> show server -all Server host: localhost Server port: 12000 Server webapp: sqoop
查看版本
sqoop:000> show version -all client version: Sqoop 1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb Compiled by abefine on Tue Jul 19 16:08:27 PDT 2016 server version: Sqoop 1.99.7 source revision 435d5e61b922a32d7bce567fe5fb1a9c0d9b1bbb Compiled by abefine on Tue Jul 19 16:08:27 PDT 2016 API versions: [v1]
查看内置连接器
sqoop:000> show connector
+------------------------+---------+------------------------------------------------------------+----------------------+
| Name | Version | Class | Supported Directions |
+------------------------+---------+------------------------------------------------------------+----------------------+
| oracle-jdbc-connector | 1.99.7 | org.apache.sqoop.connector.jdbc.oracle.OracleJdbcConnector | FROM/TO |
| sftp-connector | 1.99.7 | org.apache.sqoop.connector.sftp.SftpConnector | TO |
| kafka-connector | 1.99.7 | org.apache.sqoop.connector.kafka.KafkaConnector | TO |
| kite-connector | 1.99.7 | org.apache.sqoop.connector.kite.KiteConnector | FROM/TO |
| ftp-connector | 1.99.7 | org.apache.sqoop.connector.ftp.FtpConnector | TO |
| hdfs-connector | 1.99.7 | org.apache.sqoop.connector.hdfs.HdfsConnector | FROM/TO |
| generic-jdbc-connector | 1.99.7 | org.apache.sqoop.connector.jdbc.GenericJdbcConnector | FROM/TO |
+------------------------+---------+------------------------------------------------------------+----------------------+
sqoop:000> show link 0 [main] WARN org.apache.hadoop.util.NativeCodeLoader - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable +------+----------------+---------+ | Name | Connector Name | Enabled | +------+----------------+---------+ +------+----------------+---------+
其他查看命令
show server --all show option --name verbose show version --all show connector --all or show connector show driver show link --all show link --name linkName show job --all show job --name jobName show submission show submission -j jobName show submission --job jobName --detail
四、创建
创建link
create link --connector connectorName
create link -c connectorName
例如：
create link -connector generic-jdbc-connector
create link -connector hdfs-connector
创建job
create job --from fromLinkName --to toLinkName
create job -f fromLinkName -t toLinkName
五、更新
update link --name linkName
update job --name jobName
六、删除
delete link --name linkName
delete job --name jobName
七、克隆
clone link --name linkName
clone job --name jobName
八、启动
start job --name jobName
start job --name jobName --synchronous
九、停止
stop job --name jobName
十、查看任务执行状态
status job --name jobName
[sqoop]sqoop使用
Sqoop的本质还是一个命令行工具，和HDFS，MapReduce相比，并没有什么高深的理论。我们可以通过sqoophelp命令来查看sqoop的命令选项，如下：16/11/1320:10:17INFOsqoop.Sqoop:RunningSqoopversion:1.4.6usage:sqoopCOMMAND[ARGS]Availablecommands: codegen & 查看详情
[sqoop]sqoop入门-下载安装运行和常用命令
一、简介 ApacheSqoopisatooldesignedforefficientlytransferringdatabetweeenstructured,semi-structuredandunstructureddatasources.Relationaldatabasesareexamplesofstructureddatasourceswithwelldefine 查看详情
sqoop-命令大全(代码片段)
Sqoop命令大全版本Sqoop-version:1.4.6sqoop1.4.6|7=>hadoop2.x+hive1.x+hbase1.x=>hadoop3.1.3+hive3.1.2+hbase2.3.5(notsupport)Sqoop安装解压并改名tar-zxvf/opt/download/sqoop-1.4.6.bin__had 查看详情
在 Hadoop 2.7.3 上执行简单 SQOOP 导入命令时出现 Sqoop 错误
】在Hadoop2.7.3上执行简单SQOOP导入命令时出现Sqoop错误【英文标题】：SqooperrorwhileexecutingSimpleSQOOPimportcomandonHadoop2.7.3【发布时间】：2018-04-0215:03:28【问题描述】：我正在使用Hadoop-2.7.3运行Sqoop1.4。并且还使用MySQL5.7作为Hive-2.1.1的元... 查看详情
在 sqoop 命令中使用 teradata 快速导出
】在sqoop命令中使用teradata快速导出【英文标题】：Usingteradatafastexportwithinsqoopcommand【发布时间】：2020-05-0200:47:37【问题描述】：在使用Teradata方法“--fast-export”时从Teradata数据库进行sqooping时遇到问题，下面是sqoop查询示例-Dhadoop.... 查看详情
sqoop快速上手(代码片段)
...数据库3、导入数据4、导出数据四、详细参数补充**1常用命令列举****2命令&参数详解****2. 查看详情
sqoop(代码片段)
...se4.2、导出数据4.2.1HIVE/HDFS到RDBMS4.3脚本打包5Sqoop一些常用命令及参数5.1常用命令列举5.2命令&参数详解5.2.1公用参数：数据库连接5.2.2公用参数：import5.2.3公用参数：export5.2.4公用参数：hive5.2.5命令&参数：im... 查看详情
sqoop安装与命令
...。4.在$SQOOP_HOME/bin目录下运行： sqoophelp会得到所有的命令。（注：如果在第3步中，有些值没有设置，运行时会报一些warning的信息，这是正常的）。5.查看某个命令的详细信息(如：import)： sqoopimport--help 各个... 查看详情
使用 sqoop 将数据从 CSV 导入 Avro 表的命令
】使用sqoop将数据从CSV导入Avro表的命令【英文标题】：CommandtoimportdatafromCSVtoAvrotableusingsqoop【发布时间】：2019-04-0912:47:45【问题描述】：我的HDFS上有一个名为test.csv的csv文件。我使用Hue创建了一个Avro表(avro_test)，其列名与csv文件... 查看详情
从 oozie 运行但不在命令行中时，Sqoop 失败
】从oozie运行但不在命令行中时，Sqoop失败【英文标题】：Sqoopfailingwhenrunfromooziebutnotincommandline【发布时间】：2017-01-2523:29:58【问题描述】：从oozie运行时，Sqoop操作失败，但是当将相同的命令复制粘贴到命令行（边缘节点）时，... 查看详情
sqoop一些常用命令及参数
常用命令列举命令类说明importImportTool将数据导入到集群exportExportTool将集群数据导出codegenCodeGenTool获取数据库中某张表数据生成Java并打包Jarcreate-hive-tableCreateHiveTableTool创建Hive表evalEvalSqlTool查看SQL执行结果import-all-tablesImportAllTables... 查看详情
通过 teradata 连接时出现 Sqoop 错误
...2016-01-0502:55:41【问题描述】：我无法使用Teradata执行sqoop命令。我收到此错误：错误8017][SQLState28000]用户ID、密码或帐户无效。Sqoop命令：sqoopimport--connectjdbc:teradata://TDPRODC/LO 查看详情
无法执行 Sqoop 导入
...rc和sqoop-env.sh文件很好。我也能够成功运行sqooplist-databases命令。问题是导入命令引发了outputconnectionfailed异常，请参考以下错误并帮助我：块引用rahul@ubuntu:~$sq 查看详情
Sqoop 导入不适用于蜂巢镶木地板
...op进行更改数据捕获，但是当我编写-as-parquet我的Sqoop导入命令时它正在下降。但是从我的Sqoop命令中删除-as-parquet后它正在工作并将数据放入文本中在hive表中格式化 查看详情
sqoop学习
最近学习了下这个导数据的工具，但是在export命令这里卡住了，暂时排不了错误。先记录学习的这一点吧sqoop是什么sqoop（sql-on-hadoop）：是用来实现结构型数据（如关系型数据库）和hadoop之间进行数据迁移的工具。它充分利用了m... 查看详情
浅谈sqoop
...据到hadoophdfs,hive,hbase等数据存储系统。b.其实就是将sqoop命令转换成MR程序来完成数据的迁移。c.本质就是执行和计算，依赖于hdfs存储数据，把sql转换成程序。2.sqoop的工作 查看详情
SQOOP 服务器已启动但未找到错误命令
】SQOOP服务器已启动但未找到错误命令【英文标题】：SQOOPServerstartedbutgettinganerrorcommandnotfound【发布时间】：2018-02-2311:12:31【问题描述】：我使用的是ubuntu16.04版harsha@ubuntu:~$lsb_release-aNoLSBmodulesareavailable.DistributorID:UbuntuDescription:Ubun... 查看详情
sqoop的安装部署
1）：安装JDK环境2）：安装Hadoop和Hive客户端环境，如果需要导出到HBase则需要安装HBase客户端3）：下载sqoop:命令：wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 4）：配置sqoop的环境变量 查看详情