关键词：
环境准备：
centos 7
centos 可以上网
hadoop，Hbase，Hive，Zookeeper正常运行
环境搭建：
版本：
sqoop1.4.7-hadoop2.6.0
一、Sqoop安装
1、直接在虚拟机浏览器下载sqoop1.4.7
2、解压安装包
3、重命名为Sqoop
mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop
4、配置sqoop-env.sh
(1)复制配置文件并重命名为sqoop-env.sh
cat sqoop-env-template.sh >> sqoop-env.sh 
(2)修改配置文件
编辑sqoop-env.sh文件，分别将Hadoop、HBase、Hive、ZooKeeper的安装目录添加到文件中。
5、配置环境变量
vim /etc/profile
使环境变量立即生效：
source /etc/profile6、配置MySQL连接
（1）添加MySQL的JAR包到Sqoop安装目录中。
（2）测试Sqoop与MySQL之间的连接
A、启动MySQL服务：
B、测试Sqoop与MySQL之间的连接是否成功：
sqoop list-databases --connect jdbc:mysql://localhost:3306 --username root -password dang
注：如果可以看到MySQL数据库中的数据库列表，则表示Sqoop安装成功
centos安装Sqoop完成
Sqoop的使用：
二、使用Sqoop完成MySQL和HDFS之间的数据互导
1、上传准备好的测试数据到MySQL中
（1）登录MySQL：
（2）创建测试数据库
（3）创建表test1，用于存放本地测试数据
create table test1(
ip varchar(100) not null,
time varchar(100) not null,
url varchar(100) not null);
（4）新建测试数据文件
写入：
注意：此 txt 文件字段之间需要用Tab键隔开，空格是不可行的，遇到datatime日期的，年月日，时分秒之间需用空格隔开，不需要添加引号
（5）将本地的测试数据上传到test1表中
load data local infile "/opt/linshi/test.txt" into table test1(ip,time,url);
（6）上传完成后，查看test1表中的数据：
select * from test1;
2、上传数据到HDFS中
（1）启动hadoop集群
（2）将test1中的数据上传到HDFS中：
./sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password dang --table test1 -m 1（3）查看导入的数据
hdfs dfs -cat /user/root/test1/part-m-00000
（4）登录HDFS网页查看
HDFS的web端：localhost:50070
（5）将HDFS数据导入MySQL中
注：在导出前需要先创建导出表的结构，如果导出的表在数据表中不存在，则系统会报错；若重复导出数据，则表中的数据会重复
A、 在test数据库中创建表test2，可以直接复制表test1的结构：
create table test2 as select * from test1 where 1=2;
B、查看表test1，表test2：
C、使用sqoop将HDFS中的数据导入MySQL的test2中：
sqoop export --connect jdbc:mysql://192.168.231.105:3306/test --username root --password dang --table test2 --export-dir /user/root/test1/part-m-00000 -m 1
注：localhost最好写成本机地址，之前写的localhost报错了
（6）再次查看test2表：
HDFS的数据成功导入test2
一条华丽的分割线
centos安装sqoop（使用Sqoop完成MySQL和HDFS之间的数据互导）案例完成
其他环境搭建参见：
Hadoop伪分布式的搭建详情
https://blog.csdn.net/m0_54925305/article/details/118650350?spm=1001.2014.3001.5502Hadoop完全分布式的搭建详情https://blog.csdn.net/m0_54925305/article/details/118851554?spm=1001.2014.3001.5502Zookeeper集群的搭建（单机、伪分布式、集群）https://blog.csdn.net/m0_54925305/article/details/119059186?spm=1001.2014.3001.5502Spark的安装与部署详情（Local模式，Standalone模式，Spank on YARN模式）https://blog.csdn.net/m0_54925305/article/details/119005751?spm=1001.2014.3001.5502HadoopHA环境搭建（保姆篇，手把手搭建）https://blog.csdn.net/m0_54925305/article/details/119838463?spm=1001.2014.3001.5502hbase集群的搭建（HBase Shell）https://blog.csdn.net/m0_54925305/article/details/120787788?spm=1001.2014.3001.5502Centos安装mysql(rpm终结版)https://blog.csdn.net/m0_54925305/article/details/120476116?spm=1001.2014.3001.5502centos安装hive3.1.2（精讲篇）https://blog.csdn.net/m0_54925305/article/details/120554242?spm=1001.2014.3001.5502Centos安装yum,wegt(完全配置篇)https://blog.csdn.net/m0_54925305/article/details/120467143?spm=1001.2014.3001.5502
利用sqoop完成数据导入导出(代码片段)
一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库，与检验是否安装成功。 # sqooplist-databases--connectjdbc:mysql://localhost:3306/--usernameroot--password123456二.hive与mysql数据互导 一.使用命令范例:sqoopimport--connectjdbc:mysql 查看详情
Sqoop 的权限异常
...时间】：2016-05-0414:19:15【问题描述】：堆栈：使用Ambari2.1安装了HDP-2.3.2.0-2950安装是自动的。因为机器（总共9个节点）具有Internet连接，并且是使用root凭据完成的。一个ls命令输出供参考（sqoop用户丢失）：[root@l1031lab~]#hadoopfs-ls/u... 查看详情
如何将mysql数据导入hadoop之sqoop安装
你好，完成sqoop的安装后，可以这样测试是否可以连接到mysql(注意：mysql的jar包要放到SQOOP_HOME/lib下)：sqooplist-databases--connectjdbc:mysql://192.168.1.109:3306/--usernameroot--password19891231结果如下即说明sqoop已经可以正常使用了。下面，要将mysq... 查看详情
无法让 Sqoop 1.99.3 在 64 位 Centos 6.5 上与 Apache Hadoop 2.4.0 一起使用
...114:28:47【问题描述】：我在Centos6.5KVM虚拟服务器上运行并安装了Apachehadoop。它安装在/home/hduser/yarn/hadoo 查看详情
sqoop安装与应用过程
1. 参考说明参考文档： http://sqoop.apache.org/ http://sqoop.apache.org/docs/1.99.7/admin/Installation.html 2. 安装环境说明2.1. 环境说明 CentOS7.4+Hadoop2.7.5的伪分布式环境 主机名NameN 查看详情
sqoop使用入门(代码片段)
...供了两个版本，1.4.x的为sqoop1，1.99x的为sqoop2，前者因为安装简单，得到了大量使用，后者虽然引进了安全机制、webui，restapi等更加方便使用的特性，但是安装过程繁琐暂时不记录。以下是sqoop1的结构图，它只提供一个sqoop客户端... 查看详情
sqoop安装与使用
使用sqoop进行将Hive词频统计的结果数据传输到Mysql中。1.mysql准备接受数据的数据库与表 2. hive准备待传输的数据 3.sqoop进行数据传输 4.mysql查看传输结果 查看详情
sqoop安装及使用(代码片段)
SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情
sqoop安装及使用
简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。通过将sqoop的操作命令转化为Hadoop的MapReduce... 查看详情
sqoop的安装和使用
1.下载sqoop下载地址：http://ftp.wayne.edu/apache/sqoop/1.4.6/2.上传，解压3.配置环境变量vi/etc/profile使环境变量生效：source/etc/profile4.配置文件4.1sqoop-env.sh先将模板复制或重命名visqoop-env.sh 4.2添加mysqjar包cpapache-hive-1.2.1-bin/lib 查看详情
sqoop安装及导入sqlserver数据(代码片段)
...用对应的sqljdbc.jar包，这里用到的是sqljdbc4.jar点我下载3.安装sqoop将下载好的压缩包解压到指定安装目录，如/opttar-zxvfsqoop-1.4.7_hadoop 查看详情
sqoop数据分析引擎安装与使用
Sqoop数据分析引擎安装与使用 ==>什么是Sqoop? Sqoop 是一个开源的数据处理引擎，主要是通过 JDBC 为媒介， 在Hadoop（Hive）与传统的关系型数据库(Oracle,MySQL,Postgres等)间进行数据的传递&... 查看详情
sqoop的安装和验证(代码片段)
... Kafka是一个开源的分布式消息订阅系统 一、Sqoop的安装 1.http://www-eu.apache.org/dist/sqoop/1.4.7/下载sqoop-1.4.7.bin__hadoop-2.6 查看详情
sqoop的安装和使用
关系行数据库与非关系型数据库之间的数据同步一、在不使用sqoop的情况下Mysql-->hive1.利用naivacat（工具）将数据库中的表导出（导出的时候要主要制表符/t）2.利用WinSCP（工具）上传到linux指定的文件夹下3.先在hive建表createtable... 查看详情
1.5sqoop安装及基本使用(代码片段)
一、安装sqoop1、解压##解压[[email protected]cdh]#tarzxfsqoop-1.4.5-cdh5.3.6.tar.gz-C/opt/cdh-5.3.6/2、/opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh &n 查看详情
简易安装sqoop
版本：hive-0.13.1-cdh5.3.6.tar.gz 1：解压然后进到conf目录修改 sqoop-env.sh 2：如果使用mysql数据库要将mysql驱动包拷贝到sqoop安装目录的lib文件夹下 查看详情
sqoop导入数据到mysql原理_sqoop的详细使用及原理
...reduce，所以sqoop依赖于hadoop,数据是并行导入的。3、sqoop的安装和配置1)安装：解压缩sqo 查看详情
sqoop环境搭建01sqoop-1.4.7安装配置centoslinuxrelease7.5.1804（附sqoop1最新版+sqoop2最新版安装包+mysql驱动包资源）(代码片段)
...功能还没有完善，所以这里优先推荐使用Sqoop1。本次安装的文件是【Sqoop1的最新版本】sqoop-1.4.7.bin-hadoop-2.6.0.tar.gz以下内容均以此版本进行说明。1.资源分 查看详情