关键词：
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
对于某些Nosql数据库它也提供了连接器。Sqoop，类似于其他ETL工具，使用元数据模型来判断数据类型并在数据从数据源转移到Hadoop时确保类型安全的数据处理。Sqoop专为大数据批量传输设计，能够分割数据集并创建Hadoop任务来处理每个区块。
1.解压：
tar -xvf sqoop-1.4.5-cdh5.3.6.tar.gz -C /home/hadoop/CDH5.3.6
2.进去conf目录
/home/hadoop/CDH5.3.6/sqoop-1.4.5-cdh5.3.6/conf
3.重命名文件
[[email protected] conf]$ cp sqoop-env-template.sh sqoop-env.sh
4.修改配置文件sqoop-env.sh
export HADOOP_COMMON_HOME=/home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6 export HADOOP_MAPRED_HOME=/home/hadoop/CDH5.3.6/hadoop-2.5.0-cdh5.3.6 export HIVE_HOME=/home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6
5.验证：
查看版本：
查看命令怎么用：
bin/sqoop help list-databases
链接的是MySQL数据库，需要拷贝一个jdbc驱动包
cp /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/lib/mysql-connector-java-5.1.46.jar ./lib/
[[email protected] lib]$ mysql -u root -p Enter password: mysql> update user set host = ‘%‘ where user = ‘root‘; Query OK, 1 row affected (0.00 sec) Rows matched: 1 Changed: 1 Warnings: 0 mysql> FLUSH PRIVILEGES; Query OK, 0 rows affected (0.00 sec)
展现数据库有哪些database：
bin/sqoop list-databases --connect jdbc:mysql://192.168.1.30:3306 \\ --username root --password mysql
安装完成，sqoop主要作用于export 、import 导入导出，见下次随笔
chd-5.3.6集群上flume的文件监控(代码片段)
收集hive的log hive的运行日志： /home/hadoop/CDH5.3.6/hive-0.13.1-cdh5.3.6/log/hive.log*memory*hdfs /user/flume/hive-log1.需要四个包：commons-configuration-1.6.jarhadoop-auth-2. 查看详情
sqoop的安装(代码片段)
条件 1.启动mysql servicemysqldstart 2.启动hadoop集群 start-all.sh1.下载jar包（：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/）2.上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha 查看详情
sqoop集群环境搭建|mysql数据导出hdfs测试(代码片段)
🚀作者：“大数据小禅”🚀简介：详细讲解Sqoop的环境搭建，通过Sqoop将mysql导出到HDFS，附带过程截图。🚀安装包获取：获取对应的安装包可以通过最下方公众号联系我备注获取。1.Sqoop简介ApacheSqo... 查看详情
ha高可用+hive+hbase+sqoop+kafka+flume+spark安装部署(代码片段)
...置文件创建logs文件夹zookeeper.propertiesserver.properties启动集群验证关闭集群flume安装部署解压安装包配置环境变量flume- 查看详情
sqoop集群环境搭建|mysql数据导出hdfs测试(代码片段)
🚀作者：“大数据小禅”🚀简介：详细讲解Sqoop的环境搭建，通过Sqoop将mysql导出到HDFS，附带过程截图。🚀安装包获取：获取对应的安装包可以通过最下方公众号联系我备注获取。1.Sqoop简介ApacheSqo... 查看详情
hadoop安装mysqlhive以及sqoop(步骤图文超详细版)(代码片段)
...有搭建Hadoop，欢迎看看我前面的一篇文章：Hadoop集群搭建(步骤图文超详细版)目录一、前置条件二、安装Mysql三、安装Hive四、安装Sqoop一、前置条件需要安装下载方法Hive-1.2.1官网下载链接，提取码：nzyuSqoop-1.4.6百... 查看详情
基于hadoop2.7集群的spark2.0，sqoop1.4.6，mahout0.12.2完全分布式安装(代码片段)
写在前边的话 hadoop2.7完全分布式安装请参考：点击阅读，继任该篇博客之后，诞生了下面的这一篇博客 基本环境： CentOS6.5，Hadoop2.7，Java1.7 Hive2.0.0，Zookeeper3.4.8，Hbase1... 查看详情
sqoop使用入门(代码片段)
...供了两个版本，1.4.x的为sqoop1，1.99x的为sqoop2，前者因为安装简单，得到了大量使用，后者虽然引进了安全机制、webui，restapi等更加方便使用的特性，但是安装过程繁琐暂时不记录。以下是sqoop1的结构图，它只提供一个sqoop客户端... 查看详情
sqoop安装(代码片段)
...，用于在关系型数据库与HDFS之间进行数据转换。 sqoop安装步骤如下：1.下载，指定到目录下下载路径：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/选择版本：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz安装在master主节点上。解压：gunzip-dsqoop-... 查看详情
安装sqoop(代码片段)
1.sqoop的下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2.上传sqoop3.解压sqoopsudotar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/4.进入/usr/local目录c 查看详情
markdown在ubuntu上安装kubernetes集群(代码片段)
sqoop安装及使用(代码片段)
SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情
sqoop安装及导入sqlserver数据(代码片段)
...用对应的sqljdbc.jar包，这里用到的是sqljdbc4.jar点我下载3.安装sqoop将下载好的压缩包解压到指定安装目录，如/opttar-zxvfsqoop-1.4.7_hadoop 查看详情
sqoop的简单使用案例(代码片段)
Sqoop的简单使用案例导入数据在Sqoop中，“导入”概念指：从非大数据集群（RDBMS）向大数据集群（HDFS，HIVE，HBASE）中传输数据，叫做：导入，即使用import关键字。（1）RDBMS到HDFS&# 查看详情
sqoop的安装和验证(代码片段)
... Kafka是一个开源的分布式消息订阅系统 一、Sqoop的安装 1.http://www-eu.apache.org/dist/sqoop/1.4.7/下载sqoop-1.4.7.bin__hadoop-2.6 查看详情
etl工具sqoop(代码片段)
ETL工具sqoop文章目录ETL工具sqoopsqoop简介sqoop安装一、安装包的获取：二、上传安装包到服务器三、进行安装配置四、验证sqoopsqoop常用命令sqoop案例一、基础操作二、导入数据操作三、导出数据操作sqoop简介Sqoop(发音：skup)... 查看详情
1.5sqoop安装及基本使用(代码片段)
一、安装sqoop1、解压##解压[[email protected]cdh]#tarzxfsqoop-1.4.5-cdh5.3.6.tar.gz-C/opt/cdh-5.3.6/2、/opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh &n 查看详情
sqoop安装与简单实用(代码片段)
一，sqoop安装 1.解压源码包2.配置环境变量3.在bin目录下的 /bin/configsqoop注释掉check报错信息4.配置conf目录下 /conf/sqoop-env.sh配置hadoop和hive家目录5.导入依赖的jar包至lib目录下 mysql-connector-java-5.1.46-bin.jar/share/hadoop/... 查看详情