关键词：
大数据
大数据之非常详细Sqoop安装和基本操作
目录
Sqoop
1、上传解压
使用xftp将sqoop的安装包上传到虚拟机
解压
tar -zxf /opt/software/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/`
解压完成后，修改个名字方便以后使用
mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop
2、配置环境变量
配置sqoop环境变量
vi /etc/profile
使环境变量生效：
source /etc/profile
配置sqoop-env.sh
首先先将sqoop-env-template.sh 修改(也可以复制一个)名字为sqoop-env.sh，添加Hadoop，hbase，hive和zookeeper的配置(zookeeper可以先不配置)
命令为
mv sqoop-env-template.sh sqoop-env.sh
cp sqoop-env-template.sh sqoop-env.sh
进入后
vi sqoop-env.sh
export HADOOP_COMMON_HOME= /opt/module/hadoop-2.7.1
export HADOOP_MAPRED_HOME= /opt/module/hadoop-2.7.1
export HIVE_HOME= /opt/module/apache-hive-1.2.1-bin
3、加入mysql的jdbc驱动包
将mysql的jar包拷贝到sqoop的lib目录下，可以拷贝hive的lib目录下的mysql的jar包
cp /opt/module/apache-hive-1.2.1-bin/lib/mysql-connector-java-5.1.46-bin.jar /opt/module/sqoop/lib/
4、验证
验证是否安装成功
sqoop version
sqoop-version
验证启动
sqoop/bin/sqoop list-databases \\
--connect jdbc:mysql://localhost:3306/ \\
--username root --password 1234
本命令会列出所有mysql的数据库。
到这里，整个Sqoop安装工作完成。
5、导入mysql 表数据到HDFS
sqoop/bin/sqoop import \\
--connect jdbc:mysql://hadoop102:3306/test \\
--username root \\
--password 1234 \\
--delete-target-dir \\
--target-dir /output/sqoop \\
--table t1 --m 1 \\
--fields-terminated-by ','
其中–target-dir 可以用来指定导出数据存放至 HDFS 的目录；
mysql jdbc url 请使用 ip 地址。
jdbc:mysql://hadoop102:3306
为了验证在 HDFS 导入的数据，请使用以下命令查看导入的数据：
hadoop fs -cat /output/sqoop/part-m-00000
可以看出它会在 HDFS 上默认用逗号,分隔 emp 表的数据和字段。可以通过
–fields-terminated-by '\\t’来指定分隔符。
6、导出 HDFS数据到 mysql
将数据从 Hadoop 生态体系导出到 RDBMS 数据库导出前，目标表必须存在于目标数据库中。
export 有三种模式：
# 默认操作是从将文件中的数据使用 INSERT 语句插入到表中。
# 更新模式：Sqoop 将生成 UPDATE 替换数据库中现有记录的语句。
# 调用模式：Sqoop 将为每条记录创建一个存储过程调用。
以下是 export 命令语法：
$ sqoop export (generic-args) (export-args)
执行导出命令
sqoop/bin/sqoop export \\
--connect jdbc:mysql://hadoop102:3306/test \\
--username root \\
--password 1234 \\
--table t2 \\
--export-dir /output/t1.txt \\
--fields-terminated-by ',' --m 1
t \\
--connect jdbc:mysql://hadoop102:3306/test \\
--username root \\
--password 1234 \\
--table t2 \\
--export-dir /output/t1.txt \\
--fields-terminated-by ',' --m 1
总结
以上就是今天要讲的内容，本文仅仅简单介绍了大数据之非常详细Sqoop安装和基本操作，结合以上步骤和书中内容相信你也可以的，加油。
sqoop快速上手(代码片段)
...op==楼兰==文章目录一、ETL简介1、关于ETL2、大数据与传统关系型数据库的关系3、Sqoop简介二、Sqoop下载三、Sqoop基础使用3.1前置软件3.2Sqoop安装3.3Sqoop基础使用1、查看Sqoop的帮助信息2、单独连接数据库3、导入数据4、导... 查看详情
hadoop之sqoop(代码片段)
sqoop产生的原因：多数使用Hadoop技术的处理大数据业务的企业，有大量的数据存储在关系型数据中。由于没有工具支持，对Hadoop和关系型数据库之间数据传输是一个很困难的事。所以sqoop产生了。sqoop简介:sqoop是连接关... 查看详情
sqoop--数据库和hdfs之间的搬运工(代码片段)
...p简介sqoop是一款开源的工具，主要用于在hadoop和与传统的数据库之间进行的数据的传递，可以将一个关系型数据库中的数据导入到hadoop的hdfs中，也可以将hdfs的数据导入到关系型数据库中。sqoop的命名由来就是sql?to?hadoop，它的原... 查看详情
sqoop的安装与常用抽数操作(代码片段)
sqoop简介处理sqoop环境配置处理sqoop数据导入导出处理一：sqoop简介处理-1.Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可... 查看详情
大数据之—cdh搭建(代码片段)
大数据之—CDH搭建目录大数据之—CDH搭建前言1、CDH概述2、安装CDH前准备3、配置4、下载安装包部署CDH所有节点都要安装的内容只有主节点node1上安装的内容所有节点修改agent配置，指向server节点node1主节点node1修改server配置主节点... 查看详情
大数据技术之hive基本概念安装数据类型(代码片段)
...本概念1.1什么是Hive1.2Hive的优缺点1.3Hive架构原理1.4Hive和数据库比较2Hive安装2.1Hive安装部署2.2MySQL安装2.3Hive元数据配置到MySQL2.4使用元数据服务的方式访问Hive2.5使用JDBC方式访问Hive2.6Hive常用交互命令2.7Hive常见属性配置3Hive数据类... 查看详情
大数据技术之hive基本概念安装数据类型(代码片段)
...本概念1.1什么是Hive1.2Hive的优缺点1.3Hive架构原理1.4Hive和数据库比较2Hive安装2.1Hive安装部署2.2MySQL安装2.3Hive元数据配置到MySQL2.4使用元数据服务的方式访问Hive2.5使用JDBC方式访问Hive2.6Hive常用交互命令2.7Hive常见属性配置3Hive数据类... 查看详情
sqoop学习之路(代码片段)
...1、前提概述2、软件下载3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入1、从RDBMS导入到HDFS中2、把MySQL数据库中的表数据导入到Hive中3、把MySQL数据库中的表数据导入到hbase 正文回到顶部一、概述sqoop是apache旗下... 查看详情
sqoop使用入门(代码片段)
sqoop是apache旗下，用于关系型数据库和hadoop之间传输数据的工具，sqoop可以用在离线分析中，将保存在mysql的业务数据传输到hive数仓，数仓分析完得到结果，再通过sqoop传输到mysql，最后通过web+echart来进行图表展示，更加直观的展... 查看详情
sqoop集群环境搭建|mysql数据导出hdfs测试(代码片段)
🚀作者：“大数据小禅”🚀简介：详细讲解Sqoop的环境搭建，通过Sqoop将mysql导出到HDFS，附带过程截图。🚀安装包获取：获取对应的安装包可以通过最下方公众号联系我备注获取。1.Sqoop简介ApacheSqo... 查看详情
sqoop的安装和验证(代码片段)
Sqoop是一个用来完成Hadoop和关系型数据库中的数据相互转移的工具，它可以将关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中。 Kafka是一个开源的分布式消息订阅系统 一、Sqoop的... 查看详情
etl工具sqoop(代码片段)
...四、验证sqoopsqoop常用命令sqoop案例一、基础操作二、导入数据操作三、导出数据操作sqoop简介Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postg 查看详情
数据同步工具sqoop(代码片段)
大数据Hadoop之——数据同步工具Sqoop-掘金(juejin.cn)1概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS（RelationalDatabaseManagementSystem：关系型数据库管理系统）与Hadoop之间进行高效的大数据交流。用户可以在Sqoop的帮助... 查看详情
sqoop集群环境搭建|mysql数据导出hdfs测试(代码片段)
🚀作者：“大数据小禅”🚀简介：详细讲解Sqoop的环境搭建，通过Sqoop将mysql导出到HDFS，附带过程截图。🚀安装包获取：获取对应的安装包可以通过最下方公众号联系我备注获取。1.Sqoop简介ApacheSqo... 查看详情
sqoop(代码片段)
尚硅谷大数据技术之Sqoop 第1章Sqoop简介 Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的... 查看详情
大数据组件之hive（hive学习一篇就够了）(代码片段)
...2.图类型3.结构体类型4.集合类型四、Hive的DDL1、数据库的基本操作1.创建数据库2.显示数据库信息3.显示数据库详细信息4.切换数据库5.修改数据库6.删除数据库2、创建表1.建表语句1.建表语句2.创建简单表3.创建外部表4.创建含有特... 查看详情
数据同步工具sqoop(代码片段)
大数据Hadoop之——数据同步工具SqoopSqoop基本原理及常用方法1概述ApacheSqoop（SQL-to-Hadoop）项目旨在协助RDBMS（RelationalDatabaseManagementSystem：关系型数据库管理系统）与Hadoop之间进行高效的大数据交流。用户可以在... 查看详情
sqoop之操作
导入：传统关系型数据库---->大数据平台的importmysql------>hadoop--connect 指定关系型数据库链接url mysql:jdbc://hadoop02:3306/--username 指定数据库的用户名--password 指定数据库的密码--table 指定要导出数据的mysql数据库表关系型... 查看详情