sqoop--安装配置

关键词：

一，环境

CentOS 7.3

sqoop-1.4.4

hive-2.2.0

二，安装与配置

1.准备sqoop安装包，官网地址：http://sqoop.apache.org

2.配置jdk环境变量和Hadoop的环境变量。因为sqoop在使用是会去找环境变量对应的路径，从而完整工作。

3.sqoop解压即可使用（前提是环境变量都配好了）

4.需要将要连接的数据库的驱动包加入sqoop的lib目录下（本例中用的是mysql数据库）

5.利用指令操作sqoop  

三，启动

1，查询所有库

[root@hadoop2 bin]# sh sqoop list-databases -connect jdbc:mysql://192.168.0.112:3306/ -username root -password root

2，查询当前库下所有表

[root@hadoop2 bin]# sh sqoop list-tables --connect jdbc:mysql://192.168.0.112:3306/hive -username root -password root

3，连接当前库并导出表到指定路径

[root@hadoop2 bin]# sh sqoop import --connect jdbc:mysql://192.1680.112:3306/test -username root -password root --table tabx --target-dir /sqoop/tabx --fields-terminated-by | -m 1;

 

说明	指令示例
查看mysql所有数据库	sh sqoop list-databases --connect  jdbc:mysql://192.168.150.138:3306/ -username root -password root
查看指定数据库下的所有表	sh sqoop list-tables --connect jdbc:mysql://hadoop02:3306/hive -username root -password root
关系型数据库==>hdfs sh sqoop import -help（查看import的帮助指令）	实现步骤： 1.现在mysql数据库的test数据下建立一张tabx表，并插入测试数据 建表：create table tabx (id int,name varchar(20)); 插入：insert into tabx (id,name) values (1,aaa),(2,bbb),(3,ccc)，(1,ddd),(2,eee),(3,fff); 2.进入到sqoop的bin目录下，执行导入语句 导入： sh sqoop import --connect jdbc:mysql://192.168.150.138:3306/test --username root --password root --table tabx --target-dir /sqoop/tabx --fields-terminated-by | -m 1;
hdfs==>关系型数据库	执行：sh sqoop export --connect jdbc:mysql://192.168.150.138:3306/test --username root --password root --export-dir /sqoop/tabx/part-m-00000 --table taby -m 1 --fields-terminated-by | 注：sqoop只能导出数据，不能自动建表。所以在导出之前，要现在mysql数据库里建好对应的表

 

安装hadoop下的sqoop1.99.3及配置问题全解决

2016年8月27日，解决sqoop先下载的是sqoop1.99.7，结果配置的时候，出现了没有server/conf目录，以及启动时出现无法配置错误./bin/sqoop.shserverstart[email protected]:/opt/sqoop-1.99.7$./bin/sqoop.shserverstartSettingconfdir:./bin/../confSqooph 查看详情

sqoop配置安装以及导入

安装sqoop的前提是已经具备java和hadoop的环境1.上传并解压  (要导mysql的数据)得加入mysql的jdbc驱动包接下来验证启动  Sqoop的数据导入“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都... 查看详情

七,sqoop安装(代码片段)

sqoop安装完毕后，还需要一些坑爹的配置，此处瑾纪录下过程以及遇到过的麻烦：1.下载sqoop并加mysql驱动包http://mirror.bit.edu.cn/apache/sqoop/,下载，如下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz，将mysql（或其他db驱动包）放到Sqoop目录下的lib。... 查看详情

sqoop环境搭建01sqoop-1.4.7安装配置centoslinuxrelease7.5.1804（附sqoop1最新版+sqoop2最新版安装包+mysql驱动包资源）(代码片段)

...功能还没有完善，所以这里优先推荐使用Sqoop1。本次安装的文件是【Sqoop1的最新版本】sqoop-1.4.7.bin-hadoop-2.6.0.tar.gz以下内容均以此版本进行说明。1.资源分 查看详情

大数据之非常详细sqoop安装和基本操作(代码片段)

大数据大数据之非常详细Sqoop安装和基本操作目录大数据Sqoop1、上传解压2、配置环境变量配置sqoop环境变量配置sqoop-env.sh3、加入mysql的jdbc驱动包4、验证验证是否安装成功验证启动5、导入mysql表数据到HDFS6、导出HDFS数据到mysql总结... 查看详情

sqoop安装与简单实用(代码片段)

一，sqoop安装　　　　1.解压源码包2.配置环境变量3.在bin目录下的　　/bin/configsqoop注释掉check报错信息4.配置conf目录下　　/conf/sqoop-env.sh配置hadoop和hive家目录5.导入依赖的jar包至lib目录下　　mysql-connector-java-5.1.46-bin.jar/share/hadoop/... 查看详情

sqoop的安装和使用

1.下载sqoop下载地址：http://ftp.wayne.edu/apache/sqoop/1.4.6/2.上传，解压3.配置环境变量vi/etc/profile使环境变量生效：source/etc/profile4.配置文件4.1sqoop-env.sh先将模板复制或重命名visqoop-env.sh 4.2添加mysqjar包cpapache-hive-1.2.1-bin/lib 查看详情

sqoop的安装部署

1）：安装JDK环境2）：安装Hadoop和Hive客户端环境，如果需要导出到HBase则需要安装HBase客户端3）：下载sqoop:命令：wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.6/sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 4）：配置sqoop的环境变量 查看详情

包安装期间不应该配置 Oozie/Sqoop jar 位置吗？

】包安装期间不应该配置Oozie/Sqoopjar位置吗？【英文标题】：Shouldn\'tOozie/Sqoopjarlocationbeconfiguredduringpackageinstallation?【发布时间】：2016-04-0516:49:10【问题描述】：我在CentOS6.7中使用HDP2.4。我已经用Ambari创建了集群，所以Oozie是由Amba... 查看详情

ha高可用+hive+hbase+sqoop+kafka+flume+spark安装部署(代码片段)

目录前言资料HA高可用部署Hive安装部署Hbase安装部署sqoop安装部署解压安装包修改配置文件环境变量 sqoop-env.sh拷贝JDBC驱动测试Sqoop是否能够成功连接数据库kafka安装部署解压安装包 环境变量配置文件创建logs文件夹zookeeper.propertie... 查看详情

sqoop安装及使用(代码片段)

SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情

etl工具sqoop(代码片段)

ETL工具sqoop文章目录ETL工具sqoopsqoop简介sqoop安装一、安装包的获取：二、上传安装包到服务器三、进行安装配置四、验证sqoopsqoop常用命令sqoop案例一、基础操作二、导入数据操作三、导出数据操作sqoop简介Sqoop(发音：skup)... 查看详情

sqoop的安装与常用抽数操作(代码片段)

sqoop简介处理sqoop环境配置处理sqoop数据导入导出处理一：sqoop简介处理-1.Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可... 查看详情

sqoop安装及使用(代码片段)

SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情

sqoop安装及使用(代码片段)

SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情

使sqoop能够启用压缩的一些配置

...  需要配置native  要编译版本 删除hadoop安装目录lib下的native文件夹 将解压好的native文 查看详情

sqoop安装及基本使用

...级数据仓库、文档型系统、关系型数据库<--> sqoop安装：  1、tar-zxvfsqoop-1.4.6-cdh5.5.2.tar.gz  2、将mysql的驱动包mysql-connector-java-5.1.43.jar拷贝到sqoophome/lib下面        cpmysql-connector-java... 查看详情

sqoop入门教程

目录一、Sqoop概述    1、简介    2、Sqoop架构原理    3、Sqoop连接器二、Sqoop安装    1、sqoop下载解压    2、sqoop配置文件  & 查看详情