正文

安装sqoop(代码片段)

wyju  wyju  2022-12-05  138

关键词：

1.sqoop的下载地址

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

2.上传sqoop

3.解压sqoop

sudo tar -zxvf sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz -C /usr/local/

4.进入/usr/local目录

cd /usr/local

5.将解压后的sqoop-1.4.7.bin__hadoop-2.6.0目录重命名为sqoop

sudo mv sqoop-1.4.7.bin__hadoop-2.6.0/ sqoop

6.授权当前用户hadoop拥有sqoop目录的所有者权限

sudo chown -R hadoop:hadoop sqoop/

7.进入到sqoop目录下的conf里面

 cd /usr/local/sqoop/conf/

8.重命名sqoop-env-template.sh为sqoop-env.sh

 mv sqoop-env-template.sh sqoop-env.sh

9.修改配置sqoop-env.sh,配置hadoop、hbase、zookeeper的安装目录

export HADOOP_COMMON_HOME=/usr/local/hadoop

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/usr/local/hadoop

#set the path to where bin/hbase is available
export HBASE_HOME=/usr/local/hbase

#Set the path to where bin/hive is available
export HIVE_HOME=/usr/local/hive

#Set the path for where zookeper config dir is
export ZOOCFGDIR=/usr/local/zookeeper

10.进入到sqoop的lib目录下，把mysql-connector-java-5.1.47.jar驱动上传到lib中

 cd /usr/local/sqoop/lib/

11.拷贝hive的jar包到lib的目录中

cp /usr/local/hive/lib/hive-common-2.3.7.jar /usr/local/sqoop/lib/

12.编辑环境变量

a.进入环境变量

vim ~/.bashrc

b.添加以下内容

export SQOOP_HOME=/usr/local/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

c.使环境变量生效

source ~/.bashrc

13.验证是否成功

sqoop version

使用sqoop之前的准备

1.启动zookeeper（三台都要启动）

zkServer.sh start

2.启动hadoop（在master上启动）

start-all.sh

3.启动hbase（在master上）

 start-hbase.sh

4.所有的节点

5.启动hive（在msater）

hiveserver2

6.启动mysql

 mysql -uroot -p123456

7.创建sqoop数据库

create database if not exists sqoop;

8.使用sqoop数据库

use sqoop;

9.创建表

CREATE TABLE IF NOT EXISTS `student`(
`id` int PRIMARY KEY COMMENT '编号',
	`name` varchar(20) COMMENT '名字',
	`age` int COMMENT '年龄'
)COMMENT '学生表';

10.插入数据

INSERT INTO student VALUES(1, 'zhangsan', 20);
INSERT INTO student VALUES(2, 'lisi', 24);
INSERT INTO student VALUES(3, 'wangwu', 18);
INSERT INTO student VALUES(4, 'zhaoliui', 22);

11.把mysql中student表中的数据导入到hdfs上

sqoop import --connect jdbc:mysql://localhost:3306/sqoop --username root --password 123456 --table student --target-dir /user/student --delete-target-dir -m 1

12.查看是否成功

hdfs dfs -cat /user/student/part-m-00000

sqoop安装及使用(代码片段)

SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情

sqoop安装及导入sqlserver数据(代码片段)

...用对应的sqljdbc.jar包，这里用到的是sqljdbc4.jar点我下载3.安装sqoop将下载好的压缩包解压到指定安装目录，如/opttar-zxvfsqoop-1.4.7_hadoop 查看详情

sqoop的安装和验证(代码片段)

...　Kafka是一个开源的分布式消息订阅系统　　一、Sqoop的安装　　1.http://www-eu.apache.org/dist/sqoop/1.4.7/下载sqoop-1.4.7.bin__hadoop-2.6 查看详情

etl工具sqoop(代码片段)

ETL工具sqoop文章目录ETL工具sqoopsqoop简介sqoop安装一、安装包的获取：二、上传安装包到服务器三、进行安装配置四、验证sqoopsqoop常用命令sqoop案例一、基础操作二、导入数据操作三、导出数据操作sqoop简介Sqoop(发音：skup)... 查看详情

1.5sqoop安装及基本使用(代码片段)

一、安装sqoop1、解压##解压[[email protected]cdh]#tarzxfsqoop-1.4.5-cdh5.3.6.tar.gz-C/opt/cdh-5.3.6/2、/opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh &n 查看详情

sqoop安装与简单实用(代码片段)

一，sqoop安装　　　　1.解压源码包2.配置环境变量3.在bin目录下的　　/bin/configsqoop注释掉check报错信息4.配置conf目录下　　/conf/sqoop-env.sh配置hadoop和hive家目录5.导入依赖的jar包至lib目录下　　mysql-connector-java-5.1.46-bin.jar/share/hadoop/... 查看详情

大数据之非常详细sqoop安装和基本操作(代码片段)

大数据大数据之非常详细Sqoop安装和基本操作目录大数据Sqoop1、上传解压2、配置环境变量配置sqoop环境变量配置sqoop-env.sh3、加入mysql的jdbc驱动包4、验证验证是否安装成功验证启动5、导入mysql表数据到HDFS6、导出HDFS数据到mysql总结... 查看详情

sqoop的安装与常用抽数操作(代码片段)

sqoop简介处理sqoop环境配置处理sqoop数据导入导出处理一：sqoop简介处理-1.Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可... 查看详情

hive/hbase/sqoop的安装教程(代码片段)

Hive/Hbase/Sqoop的安装教程 HIVEINSTALL1.下载安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.3/2.上传到Linux指定目录，解压：mkdirhivemvapache-hive-2.3.3-bin.tar.gzhivetar-zxvfapache-hive-2.3.3-bin.tar 查看详情

七,sqoop安装(代码片段)

sqoop安装完毕后，还需要一些坑爹的配置，此处瑾纪录下过程以及遇到过的麻烦：1.下载sqoop并加mysql驱动包http://mirror.bit.edu.cn/apache/sqoop/,下载，如下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz，将mysql（或其他db驱动包）放到Sqoop目录下的lib。... 查看详情

sqoop使用入门(代码片段)

...供了两个版本，1.4.x的为sqoop1，1.99x的为sqoop2，前者因为安装简单，得到了大量使用，后者虽然引进了安全机制、webui，restapi等更加方便使用的特性，但是安装过程繁琐暂时不记录。以下是sqoop1的结构图，它只提供一个sqoop客户端... 查看详情

ha高可用+hive+hbase+sqoop+kafka+flume+spark安装部署(代码片段)

目录前言资料HA高可用部署Hive安装部署Hbase安装部署sqoop安装部署解压安装包修改配置文件环境变量 sqoop-env.sh拷贝JDBC驱动测试Sqoop是否能够成功连接数据库kafka安装部署解压安装包环境变量配置文件创建logs文件夹zookeeper.propertie... 查看详情

sqoop安装(代码片段)

...，用于在关系型数据库与HDFS之间进行数据转换。 sqoop安装步骤如下：1.下载，指定到目录下下载路径：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/选择版本：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz安装在master主节点上。解压：gunzip-dsqoop-... 查看详情

四十centos安装sqoop（使用sqoop完成mysql和hdfs之间的数据互导）(代码片段)

环境准备：centos7centos可以上网hadoop，Hbase，Hive，Zookeeper正常运行环境搭建：版本：sqoop1.4.7-hadoop2.6.0一、Sqoop安装 1、直接在虚拟机浏览器下载sqoop1.4.7https://archive.apache.org/dist/sqoop/1 查看详情

sqoop(代码片段)

sqoop1Sqoop简介2Sqoop原理3Sqoop安装3.1下载并解压3.2修改配置文件3.3拷贝JDBC驱动3.4验证Sqoop3.5测试Sqoop是否能够成功连接数据库4Sqoop的简单使用案例4.1导入数据4.1.1RDBMS到HDFS4.1.2RDBMS到Hive4.1.3RDBMS到Hbase4.2、导出数据4.2.1HIVE/HDFS到RDBMS4.3脚... 查看详情

sqoop(代码片段)

chd-5.3.6集群上sqoop安装(代码片段)

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型... 查看详情