正文 

当前位置： 首页 > 技术 > java教程

sqoop的安装(代码片段)

wangshuang123 wangshuang123     2022-12-17     384

关键词：

条件  1.启动mysql   service mysqld start     2.启动hadoop集群  start-all.sh

1.下载jar包（：http://mirrors.hust.edu.cn/apache/sqoop/1.4.6/）

2.上传安装包sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz到/root/目录下

3.解压

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /usr/local/

3.重命名配置文件

在/usr/local/sqoop-1.4.6.bin__hadoop-2.0.4-alpha/conf/

template代表临时文件

mv sqoop-env-template.sh sqoop-env.sh
mv sqoop-site-template.xml sqoop-site.xml (sqoop-site.xml如果存在的话就不用修改了)

 4.修改配置文件 (根据自己情况进行修改)

vi sqoop-env.sh

export HADOOP_COMMON_HOME= /usr/local/hadoop-2.7.3
export HADOOP_MAPRED_HOME= /usr/local/hadoop-2.7.3
export HIVE_HOME= /usr/local/hive-2.3.4
export ZOOKEEPER_HOME= /usr/local/zookeeper-3.4.10
export ZOOCFGDIR= /usr/local/zookeeper-3.4.10/conf

5.拷贝jdbc驱动

将 mysql-connector-java-5.1.37/mysql-connector-java-8.0.11.jar 放到 sqoop的lib目录下哦

6.配置sqoop的环境变量

vi /etc/profile

记得更新 source vi /etc/profile

7.验证sqoop(可以省略)

我们可以通过某一个command来验证sqoop配置是否正确：

$ bin/sqoop help
出现一些Warning警告（警告信息已省略），并伴随着帮助命令的输出：
Available commands:
  codegen            Generate code to interact with database records
  create-hive-table     Import a table definition into Hive
  eval               Evaluate a SQL statement and display the results
  export             Export an HDFS directory to a database table
  help               List available commands
  import             Import a table from a database to HDFS
  import-all-tables     Import tables from a database to HDFS
  version            Display version information
·····

8.测试sqoop是否能够成功连接数据库

mysql-connector-java-5.1.37

192.168.159.110 写自己的ip  test1 写自己的连接
sqoop-list-database 
  -connect jdbc:mysql://192.168.159.110:3306/test1 --username root --password 12345

mysql-connector-java-8.0.11.jar

sqoop-list-database --connect jdbc:mysql://192.168.150.110:3306/test1?serverTimezone=Asia/Shanghai --username root --password 123456

界面

出现如下输出：
information_schema
metastore
mysql
performance_schema

 

错误：

 

 

 

技术图片

 

错误原因：mysql没有授权登录

解决方法：

1.登录mysql  mysql -uroot -p

2.use mysql;

3.更新域属性 

update user set host=‘%‘ where user=‘root‘;

4.执行以上语句后在进行更新语句

FLUSH PRIVILEGES;

5.执行授权语句

GRANT ALL PRIVILEGES ON *.* TO ‘root‘@‘%‘WITH GRANT OPTION;

6.退出 exit;

7.再次登录 mysql -uroot -p

 

sqoop安装及导入sqlserver数据(代码片段)

...用对应的sqljdbc.jar包，这里用到的是sqljdbc4.jar点我下载3.安装sqoop将下载好的压缩包解压到指定安装目录，如/opttar-zxvfsqoop-1.4.7_hadoop 查看详情

安装sqoop(代码片段)

1.sqoop的下载地址https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz2.上传sqoop3.解压sqoopsudotar-zxvfsqoop-1.4.7.bin__hadoop-2.6.0.tar.gz-C/usr/local/4.进入/usr/local目录c 查看详情

sqoop的安装与常用抽数操作(代码片段)

sqoop简介处理sqoop环境配置处理sqoop数据导入导出处理一：sqoop简介处理-1.Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可... 查看详情

etl工具sqoop(代码片段)

ETL工具sqoop文章目录ETL工具sqoopsqoop简介sqoop安装一、安装包的获取：二、上传安装包到服务器三、进行安装配置四、验证sqoopsqoop常用命令sqoop案例一、基础操作二、导入数据操作三、导出数据操作sqoop简介Sqoop(发音：skup)... 查看详情

sqoop安装及使用(代码片段)

SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情

hive/hbase/sqoop的安装教程(代码片段)

Hive/Hbase/Sqoop的安装教程 HIVEINSTALL1.下载安装包：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-2.3.3/2.上传到Linux指定目录，解压：mkdirhivemvapache-hive-2.3.3-bin.tar.gzhivetar-zxvfapache-hive-2.3.3-bin.tar 查看详情

大数据之非常详细sqoop安装和基本操作(代码片段)

大数据大数据之非常详细Sqoop安装和基本操作目录大数据Sqoop1、上传解压2、配置环境变量配置sqoop环境变量配置sqoop-env.sh3、加入mysql的jdbc驱动包4、验证验证是否安装成功验证启动5、导入mysql表数据到HDFS6、导出HDFS数据到mysql总结... 查看详情

sqoop使用入门(代码片段)

...供了两个版本，1.4.x的为sqoop1，1.99x的为sqoop2，前者因为安装简单，得到了大量使用，后者虽然引进了安全机制、webui，restapi等更加方便使用的特性，但是安装过程繁琐暂时不记录。以下是sqoop1的结构图，它只提供一个sqoop客户端... 查看详情

sqoop安装与简单实用(代码片段)

一，sqoop安装　　　　1.解压源码包2.配置环境变量3.在bin目录下的　　/bin/configsqoop注释掉check报错信息4.配置conf目录下　　/conf/sqoop-env.sh配置hadoop和hive家目录5.导入依赖的jar包至lib目录下　　mysql-connector-java-5.1.46-bin.jar/share/hadoop/... 查看详情

sqoop安装(代码片段)

...，用于在关系型数据库与HDFS之间进行数据转换。 sqoop安装步骤如下：1.下载，指定到目录下下载路径：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/选择版本：sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz安装在master主节点上。解压：gunzip-dsqoop-... 查看详情

七,sqoop安装(代码片段)

sqoop安装完毕后，还需要一些坑爹的配置，此处瑾纪录下过程以及遇到过的麻烦：1.下载sqoop并加mysql驱动包http://mirror.bit.edu.cn/apache/sqoop/,下载，如下载sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz，将mysql（或其他db驱动包）放到Sqoop目录下的lib。... 查看详情

四十centos安装sqoop（使用sqoop完成mysql和hdfs之间的数据互导）(代码片段)

环境准备：centos7centos可以上网hadoop，Hbase，Hive，Zookeeper正常运行环境搭建：版本：sqoop1.4.7-hadoop2.6.0一、Sqoop安装    1、直接在虚拟机浏览器下载sqoop1.4.7https://archive.apache.org/dist/sqoop/1 查看详情

chd-5.3.6集群上sqoop安装(代码片段)

Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递，可以将一个关系型数据库（例如：MySQL,Oracle,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型... 查看详情

sqoop学习之路(代码片段)

一、概述二、工作机制三、安装1、前提概述2、软件下载3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入1、从RDBMS导入到HDFS中2、把MySQL数据库中的表数据导入到Hive中3、把MySQL数据库中的表数据导入到hbase 正文... 查看详情

sqoop的安装和使用(代码片段)

...出的MapReduce中主要是对InputFormat和OutputFormat进行定制三、安装1、前提概述将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？HDFS，MapReduce，YARN，ZooKeeper，Hive，HBase，MySQL下载地址http://mirrors.hust.edu.cn/apache/sqoop（1）上传... 查看详情

sqoop快速上手(代码片段)

...Sqoop简介二、Sqoop下载三、Sqoop基础使用3.1前置软件3.2Sqoop安装3.3Sqoop基础使用1、查看Sqoop的帮助信息2、单独连接数据库3、导入数据4、导出数据四、详细参数补充**1常用命令列举****2命令&参数详解****2. 查看详情

1.5sqoop安装及基本使用(代码片段)

一、安装sqoop1、解压##解压[[email protected]cdh]#tarzxfsqoop-1.4.5-cdh5.3.6.tar.gz-C/opt/cdh-5.3.6/2、/opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh        &n 查看详情

sqoop的介绍以及部署安装(代码片段)

1.sqoop的介绍（1）介绍：  Sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。  导入数据：MySQL、Oracle导入数据到hadoop的hdfs、hive、HBASE等数据存储系统。  导出数据：从hadoop的文件... 查看详情