关键词：
一、安装sqoop
1、解压
##解压
[[email protected] cdh]# tar zxf sqoop-1.4.5-cdh5.3.6.tar.gz -C /opt/cdh-5.3.6/2、/opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/conf/sqoop-env.sh //先重命名
#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6
#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/opt/cdh-5.3.6/hadoop-2.5.0-cdh5.3.6
#set the path to where bin/hbase is available
#export HBASE_HOME=
#Set the path to where bin/hive is available
export HIVE_HOME=/opt/cdh-5.3.6/hive-0.13.1-cdh5.3.63、查看命令帮助
[[email protected] sqoop-1.4.5-cdh5.3.6]# bin/sqoop help
usage: sqoop COMMAND [ARGS]
Available commands:
codegen Generate code to interact with database records
create-hive-table Import a table definition into Hive
eval Evaluate a SQL statement and display the results
export Export an HDFS directory to a database table
help List available commands
import Import a table from a database to HDFS
import-all-tables Import tables from a database to HDFS
import-mainframe Import datasets from a mainframe server to HDFS
job Work with saved jobs
list-databases List available databases on a server
list-tables List available tables in a database
merge Merge results of incremental imports
metastore Run a standalone Sqoop metastore
version Display version information
See ‘sqoop help COMMAND‘ for information on a specific command.4、拷贝mysql驱动，这里一mysql为例；
[[email protected] sqoop-1.4.5-cdh5.3.6]# cp /opt/softwares/mysql-libs/mysql-connector-java-5.1.27/mysql-connector-java-5.1.27-bin.jar ./lib/
5、sqoop使用要点
二、使用
[[email protected] sqoop-1.4.5-cdh5.3.6]# bin/sqoop list-databases > --connect jdbc:mysql://hadoop-senior.ibeifeng.com:3306 > --username root > --password 123456
Warning: /opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/bin/../../hbase does not exist! HBase imports will fail.
Please set $HBASE_HOME to the root of your HBase installation.
Warning: /opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/bin/../../hcatalog does not exist! HCatalog jobs will fail.
Please set $HCAT_HOME to the root of your HCatalog installation.
Warning: /opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/bin/../../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
Warning: /opt/cdh-5.3.6/sqoop-1.4.5-cdh5.3.6/bin/../../zookeeper does not exist! Accumulo imports will fail.
Please set $ZOOKEEPER_HOME to the root of your Zookeeper installation.
19/05/06 15:32:51 INFO sqoop.Sqoop: Running Sqoop version: 1.4.5-cdh5.3.6
19/05/06 15:32:51 WARN tool.BaseSqoopTool: Setting your password on the command-line is insecure. Consider using -P instead.
19/05/06 15:32:51 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
information_schema
metadata
metastore
mysql
performance_schema
testsqoop安装及导入sqlserver数据(代码片段)
...用对应的sqljdbc.jar包，这里用到的是sqljdbc4.jar点我下载3.安装sqoop将下载好的压缩包解压到指定安装目录，如/opttar-zxvfsqoop-1.4.7_hadoop 查看详情
sqoop安装及使用(代码片段)
SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情
sqoop安装及使用(代码片段)
SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情
大数据之非常详细sqoop安装和基本操作(代码片段)
大数据大数据之非常详细Sqoop安装和基本操作目录大数据Sqoop1、上传解压2、配置环境变量配置sqoop环境变量配置sqoop-env.sh3、加入mysql的jdbc驱动包4、验证验证是否安装成功验证启动5、导入mysql表数据到HDFS6、导出HDFS数据到mysql总结... 查看详情
sqoop安装及基本使用
...级数据仓库、文档型系统、关系型数据库<--> sqoop安装： 1、tar-zxvfsqoop-1.4.6-cdh5.5.2.tar.gz 2、将mysql的驱动包mysql-connector-java-5.1.43.jar拷贝到sqoophome/lib下面 cpmysql-connector-java... 查看详情
sqoop使用入门(代码片段)
...供了两个版本，1.4.x的为sqoop1，1.99x的为sqoop2，前者因为安装简单，得到了大量使用，后者虽然引进了安全机制、webui，restapi等更加方便使用的特性，但是安装过程繁琐暂时不记录。以下是sqoop1的结构图，它只提供一个sqoop客户端... 查看详情
docker的安装及基本使用(代码片段)
1.docker的安装，根据官方文档安装（使用centos）：https://docs.docker.com/engine/install/centos/ 其中配置下载docker，使用阿里云下载（国外太慢）sudoyum-config-manager--add-repohttp://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo 查看详情
kafka的安装及基本使用(代码片段)
1、安装zookeeper#解压缩[[email protected]zookeeper]#tar-zxvfzookeeper-3.4.12.tar.gz[[email protected]zookeeper]#mvzookeeper-3.4.12zk_simple#复制zoo_simple.cfg到zoo.cfg[[email protected]zookeeper 查看详情
sqoop学习之路(代码片段)
一、概述二、工作机制三、安装1、前提概述2、软件下载3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入1、从RDBMS导入到HDFS中2、把MySQL数据库中的表数据导入到Hive中3、把MySQL数据库中的表数据导入到hbase 正文... 查看详情
redis----安装及基本使用(代码片段)
一、基本认识Redis(REmoteDIctionaryServer)是一种非关系型数据库，像类似的Nosql还有MongoDB，Hbase等；它由C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value类型的数据库，它还支持包括string(字符串)、list(链... 查看详情
docker自动化安装及基本使用(代码片段)
本文docker安装采用官方便携脚本进行自动化安装和apt-get安装两种方法推荐使用第二种方法，下载较快自动化安装docker使用便携脚本在CentOS7安装docker其他发行版linux安装方法见官方文档：https://docs.docker.com/engine/install/centos/... 查看详情
mongodb数据库的安装部署及基本使用(代码片段)
Mongodb数据库的安装部署及基本使用一、Mongodb数据库介绍1.Mongodb简介2.Mongodb适用场景3.MongoDB特性二、检查本地系统环境1.检查系统版本2.检查yum仓库三、Mongodb的安装1.配置Mongodb的yum源2.安装Mongodb3.修改绑定IP4.启动Mongodb服务四、检... 查看详情
sqoop安装及使用
简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。通过将sqoop的操作命令转化为Hadoop的MapReduce... 查看详情
windows环境下nvm的安装及基本使用(代码片段)
...nmanagement）是node版本管理工具，其主要功能是可以在本地安装多个版本的nodejs，且可切换版本。如果读者使用的是macOS或linux可以参考nvm-sh/nvm项目，如果是windows的话则参考coreybutler/nvm-windows项目。由于笔者本人使用windows，所以这... 查看详情
了解katalon的安装及基本使用（formac）(代码片段)
一、整体了解：2018top6的自动化测试工具（网上了解）：1. Selenium2. KatalonStudio3. UFT4. Watir5. IBMRationalFunctionalTester6. TestComplete更多参考：https://zhuanlan.zhihu.com/p/30605918二、需求：需 查看详情
四十centos安装sqoop（使用sqoop完成mysql和hdfs之间的数据互导）(代码片段)
环境准备：centos7centos可以上网hadoop，Hbase，Hive，Zookeeper正常运行环境搭建：版本：sqoop1.4.7-hadoop2.6.0一、Sqoop安装 1、直接在虚拟机浏览器下载sqoop1.4.7https://archive.apache.org/dist/sqoop/1 查看详情
pillow基本使用及验证码生成(代码片段)
pillow基本使用:1.安装pillow模块pipinstallpillow2.pillow模块的基本使用1.创建图片fromPILimportImage?#定义使用Image类实例化一个长为400px,宽为400px,基于RGB的(255,255,255)颜色的图片img1=Image.new(mode="RGB",size=(400,400),color=(255,255,255))??#把 查看详情
sqoop的安装和使用(代码片段)
...出的MapReduce中主要是对InputFormat和OutputFormat进行定制三、安装1、前提概述将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？HDFS，MapReduce，YARN，ZooKeeper，Hive，HBase，MySQL下载地址http://mirrors.hust.edu.cn/apache/sqoop（1）上传... 查看详情