关键词：
如何使用 Sqoop 导出 sql server 的数据
1.下载Sqoop 1.4.7
到清华镜像去下载sqoop-1.4.7就行了
2.连接sqlserver用的jar包
使用 sqoop 导出 sql server 的数据，需要使用对应的 sqljdbc.jar 包，这里用到的是 sqljdbc4.jar点我下载
3.安装sqoop
将下载好的压缩包解压到指定安装目录，如/opt
tar -zxvf sqoop-1.4.7_hadoop-bin.tar.gz -C /opt4.配置
修改安装目录下的sqoop-env-template.sh文件
vim /opt/sqoop-1.4.7/conf/sqoop-env-template.sh将配置好如下三个就行了
export HADOOP_COMMON_HOME=/opt/hadoop-2.7.7
export HADOOP_MAPRED_HOME=/opt/hadoop-2.7.7
export HIVE_HOME=/opt/hive-1.2.2然后将下载好的sqljdbc4.jar放到sqoop/lib下就行了
5.测试
尝试一下Scorecard数据库中的Autoscore表
sqoop import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect jdbc:sqlserver://10.62.160.116:3000/Scorecard --username scr --password Scorecard2017! --table AutoScore --target-dir /user/hive/warehouse/scorecard可以将上述中命令以以下方法完成
1.将密码放到/usr/local/password 中，并且将其上传到hdfs上
sh #这里使用单引号并且-n选项是必须的，不然会默认在password文件后追加些奇奇怪怪的字符 echo -n ‘Scorecard2017!‘ >> password hdfs dfs -put /usr/local/password /user/hive
2.将配置放到 config.im 文件中，注意配置项及配置值各单独占一行并且前后不能有空格，如下
import --driver com.microsoft.sqlserver.jdbc.SQLServerDriver --connect jdbc:sqlserver://10.62.160.116:3000;database=Scorecard --username scr --password-file /user/hive/password --table AutoScore --target-dir /user/hive/warehouse/scorecard
3.然后使用如下命令进行数据抽取
```sh
#先切换到config.im所在的目录下头
sqoop --options-file config.im
```4.查看结果，应该是没有问题的
sqoop安装及使用
简介： sqoop是一款用于hadoop和关系型数据库之间数据导入导出的工具。你可以通过sqoop把数据从数据库（比如mysql,oracle）导入到hdfs中；也可以把数据从hdfs中导出到关系型数据库中。通过将sqoop的操作命令转化为Hadoop的MapReduce... 查看详情
sqoop导入数据到mysql原理_sqoop的详细使用及原理
...reduce，所以sqoop依赖于hadoop,数据是并行导入的。3、sqoop的安装和配置1)安装：解压缩sqo 查看详情
sqoop安装及使用(代码片段)
SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情
sqoop安装及使用(代码片段)
SQOOP安装及使用文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数... 查看详情
1.11-1.12sqoop导入数据时两种增量方式导入及direct(代码片段)
一、增量数据的导入1、两种方式##query有一个唯一标识符，通常这个表都有一个字段，类似于插入时间createtimewherecreatetime=>20150924000000000andcreatetime<20150925000000000##sqoop参数Incrementalimportarguments:--check-column<column>Sourc 查看详情
sqoop 将数据导入hive
...使用--hive-import，但它不起作用代码：sqoopimport--connectjdbc:sqlserver://192.168.x.xxx:11xx--usernameuser--passworduser--tablex 查看详情
sqoop学习之路(代码片段)
一、概述二、工作机制三、安装1、前提概述2、软件下载3、安装步骤四、Sqoop的基本命令基本操作示例五、Sqoop的数据导入1、从RDBMS导入到HDFS中2、把MySQL数据库中的表数据导入到Hive中3、把MySQL数据库中的表数据导入到hbase 正文... 查看详情
利用sqoop完成数据导入导出(代码片段)
一.安装SQOOP后可使用如下命令列出mysql数据库中的所有数据库，与检验是否安装成功。 # sqooplist-databases--connectjdbc:mysql://localhost:3306/--usernameroot--password123456二.hive与mysql数据互导 一.使用命令范例:sqoopimport--connectjdbc:mysql 查看详情
sqoop的介绍以及部署安装(代码片段)
1.sqoop的介绍（1）介绍： Sqoop是Apache旗下的一款“hadoop和关系型数据库服务器之间传送数据”的工具。 导入数据：MySQL、Oracle导入数据到hadoop的hdfs、hive、HBASE等数据存储系统。 导出数据：从hadoop的文件... 查看详情
sqoop的安装和验证(代码片段)
... Kafka是一个开源的分布式消息订阅系统 一、Sqoop的安装 1.http://www-eu.apache.org/dist/sqoop/1.4.7/下载sqoop-1.4.7.bin__hadoop-2.6 查看详情
sqoop安装及基本使用
...级数据仓库、文档型系统、关系型数据库<--> sqoop安装： 1、tar-zxvfsqoop-1.4.6-cdh5.5.2.tar.gz 2、将mysql的驱动包mysql-connector-java-5.1.43.jar拷贝到sqoophome/lib下面 cpmysql-connector-java... 查看详情
将数据从 sql server 导入 HDFS 时出现 Sqoop 错误
】将数据从sqlserver导入HDFS时出现Sqoop错误【英文标题】：SqooperrorwhileimportingdatafromsqlservertoHDFS【发布时间】：2016-01-1718:52:16【问题描述】：使用sqoop将数据从sqlserver导入HDFS时出现以下错误：cloudera@cloudera-vm:/lib$sqooplist-databases--conne... 查看详情
sqoop笔记整理(代码片段)
...统数据库获取元数据信息(schema、table、field、fieldtype)，把导入功能转换为只有Map的Mapreduce作业，在mapreduce中有很多map，每个map读一片数据，进而并行的完成数据的拷贝。export原理获取导出表的schema 查看详情
sqoop的安装和使用(代码片段)
...出的MapReduce中主要是对InputFormat和OutputFormat进行定制三、安装1、前提概述将来sqoop在使用的时候有可能会跟那些系统或者组件打交道？HDFS，MapReduce，YARN，ZooKeeper，Hive，HBase，MySQL下载地址http://mirrors.hust.edu.cn/apache/sqoop（1）上传... 查看详情
头歌sqoop数据导入-详解(代码片段)
...ort)的基本参数。2、配置环境。注意：本关实训Sqoop的安装与配置建立在Hadoop、Hive、MySQL已安装配置好的情况下。Sqoop的基本参数Sqoop能够让Hadoop上的HDFS和Hive跟关系型数据库之间进行数据导入与导出，多亏了import和export这... 查看详情
sqoop使用入门(代码片段)
...供了两个版本，1.4.x的为sqoop1，1.99x的为sqoop2，前者因为安装简单，得到了大量使用，后者虽然引进了安全机制、webui，restapi等更加方便使用的特性，但是安装过程繁琐暂时不记录。以下是sqoop1的结构图，它只提供一个sqoop客户端... 查看详情
sqoop简单回顾总结(代码片段)
...底层调用mapreduce，换言之使用sqoop必须得开yarn。3Sqoop安装 查看详情
sqoop配置安装以及导入
安装sqoop的前提是已经具备java和hadoop的环境1.上传并解压 (要导mysql的数据)得加入mysql的jdbc驱动包接下来验证启动 Sqoop的数据导入“导入工具”导入单个表从RDBMS到HDFS。表中的每一行被视为HDFS的记录。所有记录都... 查看详情