sqoop1.99.7安装及配置

OnTheWay_duking OnTheWay_duking     2022-08-13     804

关键词:

一  下载sqoop 1.99.7

  http://mirror.bit.edu.cn/apache/sqoop/1.99.7/

二 解压安装文件

  

三 配置Sqoop 环境变量

  

  

  

最后把mysql的驱动jar文件复制到extera这个目录下。

四 配置Hadoop代理访问

因为sqoop访问Hadoop的MapReduce使用的是代理的方式,必须在Hadoop中配置所接受的proxy用户和组。找到Hadoop的core-site.xml配置文件(本例是$HADOOP_HOME/etc/hadoop/core-site.xml):

 

<property>
  <name>hadoop.proxyuser.$SERVER_USER.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.$SERVER_USER.groups</name>
  <value>*</value>
</property>

五 Sqoop服务器配置
sqoop.properties文件配置比较多,这里按需要配置,我写下我配置的项,其他都使用默认值:

org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/hadoop/hadoop2.6/etc/hadoop  

org.apache.sqoop.security.authentication.type=SIMPLE  

  org.apache.sqoop.security.authentication.handler=org.apache.sqoop.security.authentication.SimpleAuthenticationHandler  

  org.apache.sqoop.security.authentication.anonymous=true 

(6)验证配置是否有效

使用bin中的sqoop2-tool工具进行验证:

 七 开启服务器

  

 

 

client_0004:unabletofindvalidkerberosticketcache(kinit)

背景今天在使用JavaAPI来连接sqoop1.99.7的时候,遇到了个错误。错误信息如下:0[main]WARNorg.apache.hadoop.util.NativeCodeLoader-Unabletoloadnative-hadooplibraryforyourplatform…usingbuiltin-javaclasseswhereapplicableExceptioninthrea 查看详情

cassandra入门指南--安装及配置

Cassandra入门指南--安装及配置cassandra安装配置  查看详情

influxdb安装及配置

这是我之前整理的InfluxDB安装及配置的笔记,这里记录下,也方便我以后查阅。 环境:CentOS6.5_x64InfluxDB版本:1.1.0一、安装1、二进制安装这里以centos6.5为例进行安装:wgethttps://dl.influxdata.com/influxdb/releases/influxdb-1.1.0.x86_64.rpmyum... 查看详情

elasticsearch5.5离线环境的完整安装及配置详情,附kibanaik插件配置及安装包下载路径

...对局域网环境(非公网环境),提供ElasticSearch5.5.2的完整安装及配置教程,包括ES的kibana插件、IK中文分词插件安装及配置。另外,文章最后提供安装配置环境涉及到的所有安装包及参考指南,供大家学习。环境准备安装环境 ... 查看详情

apache安装及配置

目录下载文件解压文件 配置选项​https://www.apachelounge.com/download/下载文件解压文件 配置选项   查看详情

jmeter下载安装及环境配置(包含jdk1.8安装及配置)

1、Jmeter运行需要java环境。首先需要安装JDK。安装时需要注意:jdk版本和jmeter版本匹配问题apache-jmeter5.2.1需要JDK1.8及以上版本安装JDK①JDK1.8下载链接:https://pan.baidu.com/s/16nfK6c4OTvMY0dSLoSgAHw提取码:pvrp下载后双击,... 查看详情

jdk8安装及配置

查看详情

ganglia安装及配置

Ganglia安装及配置root用户下yum安装所依赖的环境(实际生产环境都已安装)yum-yinstallapr-develapr-utilcheck-develcairo-develpango-devellibxml2-develrpmbuildglib2-develdbus-develfreetype-develfontconfig-develgcc-c++expat-develpython 查看详情

nodejs安装及配置

...ext,其中某些插件需要nodejs支持,折腾了记下,现在先把Nodejs安装和配置过程记录下来.  1.首先是下载安装包  进入官网https://nodejs.org/en/,根据自己情况下载安装包,这一步就不多说了  2.安装Nodejs  本人下载的安装包为 n... 查看详情

redis----配置及安装

1.redis下载       根据自己操作系统平台下载适合的文件包:https://github.com/MSOpenTech/redis2.redis安装       (1)解压,然后放到任意目录下。本例:D:ProgramFiles edis。 查看详情

vsftp安装及配置虚拟用户

Vsftp安装及配置虚拟用户  一、安装采用yum安装[[email protected]_64_122_centos vsftpd]# yum installvsftpd安装完成以后vsftpd的默认配置文件在/etc/vsftpd二、建立虚拟用户的过程1,创建虚拟用户文本文件,添加虚拟用户和... 查看详情

jdk安装及环境变量配置

一、jdk安装及基础配置,转自文章来源:http://www.cnblogs.com/smyhvae/p/3788534.html1.jdk下载及安装  下载网站:http://www.oracle.com/安装仅需根据提示进行即可2.配置环境变量单击“计算机-属性-高级系统设置”,单击“环境变量”... 查看详情

window安装imagick扩展及配置

 Window安装Imagick扩展及配置1、安装ImageMagick下载地址:http://www.imagemagick.org/download/binaries/,可下载最新版本,如 ,.exe格式安装软件。默认会安装Path路径,若没有,可自行配置。然后,CMD命令窗口->输入convert-version->... 查看详情

minicom串口工具安装及配置

Minicom串口工具安装及配置1.简述嵌入式开发多采用串口线连接电脑进行开发及调试。2安装及配置串口工具(以Minicom为例)Tiny4412开发板提供的有RS232电平的DB9公头接口,电脑自带串口采用的是RS232电平的DB9公头接口,可以用双DB9... 查看详情

windows系统下nodejs安装环境配置及删除npm全局配置

nodejs安装及设置NPM全局路径删除NPM全局路径配置 一、nodejs安装及设置NPM全局路径第一步:下载安装文件下载nodejs,官网:http://nodejs.org/download/,我这里下载的是node-v8.4.0-x64.msi,如下图 第二步:安装nodejs下载完成之后,... 查看详情

git---安装及配置

 git官网:https://git-scm.com安装:官网下载-》一路Next-》安装完成配置git:1.win+r进入windows命令行 2.注册:gitconfig--globaluser.name"yourname"gitconfig--globaluser.email"youremail"gitconfig--list //显示你的git配置  查看详情

01-02notepad++安装配置及使用

一、安装按照默认设置,下一步下一步即可。二、配置设置-->首选项-->新建  查看详情

nodejs安装及环境配置

1、下载安装点击这里下载根据自己电脑系统及位数选择,我这里选择windows64位.msi格式安装包.msi和.zip格式区别:.msi是Windowsinstaller开发出来的程序安装文件,它可以让你安装,修改,卸载你所安装的程序。说... 查看详情