sqoop新品来了

author author     2022-08-19     668

关键词:


Sqoop尽管稳定的应用于生产环境很多年,但是它自身存在的一些缺陷给实际操作带来了不便。Sqoop2便成为了研究使用的对象,那么Sqoop2有什么优势呢?

首先我们先来了解一下Sqoop的使用情况,使用Sqoop数据不会出现丢失,而且Sqoop功能强大,可以将数据导到HDFS,Hbase,Hive等各种连接器,但Sqoop是纯客户端的体系架构,这样就会带来很多的问题:

(1)客户端需要连接关系型数据库,这就需要每一个客户端都配置一个连接器。客户端越多,那么相应的每个客户端相应的配置也就越多,操作麻烦。

(2)需要用户的用户密码,可是Sqoop在执行操作的过程中,密码会明文的出现,操作不安全。

(3)很难在外部应用中集成命令行借口。

(4)跟JDBC语义紧密结合,无法访问NoSQL数据库

技术分享

而Sqoop2就是在原有Sqoop基础上增加了Server端,那么我们是不是可以把连接器统一配置到Server端,是不是可以把连接数据库的配置项统一维护起来,是不是可以把用户的密码统一的保存起来?当然,Sqoop2可以很好地解决这些问题。Sqoop2的优势:

 (1)    客户端只需要连接到Sqoop服务器

 (2)    管理员配置好DB连接

 (3)   最终用户不再需要处理数据库认证

 (4)   集中审计跟踪

 (5)   更好的资源管理

 (6)   可以通过CLI,REST API和Web UI访问Sqoop服务

技术分享

可是目前Sqoop2还在开发当中,它的方向是好的,但是它的一些功能和特性还没有出现在我们的实际应用中,比如Sqoop的一些功能在Sqoop2里面还不能够使用,像导数据到Hbase就不能使用,尽管Sqoop2跟Sqoop没有完全相等的特性,但是它已实现的特性被认为是稳定的。那么在实际使用中,Sqoop和Sqoop2如何选择使用呢?优先推荐使用Sqoop2,除非缺失某些特性再去选择使用Sqoop。

这就是我对于sqoop2的一些认知和理解,但是sqoop2毕竟还不是一款成熟的产品,也期待我们大家可以一起交流共享。我自平时喜欢关注微信公众号“大数据cn”“大数据时代学习中心”,里面有很多经典介绍,对于汲取各方面知识来讲还不错。大家在平时的自我提升中,也要多交流沟通,对于改善自己的知识架构来说也有着重要的促进意义。


网时|ipone又来了,你的肾养好了没?

ipone问世已经10年了,每一次的新品发布会都会让你的肾颤抖一番。2017年9月13日凌晨1点,在乔布斯剧院举行新品发布会,这次不仅带来了4.7英寸ipone8和5.5英寸ipone8plus,还有10周年的纪念5.8英寸的iponeX,三款手机均为双面玻璃镜面... 查看详情

多花5美元提速500%,树莓派新品zero2w发布

...核64位ARMCortex-A53处理器和512MB的SDRAM。根据官方信息,新品比原来的 查看详情

苹果m1芯片升级果然很炸场:性能暴涨功耗速降!但最香新品竟是无降噪airpods3...

杨净梦晨发自凹非寺量子位报道|公众号QbitAI库克他来了!带着强大到吓人的芯片又来了。这次出场的M1Pro和M1Max,简直让牙膏厂无地自容。来简单看下参数:内存带宽最高可达400GB/s,跟Ps5一个水准,是M1芯片的... 查看详情

苹果发布会又要来了

...上形式举行,预计将发布iPhone13、AppleWatch7、AirPods3等新品。说实话,我还是挺期待的。不过借今天这个话题,想在这说几点关于乔布斯的内容。也不是特别的内容&#x 查看详情

苹果发布会又要来了

...上形式举行,预计将发布iPhone13、AppleWatch7、AirPods3等新品。说实话,我还是挺期待的。不过借今天这个话题,想在这说几点关于乔布斯的内容。也不是特别的内容&#x 查看详情

新品gopro10开箱vlog

新品GoPro10开箱vlog 查看详情

textmaingradle新品(代码片段)

查看详情

ifunk翼初亮相,颠覆旧格局

2016年11月27日,广受期待的iFunk新品”翼”将最终亮相于淘宝众筹,可谓是”千呼万唤始出来”,许多粉丝也终于盼来了这一姗姗来迟的新款超极本。iFunk作为近几年来上升趋势较快的笔记本电脑品牌,今年却一直都没有大动作,新... 查看详情

[sqoop]sqoop

    查看详情

sqoop导入导出

sqoop产生背景 什么是sqoop sqoop的优势 sqoop1与sqoop2的比较  为什么选择sqoop1 sqoop在hadoop生态体系中的位置 sqoop基本架构 sqoopimport原理  sqoopimport详细流程 sqoopexport原理 sqoop安 查看详情

ifunk翼巧变革,定义新基准

...进入尾声,自古好事多磨,经历调整后iFunk官方也终于宣布新品iFunk翼在11月30日正式登录淘宝众筹,此次的超极本从项目启动到上线耗时18个月,秉承着“十年磨一剑”的态度,终于赢来了最终的亮相,不知道等待已久的粉丝是否能... 查看详情

[sqoop]sqoop命令

 官网文档:http://sqoop.apache.org/docs/1.99.7/user/CommandLineClient.html#delete-link-function 一、了解sqoop数据导入的几个重要概念(1)connector:sqoop2中预定了各种链接,这些链接是一些配置模板。#查看预定制的连接器sqoop:000>showconnec... 查看详情

[sqoop]sqoop使用

Sqoop的本质还是一个命令行工具,和HDFS,MapReduce相比,并没有什么高深的理论。我们可以通过sqoophelp命令来查看sqoop的命令选项,如下:16/11/1320:10:17INFOsqoop.Sqoop:RunningSqoopversion:1.4.6usage:sqoopCOMMAND[ARGS]Availablecommands: codegen & 查看详情

sqoop介绍

Sqoop介绍http://sqoop.apache.orghttp://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html 1.什么是Sqoop?将关系数据库(oracle,mysql,postgresql)数据与hadoop数据进行转换的工具2.Sqoop架构?sqoop架构非常简单,是hadoop生态系统最简单的框架sqoop1由clie 查看详情

如何从 Sqoop 选项生成 Sqoop 命令?

】如何从Sqoop选项生成Sqoop命令?【英文标题】:HowtogenerateSqoopcommandfromSqoopoptions?【发布时间】:2017-04-2012:21:01【问题描述】:我想生成Sqoop命令以从Mysql导入RDBMS表。我将sqoop命令存储在数据库中,然后使用此命令创建Oozie工作流... 查看详情

[sqoop]sqoop小试牛刀

 sqoop1.4.6 小试牛刀 sqoopimport参数 1.mysql导入到hdfs中./sqoopimport--connectjdbc:mysql://mysql:3306/part--usernameroot--password123456--tablebig_hdfs-m1--target-dir/sqoop/import/mysql/&nbs 查看详情

sqoop(代码片段)

sqoop1Sqoop简介2Sqoop原理3Sqoop安装3.1下载并解压3.2修改配置文件3.3拷贝JDBC驱动3.4验证Sqoop3.5测试Sqoop是否能够成功连接数据库4Sqoop的简单使用案例4.1导入数据4.1.1RDBMS到HDFS4.1.2RDBMS到Hive4.1.3RDBMS到Hbase4.2、导出数据4.2.1HIVE/HDFS到RDBMS4.3脚... 查看详情

sqoop(代码片段)

sqoop1Sqoop简介2Sqoop原理3Sqoop安装3.1下载并解压3.2修改配置文件3.3拷贝JDBC驱动3.4验证Sqoop3.5测试Sqoop是否能够成功连接数据库4Sqoop的简单使用案例4.1导入数据4.1.1RDBMS到HDFS4.1.2RDBMS到Hive4.1.3RDBMS到Hbase4.2、导出数据4.2.1HIVE/HDFS到RDBMS4.3脚... 查看详情