正文

大数据技术之datax(代码片段)

脚丫先生  脚丫先生  2022-12-09  138

关键词：

大家好，我是脚丫先生 (o^^o)

在日常大数据生产环境中，经常会有关系型数据库和关系型数据库，以及关系型和非关系型数据库数据的互相转换的需求，在需求选择的初期解决问题的方法----离线数据同步工具/平台，小伙伴们可先收藏后慢慢研究。

小伙伴们如果觉得文章不错，点赞、收藏、评论，分享走一起呀，记得给俺来个一键三连~~

好了，我们开始今天的正文。
在这里插入图片描述

文章目录

一、Datax概述
二、快速入门
总结

一、Datax概述

1.1 Datax介绍

DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。
在这里插入图片描述

1.2 DataX的设计

为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。
在这里插入图片描述

1.3 框架设计

DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。
在这里插入图片描述
DataX在设计之初就将同步理念抽象成框架+插件的形式.框架负责内部的序列化传输，缓冲，并发，转换等而核心技术问题，数据的采集(Reader)和落地(Writer)完全交给插件执行。

Read 数据采集模块，负责采集数据源的数据，将数据发送至FrameWork。
Writer 数据写入模块，负责不断的向FrameWork取数据，并将数据写入目的端。
FrameWork 用于连接reader和write，作为两者的数据传输通道，处理缓冲，流控，并发，转换等核心技术问题。

1.4 DataX插件体系

DataX目前已经有了比较全面的插件体系，主流的RDBMS数据库、NOSQL、大数据计算系统都已经接入，目前支持数据如下图，详情请点击：DataX数据源参考指南

1.5 运行原理

在这里插入图片描述

Job 完成单个数据同步的作业称之为job。DataX接受到一个Job之后，将启动一个进程来完成整个作业同步过程。负责数据清理，子任务划分，TaskGroup监控管理。
Task 由Job切分而来，是DataX作业的最小单元，每个Task负责一部分数据的同步工作。
Schedule 将Task组成TaskGroup，默认单个任务组的并发数量为5。
TaskGroup 负责启动Task。

二、快速入门

2.1 官方地址

下载地址：http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
源码地址：https://github.com/alibaba/DataX

2.2 前置要求

Linux
JDK(1.8以上，推荐1.8)
Python(推荐Python2.6.X)

2.3 安装

(1) 将下载好的datax.tar.gz上传到服务器的/home/soft文件夹下

[root@xxx soft]$ ls
datax.tar.gz

(2) 解压datax.tar.gz到/opt/module

[root@xxx soft]$ tar -zxvf datax.tar.gz -C /opt/module/

(3) 运行脚本检测

[root@xxx bin]$ cd /opt/module/datax/bin/
[root@xxxbin]$ python datax.py /opt/module/datax/job/job.json

在这里插入图片描述

总结

接下来继续以案例的形式分享，包括结构数据库，文件，时序，datax-web等。

大数据技术之dataxdatax之opentsdbwriter插件开发(代码片段)

大家好，我是脚丫先生(o^^o)大数据项目之数据集成模块，按照项目需求需要集成时序数据库OpenTSDB。于是着手进行调研，https://github.com/alibaba/DataX发现关于该时序数据库的插件只有单一的读插件，而阿里自研的TSDB... 查看详情

数据同步工具datax和dataweb知识手册，datax优化(代码片段)

大数据Hadoop之——数据同步工具DataX-掘金(juejin.cn)一、概述DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle、OceanBase、SqlServer、Postgre、HDFS、Hive、A... 查看详情

数据同步工具datax和dataweb知识手册，datax优化(代码片段)

数据处理大数据数据抽取etl工具dataxkettlesqoop(代码片段)

文章目录数据处理、大数据、数据抽取ETL工具DataX、Kettle、Sqoop1、DataX2、Kettle3、Sqoop4、DataX和Kettle的对比数据处理、大数据、数据抽取ETL工具DataX、Kettle、Sqoop1、DataX2、KettleKettle一个开源的ETL工具，后面改名为PentahoDataIntegration（... 查看详情

数据处理大数据数据抽取etl工具dataxkettlesqoop(代码片段)

大数据datax：datax安装及使用(代码片段)

...入门案例DataX自带了一个“streamreader”读入数据、“streamwriter”写出数据的自检脚本，可以运行此脚本检查DataX是否正常运行。文件路径为“YOUR_DATAX_HOME/job/job.json”，执行自检脚本命令为：pythonYOUR_DATAX_HO... 查看详情

数据处理大数据数据抽取etl工具dataxkettlesqoop(代码片段)

datax及datax-web(代码片段)

大数据Hadoop之——数据同步工具DataX数据采集工具-DataXdatax详细介绍及使用一、概述DataX是阿里云DataWorks数据集成的开源版本，在阿里巴巴集团内被广泛使用的离线数据同步工具/平台。DataX实现了包括MySQL、Oracle、OceanBase、SqlSe... 查看详情

数据准备之日志采集发展历程(代码片段)

前言大家都听说过大数据计算，可能大家没想过大数据计算的数据来源自哪里呢？是怎么被抽取到数据仓库的呢？实际上数仓/数据湖的数据主要来源于日志、业务数据、第三方接口、mysql和hbase等其它存储。大数据这... 查看详情

数据准备之日志采集发展历程(代码片段)

大数据技术之zookeeper(代码片段)

文章目录1Zookeeper入门1.1概述1.2Zookeeper特点1.3数据结构1.4应用场景2Zookeeper安装2.1本地模式安装部署2.2配置参数解读3Zookeeper实战（开发重点）3.1分布式安装部署3.2客户端命令行操作3.3API应用3.4监听服务器节点动态上下线案... 查看详情

大数据技术之zookeeper(代码片段)

大数据技术之hive(代码片段)

...质1.2Hive的优缺点1.2.1优点1.2.2缺点1.3Hive架构原理1.4Hive和数据库比较1.4.1查询语言1.4.2数据更新1.4.3执行延迟1.4.4数据规模第2章Hive常用命令第3章Hive数据类型3.1基本数据类型3.2类型转化第4章DDL数据定义4.1创建数据库4.2查询数据库4.2.... 查看详情

大数据技术之hadoop——zookeeper(代码片段)

目录一、认识Zookeeper1、概念2、特性3、集群角色二、数据模型1、数据存储结构2、Znode的类型3、Znode的属性三、Zookeeper的Watch机制1、Watch机制的认识2、Watch机制的通知状态和时间类型四、Zookeeper的选举机制1、选举机制的认识2、... 查看详情

一文带你了解大数据技术之hadoop(代码片段)

...概述5.3MapReduce架构概述5.4HDFS、YARN、MapReduce三者关系6.大数据技术生态体系7.推荐系统框架查看详情

大数据datax：hbase导入到mysql(代码片段)

...on3”表2、编写DataXjob配置文件3、执行DataX任务，将HDFS数据导入到mysql4、查看结果三、使用multiVersionFixedColumn模式案例1、在mysql中创建表hbase_result2、编写DataXjob配置文件3、执行DataX任务，将HBase数据导入到mysql4、查看结果HBa... 查看详情

大数据技术之flume(代码片段)

文章目录第1章Flume概述1.1Flume定义1.2Flume基础架构1.2.1Agent1.2.2Source1.2.3Sink1.2.4Channel1.2.5Event第2章Flume入门2.1案例12.1.1判断44444端口是否被占用2.1.2在flume目录下创建job文件夹并且创建flume文件。2.1.3使用netcat工具向本机的44444端口发送... 查看详情

大数据技术之hadoop（mapreduce）框架原理数据压缩(代码片段)

文章目录1MapReduce框架原理1.1InputFormat数据输入1.1.1切片与MapTask并行度决定机制1.1.2Job提交流程源码和切片源码详解1.1.3FileInputFormat切片机制1.1.4TextInputFormat1.1.5CombineTextInputFormat切片机制1.1.6CombineTextInputFormat案例实操1.2MapReduce工作流查看详情