正文

猿创征文|国产数据库实战之使用docker部署tidb集群(代码片段)

江湖有缘  江湖有缘  2023-03-17  580

关键词：

猿创征文 | 国产数据库实战之使用Docker部署TiDB集群

一、TiDB介绍
二、检查本地环境
三、下载tidb-docker-compose
四、访问TiDB集群
五、创建测试数据库
- 1.查看数据库列表
- 2.测试创建数据库
六、访问TiDB集群的Grafana 监控
- 1.登录Grafana首页
- 2.查看TiDB集群状态
七、集群数据可视化查看
八、访问Spark Web UI
九、使用phpmyadmin查看TiDB版本

一、TiDB介绍

1.TiDB简介

TiDB 是 PingCAP 公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的融合型分布式数据库产品。

2.TiDB特性

一键水平扩容或者缩容

得益于 TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者缩容过程中对应用运维人员透明。

金融级高可用

数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能提交，确保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等策略满足不同容灾级别的要求。

实时 HTAP

提供行存储引擎 TiKV、列存储引擎 TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的机器，解决 HTAP 资源隔离的问题。

云原生的分布式数据库

专为云而设计的分布式数据库，通过 TiDB Operator 可在公有云、私有云、混合云中实现部署工具化、自动化。

兼容 MySQL 5.7 协议和 MySQL 生态

兼容 MySQL 5.7 协议、MySQL 常用的功能、MySQL 生态，应用无需或者修改少量代码即可从 MySQL 迁移到 TiDB。提供丰富的数据迁移工具帮助应用便捷完成数据迁移。

3.TiDB集群整体架构

4.TiDB集群各部分介绍

TiDB Server：

SQL 层，对外暴露 MySQL 协议的连接 endpoint，负责接受客户端的连接，执行 SQL 解析和优化，最终生成分布式执行计划。TiDB 层本身是无状态的，实践中可以启动多个 TiDB 实例，通过负载均衡组件（如 LVS、HAProxy 或 F5）对外提供统一的接入地址，客户端的连接可以均匀地分摊在多个 TiDB 实例上以达到负载均衡的效果。TiDB Server 本身并不存储数据，只是解析 SQL，将实际的数据读取请求转发给底层的存储节点 TiKV（或 TiFlash）。

PD (Placement Driver) Server：

整个 TiDB 集群的元信息管理模块，负责存储每个 TiKV 节点实时的数据分布情况和集群的整体拓扑结构，提供 TiDB Dashboard 管控界面，并为分布式事务分配事务 ID。PD 不仅存储元信息，同时还会根据 TiKV 节点实时上报的数据分布状态，下发数据调度命令给具体的 TiKV 节点，可以说是整个集群的“大脑”。此外，PD 本身也是由至少 3 个节点构成，拥有高可用的能力。建议部署奇数个 PD 节点。

存储节点

1.TiKV Server：负责存储数据，从外部看 TiKV 是一个分布式的提供事务的 Key-Value 存储引擎。存储数据的基本单位是 Region，每个 Region 负责存储一个 Key Range（从 StartKey 到 EndKey 的左闭右开区间）的数据，每个 TiKV 节点会负责多个 Region。TiKV 的 API 在 KV 键值对层面提供对分布式事务的原生支持，默认提供了 SI (Snapshot Isolation) 的隔离级别，这也是 TiDB 在 SQL 层面支持分布式事务的核心。TiDB 的 SQL 层做完 SQL 解析后，会将 SQL 的执行计划转换为对 TiKV API 的实际调用。所以，数据都存储在 TiKV 中。另外，TiKV 中的数据都会自动维护多副本（默认为三副本），天然支持高可用和自动故障转移。
2.TiFlash：TiFlash 是一类特殊的存储节点。和普通 TiKV 节点不一样的是，在 TiFlash 内部，数据是以列式的形式进行存储，主要的功能是为分析型的场景加速。

5.本次TiDB集群组件

本次TiDB集群默认部署组件：3 个 PD，3 个 TiKV，1 个 TiDB 和监控组件 Prometheus，Pushgateway，Grafana 以及 tidb-vision等。

二、检查本地环境

1.检查docker状态

[root@server ~]# systemctl status docker
● docker.service - Docker Application Container Engine
   Loaded: loaded (/usr/lib/systemd/system/docker.service; enabled; vendor preset: disabled)
   Active: active (running) since Mon 2022-10-10 22:55:04 CST; 5min ago
     Docs: https://docs.docker.com
 Main PID: 10218 (dockerd)
    Tasks: 16
   Memory: 115.0M
   CGroup: /system.slice/docker.service
           └─10218 /usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock

Oct 10 22:54:52 192.168.3.240 dockerd[10218]: time="2022-10-10T22:54:52.997828575+08:00" level=info msg="ccResolverWrapper: sending update to cc: ...dule=grpc
Oct 10 22:54:52 192.168.3.240 dockerd[10218]: time="2022-10-10T22:54:52.997860425+08:00" level=info msg="ClientConn switching balancer to \\"pick_f...dule=grpc
Oct 10 22:54:54 192.168.3.240 dockerd[10218]: time="2022-10-10T22:54:54.645100072+08:00" level=info msg="[graphdriver] using prior storage driver: overlay2"
Oct 10 22:54:59 192.168.3.240 dockerd[10218]: time="2022-10-10T22:54:59.834619854+08:00" level=info msg="Loading containers: start."
Oct 10 22:55:02 192.168.3.240 dockerd[10218]: time="2022-10-10T22:55:02.643646144+08:00" level=info msg="Default bridge (docker0) is assigned with... address"
Oct 10 22:55:02 192.168.3.240 dockerd[10218]: time="2022-10-10T22:55:02.914993511+08:00" level=info msg="Loading containers: done."
Oct 10 22:55:03 192.168.3.240 dockerd[10218]: time="2022-10-10T22:55:03.832847548+08:00" level=info msg="Docker daemon" commit=e42327a graphdriver...=20.10.18
Oct 10 22:55:03 192.168.3.240 dockerd[10218]: time="2022-10-10T22:55:03.832929345+08:00" level=info msg="Daemon has completed initialization"
Oct 10 22:55:04 192.168.3.240 systemd[1]: Started Docker Application Container Engine.
Oct 10 22:55:04 192.168.3.240 dockerd[10218]: time="2022-10-10T22:55:04.289729613+08:00" level=info msg="API listen on /var/run/docker.sock"
Hint: Some lines were ellipsized, use -l to show in full.

2.检查docker版本

[root@server ~]# docker version
Client: Docker Engine - Community
 Version:           20.10.18
 API version:       1.41
 Go version:        go1.18.6
 Git commit:        b40c2f6
 Built:             Thu Sep  8 23:14:08 2022
 OS/Arch:           linux/amd64
 Context:           default
 Experimental:      true

Server: Docker Engine - Community
 Engine:
  Version:          20.10.18
  API version:      1.41 (minimum version 1.12)
  Go version:       go1.18.6
  Git commit:       e42327a
  Built:            Thu Sep  8 23:12:21 2022
  OS/Arch:          linux/amd64
  Experimental:     false
 containerd:
  Version:          1.6.8
  GitCommit:        9cd3357b7fd7218e4aec3eae239db1f68a5a6ec6
 runc:
  Version:          1.1.4
  GitCommit:        v1.1.4-0-g5fd4c4d
 docker-init:
  Version:          0.19.0
  GitCommit:        de40ad0
[root@192 ~]#

3.检查docker-compose版本

[root@server ~]# docker-compose version
docker-compose version 1.25.0, build 0a186604
docker-py version: 4.1.0
CPython version: 3.7.4
OpenSSL version: OpenSSL 1.1.0l  10 Sep 2019

三、下载tidb-docker-compose

1.下载tidb-docker-compose

git clone https://github.com/pingcap/tidb-docker-compose.git

2.检查文件

[root@server tidb-docker-compose-master]# pwd
/data/TiDB/tidb-docker-compose-master
[root@server tidb-docker-compose-master]# ll
total 64
drwxr-xr-x 3 root root    60 Jul 11 14:28 compose
drwxr-xr-x 4 root root  4096 Jul 11 14:28 config
drwxr-xr-x 3 root root    59 Jul 11 14:28 dashboard-installer
drwxr-xr-x 3 root root    19 Jul 11 14:28 docker
-rw-r--r-- 1 root root 11343 Jul 11 14:28 docker-compose-binlog.yml
-rw-r--r-- 1 root root   292 Jul 11 14:28 docker-compose-test.yml
-rw-r--r-- 1 root root  1566 Jul 11 14:28 docker-compose-tiflash-nightly.yml
-rw-r--r-- 1 root root  5445 Jul 11 14:28 docker-compose.yml
-rw-r--r-- 1 root root  4736 Jul 11 14:28 docker-swarm.yml
-rw-r--r-- 1 root root 11294 Jul 11 14:28 LICENSE
drwxr-xr-x 2 root root    24 Jul 11 14:28 pd
-rw-r--r-- 1 root root 11443 Jul 11 14:28 README.md
drwxr-xr-x 2 root root    24 Jul 11 14:28 tidb
drwxr-xr-x 2 root root    24 Jul 11 14:28 tidb-binlog
drwxr-xr-x 2 root root    24 Jul 11 14:28 tidb-vision
drwxr-xr-x 2 root root    24 Jul 11 14:28 tikv
drwxr-xr-x 6 root root    95 Jul 11 14:28 tispark
drwxr-xr-x 2 root root    29 Jul 11 14:28 tools

3.查看docker-compose.yml文件

[root@server tidb-docker-compose-master]# cat docker-compose.yml 
version: '2.1'

services:
  pd0:
    image: pingcap/pd:latest
    ports:
      - "2379"
    volumes:
      - ./config/pd.toml:/pd.toml:ro
      - ./data:/data
      - ./logs:/logs
    command:
      - --name=pd0
      - --client-urls=http://0.0.0.0:2379
      - --peer-urls=http://0.0.0.0:2380
      - --advertise-client-urls=http://pd0:2379
      - --advertise-peer-urls=http://pd0:2380
      - --initial-cluster=pd0=http://pd0:2380,pd1=http://pd1:2380,pd2=http://pd2:2380
      - --data-dir=/data/pd0
      - --config=/pd.toml
      - --log-file=/logs/pd0.log
    restart: on-failure
  pd1:
    image: pingcap/pd:latest
    ports:
      - "2379"
    volumes:
      - ./config/pd.toml:/pd.toml:ro
      - ./data:/data
      - ./logs:/logs
    command:
      - --name=pd1
      - --client-urls=http://0.0.0.0:2379
      - --peer-urls=http://0.0.0.0:2380
      - --advertise-client-urls=http://pd1:2379
      - --advertise-peer-urls=http://pd1:2380
      - --initial-cluster=pd0=http://pd0:2380,pd1=http://pd1:2380,pd2=http://pd2:2380
      - --data-dir=/data/pd1
      - --config=/pd.toml
      - --log-file=/logs/pd1.log
    restart: on-failure
  pd2:
    image: pingcap/pd:latest
    ports:
      - "2379"
    volumes:
      - ./config/pd.toml:/pd.toml:ro
      - ./data:/data
      - ./logs:/logs
    command:
      - --name=pd2
      - --client-urls=http://0.0.0.0:2379
      - --peer-urls=http://0.0.0.0:2380
      - --advertise-client-urls=http://pd2:2379
      - --advertise-peer-urls=http://pd2:2380
      - --initial-cluster=pd0=http://pd0:2380,pd1=http://pd1:2380,pd2=http://pd2:2380
      - --data-dir=/data/pd2
      - --config=/pd.toml
      - --log-file=/logs/pd2.log
    restart: on-failure
  tikv0:
    image: pingcap/tikv:latest
    volumes:
      - ./config/tikv.toml:/tikv.toml:ro
      - ./data:/data
      - ./logs:/logs
    command:
      - --addr=0.0.0.0:20160
      - --advertise-addr=tikv0:20160
      - --data-dir=/data/tikv0
      - --pd=pd0:2379,pd1:2379,pd2:2379
      - --config=/tikv.toml
      - --log-file=/logs/tikv0.log
    depends_on:
      - "pd0"
      - "pd1"
      - "pd2"
    restart: on-failure
  tikv1:
    image: pingcap/tikv:latest
    volumes:
      - ./config/tikv.toml:/tikv.toml:ro
      - ./data:/data
      - ./logs:/logs
    command:
      - --addr=0.0.0.0:20160
      - --advertise-addr=tikv1:20160
      - --data-dir=/data/tikv1
      - --pd=pd0:2379,pd1:2379,pd2:2379
      - --config=/tikv.toml
      - --log-file=/logs/tikv1.log
    depends_on:
      - "pd0"
      - "pd1"
      - "pd2"
    restart: on-failure
  tikv2:
    image: pingcap/tikv:latest
    volumes:
      - ./config/tikv.toml:/tikv.toml:ro
      - ./data:/data
      - ./logs:/logs
    command:
      - --addr=0.0.0.0:20160
      - --advertise-addr=tikv2:20160
      - --data-dir=/data/tikv2
      - --pd=pd0:2379,pd1:2379,pd2:2379
      - --config=/tikv.toml
      - --log-file=/logs/tikv2.log
    depends_on:
      - "pd0"
      - "pd1"
      - "pd2"
    restart: on-failure

  tidb:
    image: pingcap/tidb:latest
    ports:
      - "4000:4000"
      - "10080:10080"
    volumes:
      - ./config/tidb.toml:/tidb.toml:ro
      - ./logs:/logs
    command:
      - --store=tikv
      - --path=pd0:2379,pd1:2379,pd2:2379
      - --config=/tidb.toml
      - --log-file=/logs/tidb.log
      - --advertise-address=tidb
    depends_on:
      - "tikv0"
      - "tikv1"
      - "tikv2"
    restart: on-failure
  tispark-master:
    image: pingcap/tispark:v2.1.1
    command:
      - /opt/spark/sbin/start-master.sh
    volumes:
      - ./config/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
    environment:
      SPARK_MASTER_PORT: 7077
      SPARK_MASTER_WEBUI_PORT: 8080
    ports:
      - "7077:7077"
      - "8080:8080"
    depends_on:
      - "tikv0"
      - "tikv1"
      - "tikv2"
    restart: on-failure
  tispark-slave0:
    image: pingcap/tispark:v2.1.1
    command:
      - /opt/spark/sbin/start-slave.sh
      - spark://tispark-master:7077
    volumes:
      - ./config/spark-defaults.conf:/opt/spark/conf/spark-defaults.conf:ro
    environment:
      SPARK_WORKER_WEBUI_PORT: 38081
    ports:
      - "38081:38081"
    depends_on:
      - tispark-master
    restart: on-failure

  tidb-vision:
    image: pingcap/tidb-vision:latest
    environment:
      PD_ENDPOINT: pd0:2379
    ports:
      - "8010:8010"
    restart: on-failure

  # monitors
  pushgateway:
    image: prom/pushgateway:v0.3.1
    command:
      - --log.level=error
    restart: on-failure
  prometheus:
    user: root
    image: prom/prometheus:v2.2.1
    command:
      - --log.level=error
      - --storage.tsdb.path=/data/prometheus
      - --config.file=/etc/prometheus/prometheus.yml
    ports:
      - "9090:9090"
    volumes:
      - ./config/prometheus.yml:/etc/prometheus/prometheus.yml:ro
      - ./config/pd.rules.yml:/etc/prometheus/pd.rules.yml:ro
      - ./config/tikv.rules.yml:/etc/prometheus/tikv.rules.yml:ro
      - ./config/tidb.rules.yml:/etc/prometheus/tidb.rules.yml:ro
      - ./data:/data
    restart猿创征文|国产数据库实战之使用docker部署tidb集群(代码片段)
猿创征文|国产数据库实战之使用Docker部署TiDB集群一、TiDB介绍1.TiDB简介2.TiDB特性3.TiDB集群整体架构4.TiDB集群各部分介绍5.本次TiDB集群组件二、检查本地环境1.检查docker状态2.检查docker版本3.检查docker-compose版本三、下载tidb-docker-comp...  查看详情  
                
猿创征文|国产数据库实战之使用docker部署tidb集群(代码片段)
猿创征文|国产数据库实战之使用Docker部署TiDB集群一、TiDB介绍1.TiDB简介2.TiDB特性3.TiDB集群整体架构4.TiDB集群各部分介绍5.本次TiDB集群组件二、检查本地环境1.检查docker状态2.检查docker版本3.检查docker-compose版本三、下载tidb-docker-comp...  查看详情  
                
猿创征文|国产数据库实战使用docker部署polardb-x云原生分布式开源数据库(代码片段)
猿创征文|【国产数据库实战】使用docker部署PolarDB-X云原生分布式开源数据库一、PolarDB-X介绍1.PolarDB-X简介2.PolarDB-X特点二、检查docker版本三、检查docker配置信息四、下载PolarDB-X镜像五、部署PolarDB-X1.创建PolarDB-X容器2.检查PolarDB-X容...  查看详情  
                
猿创征文|国产数据库之使用pxd在docker环境下部署polardb-x集群(代码片段)
猿创征文|国产数据库之使用PXD在Docker环境下部署PolarDB-X集群一、PolarDB-X介绍1.PolarDB-X简介2.PolarDB-X特点二、PolarDB-X的产品架构1.产品架构图2.PolarDB-X架构介绍三、环境规划四、Docker安装1.安装系统工具2.配置docker的yum仓库源3.安装doc...  查看详情  
                
猿创征文|国产数据实战之docker部署mywebsql数据库管理工具(代码片段)
猿创征文|国产数据实战之docker部署MyWebSQL数据库管理工具一、MyWebSQL介绍1.MyWebSQL简介2.MyWebSQL特点二、检查本地环境1.检查docker状态2.检查docker-compose版本三、下载MyWebSQL镜像四、部署MyWebSQL工具1.编辑docker-compose.yaml2.创建MyWebSQL容器...  查看详情  
                
猿创征文|使用docker部署opengauss国产数据库(代码片段)
猿创征文|使用Docker部署openGauss国产数据库一、openGauss介绍1.openGauss简介2.openGauss产品定位3.支持的架构和操作系统版本二、检查宿主机环境1.检查系统版本2.检查Docker状态三、下载openGauss镜像1.进入docker官方镜像仓库2.openGauss镜像介...  查看详情  
                
猿创征文|国产数据库实战之tidb数据库快速入门(代码片段)
猿创征文|国产数据库实战之TiDB数据库快速入门一、系统检查1.检查系统版本2.查看本地IP地址3.TiDB集群介绍二、快速部署本地测试集群1.安装TiUP工具2.声明全局环境变量3.快速部署TiDB集群三、连接TiDB数据库1.新开一个session以访问T...  查看详情  
                
猿创征文|国产数据库之opengauss的单机主备部署及快速入门(代码片段)
猿创征文|国产数据库之openGauss的单机主备部署及快速入门一、openGauss介绍1.openGauss简介2.openGauss特点3.openGauss的逻辑架构图二、环境检查1.节点规划2.操作系统版本三、安装前环境配置1.检查admin普通用户2.给安装目录授权3.配置/etc/...  查看详情  
                
猿创征文|国产数据库之在k8s环境下部署radondbmysql集群(代码片段)
猿创征文|国产数据库之在k8s环境下部署RadonDBMySQL集群一、RadonDBMySQL介绍1.RadonDBMySQL简介2.RadonDBMySQL的应用场景3.RadonDBMySQL核心功能4.RadonDBMySQL架构图二、检查本地k8s环境1.检查k8s节点状态2.检查helm版本三、添加helm仓库1.添加helm仓库...  查看详情  
                
猿创征文｜云原生|24docker运行数据库实战之mongodb(代码片段)
作者简介：🏅云计算领域优质创作者🏅新星计划第三季python赛道第一名🏅 阿里云ACE认证高级工程师🏅✒️个人主页：小鹏linux💊个人社区：小鹏linux（个人社区）欢迎您的加入！目录...  查看详情  
                
猿创征文｜云原生之docker使用docker部署flare个人导航网页(代码片段)
猿创征文｜【云原生之Docker】使用Docker部署Flare个人导航网页一、卷首语二、Flare介绍1.Flare介绍2.Flare的硬件配置要求3.Flare的特点三、检查本地docker环境1.检查docker服务状态2.检查docker配置信息3.开启IPv4forwarding四、安装docker-com...  查看详情  
                
猿创征文｜云原生|25docker运行数据库实战之redis(代码片段)
作者简介：🏅云计算领域优质创作者🏅新星计划第三季python赛道第一名🏅 阿里云ACE认证高级工程师🏅✒️个人主页：小鹏linux💊个人社区：小鹏linux（个人社区）欢迎您的加入！为大...  查看详情  
                
猿创征文|云原生领域之容器日常使用工具推荐(代码片段)
猿创征文|云原生领域之容器日常使用工具推荐一、云原生介绍1.云原生定义2.容器技术简介3.云原生相关工具导航二、Docker1.Docker介绍①Docker简介②Docker特点③Docker的三个基本概念④Docker的架构图2.Docker的优势3.Docker的使用效果①...  查看详情  
                
猿创征文｜破世界纪录的国产数据库-oceanbase
...;不足之处请大家指正。猿创征文｜破世界纪录的国产数据库-OceanBase本文关键字：VLDB、国产、数据库、OceanBase、金融文章目录猿创征文｜破世界纪录的国产数据库-OceanBase一、7.07亿tpmC1.TPMC2.VLDB二、OceanBase1.数据库介绍2...  查看详情  
                
猿创征文｜使用springboot整合国产数据库连接池druid(代码片段)
1前言Java程序很大一部分要操作数据库，为了提高性能操作数据库的时候，又不得不使用数据库连接池。说到数据库连接池大家可能首先会想到C3P0，DBCP等相关。今天给大家介绍的是由国产(阿里)的一种连接池技术࿱...  查看详情  
                
猿创征文｜分布式国产数据库tidb从入门到实战(代码片段)
写在前面本文讲解的是目前欢迎程度最高分布式国产数据库TiDB，详细讲解了TiDB的由来、架构、SQL基本操作、SpringBoot整合TiDB等内容。目录写在前面一、概述二、与MySQL兼容性对比三、安装使用四、SQL基本操作4.1、库操作4.2、...  查看详情  
                
猿创征文|国产数据库tidb架构特性(代码片段)
前言TiDB是PingCAP公司自主设计、研发的开源分布式关系型数据库，是一款同时支持在线事务处理与在线分析处理(HybridTransactionalandAnalyticalProcessing,HTAP)的融合型分布式数据库产品，具备水平扩容或者缩容、金融级高可用、...  查看详情  
                
猿创征文｜国产数据库新的飞跃(代码片段)
一、数据库类型首先，我们来说一下当前数据库的类型吧，当前数据库生态可以大致分类三类：一是传统商业数据库，以Oracle为代表，其在40余年时间里所创造的数据库帝国已拥有了极其完善的生态；二是开源数据库，以MySQL、Po...  查看详情