正文

『mongodb』mongodb高可用部署架构——分片集群篇（sharding）(代码片段)

老陈聊架构  老陈聊架构  2023-03-29  505

关键词：

📣读完这篇文章里你能收获到

为什么要使用分片
Mongodb分片集群有哪些特点
Mongodb分片集群的完整架构
Mongodb分片集群数据分布方式
Mongodb分片集群的设计思路
Mongodb分片集群搭建及扩容
这篇文章强烈建议收藏！！！免得下次找不到

文章目录

一、初识分片集群
二、Mongodb分片集群架构解剖
三、Mongodb分片集群数据分布方式
四、分片集群设计-如何用好分片集群
五、分片集群搭建及扩容

一、初识分片集群

基础概念本文就不讲了，百度百科了解即可

1 为什么要使用分片集群

数据容量日益增大，访问性能日渐降低，怎么破？
新品上线异常火爆，如何支撑更多的并发用户？
单库已有 10TB 数据，恢复需要1-2天，如何加速？
地理分布数据

2 分片如何解决[案例]

银行交易单表内10亿笔资料 超负荷运转

把数据分成两半，放到2个库物理里

把数据分成4部分，放到4个物理库里（以此类推）

3 MongoDB 分片集群有哪些特点

应用全透明，无特殊处理
数据自动均衡
动态扩容，无须下线
提供三种分片方式

二、Mongodb分片集群架构解剖

1 完整的分片集群

2 分片集群解剖：路由节点 mongos（Router）

路由节点
提供集群单一入口转发应用端请求
选择合适数据节点进行读写合并多个数据节点的返回
无状态
建议至少2个

3 分片集群解剖：配置节点 Config

配置（目录）节点
提供集群元数据存储分片数据分布的映射
普通复制集架构

4 分片集群解剖：数据节点 Shard

数据节点
以复制集为单位横向扩展
最大1024分片
分片之间数据不重复所有分片在一起才可完整工作

三、Mongodb分片集群数据分布方式

1 分片集群数据分布方式 – 基于范围

2 分片集群数据分布方式 – 基于哈希

3 分片集群数据分布方式 – 自定义Zone（区域/范围）

四、分片集群设计-如何用好分片集群

分片集群可以有效解决性能瓶颈及系统扩容问题
分片额外消耗较多，管理复杂，能不分片尽量不要分片

1 合理的架构

1.1 合理的架构 – 分片大小

分片的基本标准：

关于数据：数据量不超过3TB，尽可能保持在2TB一个片
关于索引：常用索引必须容纳进内存

按照以上标准初步确定分片后，还需要考虑业务压力，随着压力增大，CPU、RAM、磁盘中的任何一项出现瓶颈时，都可以通过添加更多分片来解决

1.2 合理的架构 – 需要多少个分片

A = 所需存储总量 / 单服务器可挂载容量
B = 工作集大小 / (单服务器内存容量 * 0.6)
C = 并发量总数 / （单服务器并发量 * 0.7）
分片数量 = max(A, B, C)

举例：
所需存储总量8TB
单服务器可挂载容量 2TB
工作集大小 400GB
单服务器内存容量 256GB
并发量总数 30000
单服务器并发量 9000

除了单服务器并发量需要实际压测外，其余均可预估
A = 8TB / 2TB = 4
B = 400GB / （256G * 0.6） = 3
C = 30000 / (9000*0.7) = 6
分片数量 = max(A, B, C) = 6

1.3 合理的架构 – 其他需求

考虑分片的分布：

是否需要跨机房分布分片？
是否需要容灾？
高可用的要求如何？

2 正确的姿势

各种概念由小到大：

片键 shard key：文档中的一个字段
文档 doc ：包含 shard key 的一行数据
块 Chunk ：包含 n 个文档
分片 Shard：包含 n 个 chunk
集群 Cluster：包含 n 个分片

2.1 正确的姿势 - 选择合适片键

影响片键效率的主要因素：

取值基数（Cardinality）
取值分布
分散写，集中读
被尽可能多的业务场景用到
避免单调递增或递减的片键

2.2 正确的姿势 - 选择基数大的片键

对于小基数的片键：

因为备选值有限，那么块的总数量就有限
随着数据增多，块的大小会越来越大
水平扩展时移动块会非常困难

例如：存储一个高中的师生数据，以年龄（假设年龄范围为15~65岁）作为片键，那么：15<=年龄<=65，且只为整数最多只会有51个 chunk
结论：取值基数要大！

2.3 正确的姿势 – 选择分布均匀的片键

对于分布不均匀的片键：

造成某些块的数据量急剧增大
这些块压力随之增大
数据均衡以 chunk 为单位，所以系统无能为力

例如：存储一个学校的师生数据，以年龄（假设年龄范围为15_{65岁）作为片键，那么：15<=年龄<=65，且只为整数，大部分人的年龄范围为15}18岁（学生）
15、16、17、18四个 chunk 的数据量、访问压力远大于其他 chunk
结论：取值分布应尽可能均匀

3 足够的资源

mongos 与 config 通常消耗很少的资源，可以选择低规格虚拟机
资源的重点在于 shard 服务器：

需要足以容纳热数据索引的内存
正确创建索引后 CPU 通常不会成为瓶颈，除非涉及非常多的计算
磁盘尽量选用 SSD

最后，实际测试是最好的检验，来看你的资源配置是否完备
即使项目初期已经具备了足够的资源，仍然需要考虑在合适的时候扩展。建议监控各项资源使用情况，无论哪一项达到60%以上，则开始考虑扩展，因为：

扩展需要新的资源，申请新资源需要时间
扩展后数据需要均衡，均衡需要时间。应保证新数据入库速度慢于均衡速度
均衡需要资源，如果资源即将或已经耗尽，均衡也是会很低效的

五、分片集群搭建及扩容

1 目标及流程

目标：学习如何搭建一个2分片的分片集群
环境：3台 Linux 虚拟机， 4 Core 8 GB
步骤：

2 实验架构

3 开始搭建

3.1 配置域名解析

在3台虚拟机上分别执行以下3条命令，注意替换实际 IP 地址

echo "192.168.1.1 demo1 member1.example.com member2.example.com" >> /etc/hosts
echo "192.168.1.2 demo2 member3.example.com member4.example.com" >> /etc/hosts
echo "192.168.1.3 demo3 member5.example.com member6.example.com" >> /etc/hosts

3.2 准备分片目录

在各服务器上创建数据目录，我们使用 /data，请按自己需要修改为其他目录：

在member1 / member3 / member5 上执行以下命令：
mkdir -p /data/shard1/  mkdir -p /data/config/

在member2 / member4 / member6 上执行以下命令：
mkdir -p /data/shard2/  mkdir -p /data/mongos/

3.3 创建第一个分片用的复制集

在 member1 / member3 / member5 上执行以下命令：

mongod --bind_ip 0.0.0.0 --replSet shard1 --dbpath /data/shard1 --logpath
/data/shard1/mongod.log --port 27010 --fork --shardsvr --wiredTigerCacheSizeGB 1

3.4 初始化第一个分片复制集

mongo --host member1.example.com:27010  rs.initiate(
	_id: "shard1",
	"members": [
		
			"_id": 0,
			"host": "member1.example.com:27010"
		,
		
			"_id": 1,
			"host": "member3.example.com:27010"
		,
		
			"_id": 2,
			"host": "member5.example.com:27010"
		
	]
);

3.5 创建 config server 复制集

在 member1 / member3 / member5 上执行以下命令：

mongod --bind_ip 0.0.0.0 --replSet config --dbpath /data/config --logpath
/data/config/mongod.log --port 27019 --fork --configsvr --wiredTigerCacheSizeGB 1

3.6 初始化 config server 复制集

# mongo --host member1.example.com:27019  rs.initiate(
	_id: "config",
	"members": [
		
			"_id": 0,
			"host": "member1.example.com:27019"
		,
		
			"_id": 1,
			"host": "member3.example.com:27019"
		,
		
			"_id": 2,
			"host": "member5.example.com:27019"
		
	]
);

3.7 在第一台机器上搭建 mongos

# mongos --bind_ip 0.0.0.0 --logpath /data/mongos/mongos.log --port 27017 --fork
--configdb  config/member1.example.com:27019,member3.example.com:27019,member5.example.com:27019

# 连接到mongos, 添加分片
# mongo --host member1.example.com:27017

mongos >  sh.addShard("shard1/member1.example.com:27010,member3.example.com:27010,member5
.example.com:27010");

3.8 创建分片表

# 连接到mongos, 创建分片集合
# mongo --host member1.example.com:27017

mongos > sh.status()
mongos > sh.enableSharding("foo");
mongos > sh.shardCollection("foo.bar", _id: 'hashed');  mongos > sh.status();

# 插入测试数据
use foo
for (var i = 0; i < 10000; i++)   db.bar.insert(i: i);

3.9 创建第2个分片的复制集

在 member2 / member4 / member6 上执行以下命令：

mongod --bind_ip 0.0.0.0 --replSet shard2 --dbpath /data/shard2
--logpath /data/shard2/mongod.log --port 27011 --fork --shardsvr
--wiredTigerCacheSizeGB 1

3.10 初始化第二个分片的复制集

# mongo --host member2.example.com:27011

mongo --host member1.example.com:27010  rs.initiate(
	_id: "shard2",
	"members": [
		
			"_id": 0,
			"host": "member2.example.com:27011"
		,
		
			"_id": 1,
			"host": "member4.example.com:27011"
		,
		
			"_id": 2,
			"host": "member6.example.com:27011"
		
	]
);

3.11 加入第2个分片

# 连接到mongos, 添加分片
# mongo --host member1.example.com:27017

mongos >  sh.addShard("shard2/member2.example.com:27011,member4.example.com:27011,member6.example.com:27011");
mongos > sh.status()

mongodb高可用配置之分片集群

一、规划好端口ip架构图如下，任意抽取每个副本集中的一个分片（非仲裁节点）可以组成一份完整的数据。1.第一个副本集rs1share1127.0.0.1:30011:c:/data/share_rs1/share1/data/share2127.0.0.1:40011:c:/data/share_rs1/share2/data/share3127.0.0.1:50011:c:/data/... 查看详情

mongodb高可用配置之分片集群

mongodb的replicasets+shardingarchitect

MongoDB的Sharding机制解决了海量存储和动态扩容的问题，但离生产环境的高可靠，高可用还有距离，Sharding在单点出现故障时就无能为力了。但是MongoDB的副本集却可以很轻松的处理单点故障，所以就有了ReplicaSets+... 查看详情

MongoDB 云部署 - 高 TTFB

】MongoDB云部署-高TTFB【英文标题】：MongoDBCloudDeployment-HighTTFB【发布时间】：2015-07-0910:42:29【问题描述】：我正在Node.js+MongoDB中构建一个仅限移动设备的应用程序。我已将我的服务器部署在AWSAP-Southeast-1区域。由于我是MongoDB新手... 查看详情

MongoDB 云部署 - 高 TTFB

mongodb——mongodb副本集（replicasets）(代码片段)

MongoDB复制集（ReplicaSets）MongoDB复制集概述复制集的三个角色MongoDB复制集部署增加或删除节点配置优先级以及仲裁节点故障切换测试手动主从切换MongoDB复制集概述MongoDB中的副本集(ReplicaSet)是一组维护相同数据集的mongod服... 查看详情

mongodb——mongodb副本集（replicasets）(代码片段)

自从学习了mongodb高可用，慢慢的喜欢上了它，之前确实冷落了

大家好，我是哪吒，最近项目在使用MongoDB作为图片和文档的存储数据库，为啥不直接存MySQL里，还要搭个MongoDB集群，麻不麻烦？让我们一起，一探究竟，继续学习MongoDB高可用和片键策略，实现快速入门，丰富个人简历，提高面... 查看详情

mongodb高可用与分片(代码片段)

...2、手动分发大家好，我是哪吒，最近项目在使用MongoDB作为图片和文档的存储数据库，为啥不直接存MySQL里，还要搭个MongoDB集群，麻不麻烦？查看详情

一个高扩展高可用高负载的应用架构的诞生记（原创）

...本控制2) 前端css/vue3）node4）nginx5）memcache/redis6)mysql/mongodb/hbase7)docker 查看详情

mongodb

IXmongodb目录架构1CRUD操作：4mongodbaggregationframework6复制集：7mongodb全家桶：8常见部署方式：9常用监控工具及手段：14备份与恢复15... 查看详情

redis高可用cp还是ap

参考技术A高可用选择ap。高可用选择AP但大多数网站架构的选择CPRedis、Mongodb注意：分布式架构的时候必须做出取舍。一致性和可用性之间取一个平衡。多余大多数web应用，其实并不需要强一致性。查看详情

通过ansible部署高可用lnammkp架构

通过ansible部署高可用LNAMMKP架构主/备模式高可用keepalived+{nginx(proxy)|lvs}两台主机：httpd+php+Discuz!+phpMyAdmin一台主机：memcached用来缓存php的session；一台主机：mysql-server或mariadb-server；实验规划：这里我规划用备用模式高可用两台... 查看详情

mongodb副本集部署(代码片段)

副本集部署一、什么是MongoDB?二、MongoDB副本集部署一、什么是MongoDB?MongoDB是由C++语言编写的，是一个基于分布式文件存储的开源数据库系统。在高负载的情况下，添加更多的节点，可以保证服务器性能。MongoDB旨... 查看详情

mongodb副本集部署(代码片段)

php中高级面试题–第三天

参考技术A一、简述一下MongoDB的应用场景mongodb支持副本集、索引、自动分片，可以保证较高的性能和可用性。更高的写入负载默认情况下，MongoDB更侧重高数据写入性能，而非事务安全，MongoDB很适合业务系统中有大量“低价值”... 查看详情

java架构师高性能高并发高可用高可扩展性能优化集群电商网站架构

...、Spring cloud、Dubbo、Redis、ActiveMQ、Nginx、Mycat、Spring、MongoDB、查看详情

对比mysql，啥场景mongodb更适用

参考技术AMongoDB已经流行了很长一段时间，相对于MySQL，究竟什么场景更需要用MongoDB？下面是一些总结。更高的写入负载默认情况下，MongoDB更侧重高数据写入性能，而非事务安全，MongoDB很适合业务系统中有大量“低价值”数据... 查看详情