[mybatisplus]雪花算法

唐火      2022-05-11     149

关键词:

雪花算法

背景

需要选择合适的方案去应对数据规模的增长,以应对逐渐增长的访问压力和数据量。

数据库的扩展方式主要包括:业务分库、主从复制,数据库分表。

数据库分表

将不同业务数据分散存储到不同的数据库服务器,能够支撑百万甚至千万用户规模的业务,但如果业务继续发展,同一业务的单表数据也会达到单台数据库服务器的处理瓶颈。例如,淘宝的几亿用户数据,如果全部存放在一台数据库服务器的一张表中,肯定是无法满足性能要求的,此时就需要对单表数据进行拆分。

单表数据拆分有两种方式:垂直分表和水平分表。示意图如下:

垂直分表

垂直分表适合将表中某些不常用且占了大量空间的列拆分出去。

例如,前面示意图中的 nickname 和 description 字段,假设我们是一个婚恋网站,用户在筛选其他用户的时候,主要是用 age 和 sex 两个字段进行查询,而 nickname 和 description 两个字段主要用于展示,一般不会在业务查询中用到。description 本身又比较长,因此我们可以将这两个字段独立到另外一张表中,这样在查询 age 和 sex 时,就能带来一定的性能提升。

水平分表

水平分表适合表行数特别大的表,有的公司要求单表行数超过 5000 万就必须进行分表,这个数字可以作为参考,但并不是绝对标准,关键还是要看表的访问性能。对于一些比较复杂的表,可能超过 1000万就要分表了;而对于一些简单的表,即使存储数据超过 1 亿行,也可以不分表。

但不管怎样,当看到表的数据量达到千万级别时,作为架构师就要警觉起来,因为这很可能是架构的性能瓶颈或者隐患。

水平分表相比垂直分表,会引入更多的复杂性,例如要求全局唯一的数据id该如何处理

主键自增

①以最常见的用户 ID 为例,可以按照 1000000 的范围大小进行分段,1 ~ 999999 放到表 1中,1000000 ~ 1999999 放到表2中,以此类推。

②复杂点:分段大小的选取。分段太小会导致切分后子表数量过多,增加维护复杂度;分段太大可能会导致单表依然存在性能问题,一般建议分段大小在 100 万至 2000 万之间,具体需要根据业务选取合适的分段大小。

③优点:可以随着数据的增加平滑地扩充新的表。例如,现在的用户是 100 万,如果增加到 1000 万,只需要增加新的表就可以了,原有的数据不需要动。

④缺点:分布不均匀。假如按照 1000 万来进行分表,有可能某个分段实际存储的数据量只有 1 条,而另外一个分段实际存储的数据量有 1000 万条。

取模

①同样以用户 ID 为例,假如我们一开始就规划了 10 个数据库表,可以简单地用 user_id % 10 的值来表示数据所属的数据库表编号,ID 为 985 的用户放到编号为 5 的子表中,ID 为 10086 的用户放到编号为 6 的子表中。

②复杂点:初始表数量的确定。表数量太多维护比较麻烦,表数量太少又可能导致单表性能存在问题。

③优点:表分布比较均匀。

④缺点:扩充新的表很麻烦,所有数据都要重分布。

雪花算法

雪花算法是由Twitter公布的分布式主键生成算法,它能够保证不同表的主键的不重复性,以及相同表的主键的有序性。

①核心思想:

长度共64bit(一个long型)。

首先是一个符号位,1bit标识,由于long基本类型在Java中是带符号的,最高位是符号位,正数是0,负数是1,所以id一般是正数,最高位是0。

41bit时间截(毫秒级),存储的是时间截的差值(当前时间截 - 开始时间截),结果约等于69.73年。

10bit作为机器的ID(5个bit是数据中心,5个bit的机器ID,可以部署在1024个节点)。

12bit作为毫秒内的流水号(意味着每个节点在每毫秒可以产生 4096 个 ID)。


②优点:整体上按照时间自增排序,并且整个分布式系统内不会产生ID碰撞,并且效率较高。

mybatisplus之主键生成策略

mybatisplus之主键生成策略mybatisplus支持多种主键生成策略,默认采用认ID_WORKER即雪花算法雪花算法snowflflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID。其核心思想是:使用41bit作为毫秒数,10bit作为机器的ID(5个bit是... 查看详情

mybatisplus自定义id生成器(解决官方雪花算法长度过长导致js精度丢失问题)(代码片段)

1.Mybatis官方ID生成策略的问题我们知道,mybatis-plus官方提供了很多ID生成策略官方地址而其中个人觉得性能上最好的当属ASSIGN_ID,该策略能够得到一个19位的Long类型的值,Long类型的值天然有序,能很好的支持数据... 查看详情

mybatisplus自定义id生成器(解决官方雪花算法长度过长导致js精度丢失问题)(代码片段)

1.Mybatis官方ID生成策略的问题我们知道,mybatis-plus官方提供了很多ID生成策略官方地址而其中个人觉得性能上最好的当属ASSIGN_ID,该策略能够得到一个19位的Long类型的值,Long类型的值天然有序,能很好的支持数据... 查看详情

mybatisplus自定义id生成器(解决官方雪花算法长度过长导致js精度丢失问题)(代码片段)

1.Mybatis官方ID生成策略的问题我们知道,mybatis-plus官方提供了很多ID生成策略官方地址而其中个人觉得性能上最好的当属ASSIGN_ID,该策略能够得到一个19位的Long类型的值,Long类型的值天然有序,能很好的支持数据... 查看详情

2万字总结《mybatisplus—为简化开发而生》(代码片段)

《MybatisPlus—为简化开发而生》文章目录《MybatisPlus—为简化开发而生》1、简介2、特性3、快速入门1、创建数据库`mybatis-plus`2、创建user表3、编写项目,初始化项目,使用SpringBoot初始化4、导入依赖5、连接数据库6、... 查看详情

mybatisplus常用注解

MyBatisPlus常用注解@TableName:自定义表名给User实体类添加注解aplication.yml中添加mp的配置#配置mp的日志mybatis-plus:configuration:log-impl:org.apache.ibatis.logging.stdout.StdOutImpl#设置MyBatis-Plus的全局配置global-config:db-config:table-prefix:t_@TableId默认id... 查看详情

雪花算法(代码片段)

...间戳、UUID都不是很可靠。为此,Twitter提出了一种名为“雪花算法”的算法来生成分布式全局唯一ID的算法算法介绍“雪花算法”生成的ID为\\(64\\)位整数,其中,前\\(41\\)位(\\(64\\)位整数第一位表示符号位,不作为开始位)表示... 查看详情

javatwitter雪花算法(代码片段)

查看详情

雪花算法原理解析(代码片段)

...拆分,设置初始值和相同的自增步长。批量申请自增ID。雪花算法。百度UidGenerator算法(基于雪花算法实现自定义时间戳)。美团Leaf算法(依赖于数据库,ZK)。  本文主要介绍SnowFlake算法,是Twitter开源的分布式id生成算法。  其... 查看详情

springboot中使用雪花算法生成雪花id(代码片段)

目录1、什么是雪花算法2、雪花算法的优缺点3、springboot项目中使用雪花算法使用1、什么是雪花算法雪花算法(Snowflake)是一种生成全局唯一ID的算法,由Twitter公司开发。它可以在分布式系统中生成全局唯一的ID,... 查看详情

php实现生成唯一id的雪花算法

参考技术A公司需求.生成唯一id用作兑换卡的id,所以就想用雪花算法,写了一个乞丐版的雪花算法,做个记载 查看详情

厉害了,美女同事用单例模式实现了雪花算法!(代码片段)

点击关注公众号,Java干货及时送达雪花算法雪花算法适用于生成全局唯一的编号,比如数据库主键id,订单编号等至于为什么叫雪花算法,是因为科学家通过研究认为自然界中不存在两片完全相同的雪花,所... 查看详情

雪花算法(代码片段)

雪花算法(snowflake):用于生成分布式ID(纯数字,时间顺序),订单编号等自增ID:记录可以根据ID号进行推测出来,对于数据敏感场景不宜使用。GUID:采用无意义字符串,数据量增大时造成访问过慢,且不宜排序。雪花算法描述... 查看详情

雪花算法解析生成uuid

packagecom.grid.service;publicclassSnowflakeIdWorker/***雪花算法解析结构snowflake的结构如下(每部分用-分开):*0-00000000000000000000000000000000000000000-00000-00000-000000000000*第一位为未使用,接下来的41位为毫秒级时间(41位的长度可以使用69年),然后是... 查看详情

编程实践golang实现雪花算法

1.雪花算法1.1.1.关于雪花雪花(snowflake)在自然界中,是极具独特美丽,又变幻莫测的东西:1.雪花属于六方晶系,它具有四个结晶轴,其中三个辅轴在一个基面上,互相以60度的角度相交,第四轴(主晶轴)与三个辅轴所形成的基面... 查看详情

2022年雪花算法的最大与最小值

参考技术A最高1位固定值0。雪花算法,SnowFlake算法,是Twitter开源的分布式id生成算法。其核心思想就是:使用一个64bit的long型的数字作为全局唯一id。最高1位固定值0,因为生成的id是正整数,如果是1就是负数了。 查看详情

snowflake(雪花算法)

参考技术A首先雪花算法就是生成一个64位的二进制数据,最终转换成长度为19的十进制正整数整型数据解释一下这64位分别代表什么意思,从左往右。当然这个算法的强大并不仅仅如此而已,这个算法的时间位、机器位、序列号... 查看详情

分布式id生成方案:雪花算法(源自twitter)

参考技术A雪花(snowflake)在自然界中,是极具独特美丽,又变幻莫测的东西:雪花算法的原始版本是scala版,用于生成分布式ID(纯数字,时间顺序),订单编号等。算法描述:snowflake.gomain.go测试结果:结论: 查看详情