关键词:
雪花算法
背景
需要选择合适的方案去应对数据规模的增长,以应对逐渐增长的访问压力和数据量。
数据库的扩展方式主要包括:业务分库、主从复制,数据库分表。
数据库分表
将不同业务数据分散存储到不同的数据库服务器,能够支撑百万甚至千万用户规模的业务,但如果业务继续发展,同一业务的单表数据也会达到单台数据库服务器的处理瓶颈。例如,淘宝的几亿用户数据,如果全部存放在一台数据库服务器的一张表中,肯定是无法满足性能要求的,此时就需要对单表数据进行拆分。
单表数据拆分有两种方式:垂直分表和水平分表。示意图如下:
垂直分表
垂直分表适合将表中某些不常用且占了大量空间的列拆分出去。
例如,前面示意图中的 nickname 和 description 字段,假设我们是一个婚恋网站,用户在筛选其他用户的时候,主要是用 age 和 sex 两个字段进行查询,而 nickname 和 description 两个字段主要用于展示,一般不会在业务查询中用到。description 本身又比较长,因此我们可以将这两个字段独立到另外一张表中,这样在查询 age 和 sex 时,就能带来一定的性能提升。
水平分表
水平分表适合表行数特别大的表,有的公司要求单表行数超过 5000 万就必须进行分表,这个数字可以作为参考,但并不是绝对标准,关键还是要看表的访问性能。对于一些比较复杂的表,可能超过 1000万就要分表了;而对于一些简单的表,即使存储数据超过 1 亿行,也可以不分表。
但不管怎样,当看到表的数据量达到千万级别时,作为架构师就要警觉起来,因为这很可能是架构的性能瓶颈或者隐患。
水平分表相比垂直分表,会引入更多的复杂性,例如要求全局唯一的数据id该如何处理
主键自增
①以最常见的用户 ID 为例,可以按照 1000000 的范围大小进行分段,1 ~ 999999 放到表 1中,1000000 ~ 1999999 放到表2中,以此类推。
②复杂点:分段大小的选取。分段太小会导致切分后子表数量过多,增加维护复杂度;分段太大可能会导致单表依然存在性能问题,一般建议分段大小在 100 万至 2000 万之间,具体需要根据业务选取合适的分段大小。
③优点:可以随着数据的增加平滑地扩充新的表。例如,现在的用户是 100 万,如果增加到 1000 万,只需要增加新的表就可以了,原有的数据不需要动。
④缺点:分布不均匀。假如按照 1000 万来进行分表,有可能某个分段实际存储的数据量只有 1 条,而另外一个分段实际存储的数据量有 1000 万条。
取模
①同样以用户 ID 为例,假如我们一开始就规划了 10 个数据库表,可以简单地用 user_id % 10 的值来表示数据所属的数据库表编号,ID 为 985 的用户放到编号为 5 的子表中,ID 为 10086 的用户放到编号为 6 的子表中。
②复杂点:初始表数量的确定。表数量太多维护比较麻烦,表数量太少又可能导致单表性能存在问题。
③优点:表分布比较均匀。
④缺点:扩充新的表很麻烦,所有数据都要重分布。
雪花算法
雪花算法是由Twitter公布的分布式主键生成算法,它能够保证不同表的主键的不重复性,以及相同表的主键的有序性。
①核心思想:
长度共64bit(一个long型)。
首先是一个符号位,1bit标识,由于long基本类型在Java中是带符号的,最高位是符号位,正数是0,负数是1,所以id一般是正数,最高位是0。
41bit时间截(毫秒级),存储的是时间截的差值(当前时间截 - 开始时间截),结果约等于69.73年。
10bit作为机器的ID(5个bit是数据中心,5个bit的机器ID,可以部署在1024个节点)。
12bit作为毫秒内的流水号(意味着每个节点在每毫秒可以产生 4096 个 ID)。
②优点:整体上按照时间自增排序,并且整个分布式系统内不会产生ID碰撞,并且效率较高。
mybatisplus之主键生成策略
mybatisplus之主键生成策略mybatisplus支持多种主键生成策略,默认采用认ID_WORKER即雪花算法雪花算法snowflflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID。其核心思想是:使用41bit作为毫秒数,10bit作为机器的ID(5个bit是... 查看详情
mybatisplus自定义id生成器(解决官方雪花算法长度过长导致js精度丢失问题)(代码片段)
1.Mybatis官方ID生成策略的问题我们知道,mybatis-plus官方提供了很多ID生成策略官方地址而其中个人觉得性能上最好的当属ASSIGN_ID,该策略能够得到一个19位的Long类型的值,Long类型的值天然有序,能很好的支持数据... 查看详情
mybatisplus自定义id生成器(解决官方雪花算法长度过长导致js精度丢失问题)(代码片段)
1.Mybatis官方ID生成策略的问题我们知道,mybatis-plus官方提供了很多ID生成策略官方地址而其中个人觉得性能上最好的当属ASSIGN_ID,该策略能够得到一个19位的Long类型的值,Long类型的值天然有序,能很好的支持数据... 查看详情
mybatisplus自定义id生成器(解决官方雪花算法长度过长导致js精度丢失问题)(代码片段)
1.Mybatis官方ID生成策略的问题我们知道,mybatis-plus官方提供了很多ID生成策略官方地址而其中个人觉得性能上最好的当属ASSIGN_ID,该策略能够得到一个19位的Long类型的值,Long类型的值天然有序,能很好的支持数据... 查看详情
2万字总结《mybatisplus—为简化开发而生》(代码片段)
《MybatisPlus—为简化开发而生》文章目录《MybatisPlus—为简化开发而生》1、简介2、特性3、快速入门1、创建数据库`mybatis-plus`2、创建user表3、编写项目,初始化项目,使用SpringBoot初始化4、导入依赖5、连接数据库6、... 查看详情
mybatisplus常用注解
MyBatisPlus常用注解@TableName:自定义表名给User实体类添加注解aplication.yml中添加mp的配置#配置mp的日志mybatis-plus:configuration:log-impl:org.apache.ibatis.logging.stdout.StdOutImpl#设置MyBatis-Plus的全局配置global-config:db-config:table-prefix:t_@TableId默认id... 查看详情
雪花算法(代码片段)
...间戳、UUID都不是很可靠。为此,Twitter提出了一种名为“雪花算法”的算法来生成分布式全局唯一ID的算法算法介绍“雪花算法”生成的ID为\\(64\\)位整数,其中,前\\(41\\)位(\\(64\\)位整数第一位表示符号位,不作为开始位)表示... 查看详情
javatwitter雪花算法(代码片段)
雪花算法原理解析(代码片段)
...拆分,设置初始值和相同的自增步长。批量申请自增ID。雪花算法。百度UidGenerator算法(基于雪花算法实现自定义时间戳)。美团Leaf算法(依赖于数据库,ZK)。 本文主要介绍SnowFlake算法,是Twitter开源的分布式id生成算法。 其... 查看详情
springboot中使用雪花算法生成雪花id(代码片段)
目录1、什么是雪花算法2、雪花算法的优缺点3、springboot项目中使用雪花算法使用1、什么是雪花算法雪花算法(Snowflake)是一种生成全局唯一ID的算法,由Twitter公司开发。它可以在分布式系统中生成全局唯一的ID,... 查看详情
php实现生成唯一id的雪花算法
参考技术A公司需求.生成唯一id用作兑换卡的id,所以就想用雪花算法,写了一个乞丐版的雪花算法,做个记载 查看详情
厉害了,美女同事用单例模式实现了雪花算法!(代码片段)
点击关注公众号,Java干货及时送达雪花算法雪花算法适用于生成全局唯一的编号,比如数据库主键id,订单编号等至于为什么叫雪花算法,是因为科学家通过研究认为自然界中不存在两片完全相同的雪花,所... 查看详情
雪花算法(代码片段)
雪花算法(snowflake):用于生成分布式ID(纯数字,时间顺序),订单编号等自增ID:记录可以根据ID号进行推测出来,对于数据敏感场景不宜使用。GUID:采用无意义字符串,数据量增大时造成访问过慢,且不宜排序。雪花算法描述... 查看详情
雪花算法解析生成uuid
packagecom.grid.service;publicclassSnowflakeIdWorker/***雪花算法解析结构snowflake的结构如下(每部分用-分开):*0-00000000000000000000000000000000000000000-00000-00000-000000000000*第一位为未使用,接下来的41位为毫秒级时间(41位的长度可以使用69年),然后是... 查看详情
编程实践golang实现雪花算法
1.雪花算法1.1.1.关于雪花雪花(snowflake)在自然界中,是极具独特美丽,又变幻莫测的东西:1.雪花属于六方晶系,它具有四个结晶轴,其中三个辅轴在一个基面上,互相以60度的角度相交,第四轴(主晶轴)与三个辅轴所形成的基面... 查看详情
2022年雪花算法的最大与最小值
参考技术A最高1位固定值0。雪花算法,SnowFlake算法,是Twitter开源的分布式id生成算法。其核心思想就是:使用一个64bit的long型的数字作为全局唯一id。最高1位固定值0,因为生成的id是正整数,如果是1就是负数了。 查看详情
snowflake(雪花算法)
参考技术A首先雪花算法就是生成一个64位的二进制数据,最终转换成长度为19的十进制正整数整型数据解释一下这64位分别代表什么意思,从左往右。当然这个算法的强大并不仅仅如此而已,这个算法的时间位、机器位、序列号... 查看详情
分布式id生成方案:雪花算法(源自twitter)
参考技术A雪花(snowflake)在自然界中,是极具独特美丽,又变幻莫测的东西:雪花算法的原始版本是scala版,用于生成分布式ID(纯数字,时间顺序),订单编号等。算法描述:snowflake.gomain.go测试结果:结论: 查看详情