雪花算法snowflake分布式id生成原理详解,以及对解决时钟回拨问题几种方案讨论(代码片段)

徐同学呀 徐同学呀     2022-12-09     703

关键词:

一、前言

在日趋复杂的分布式系统中,数据量越来越大,数据库分库分表是一贯的垂直水平做法,但是需要一个全局唯一ID标识一条数据或者MQ消息,数据库id自增就显然不能满足要求了。因为场景不同,分布式ID需要满足以下几个条件:

  1. 全局唯一性,不能出现重复的ID。
  2. 趋势递增,在MySQL InnoDB引擎中使用的是聚集索引,由于多数RDBMS使用B-tree的数据结构来存储索引数据,在主键的选择上应该尽量使用有序的主键保证写入性能。
  3. 单调递增,保证下一个ID一定大于上一个ID。例如分布式事务版本号、IM增量消息、排序等特殊需求。
  4. 信息安全,对于特殊业务,如订单等,分布式ID生成应该是无规则的,不能从ID上反解析出流量等敏感信息。

市面上对分布式ID生成大致有几种算法(一些开源项目都是围着这几种算法进行实现和优化):

  1. UUID:因为是本地生成,性能极高,但是生成的ID太长,16字节128位,通常需要字符串类型存储,且无序,所以很多场景不适用,也不适用于作为MySQL数据库的主键和索引(MySql官方建议,主键越短越好;对于InnoDB引擎,索引的无序性可能会引起数据位置频繁变动,严重影响性能)。
  2. 数据库自增ID:每次获取ID都需要DB的IO操作,DB压力大,性能低。数据库宕机对外依赖服务就是毁灭性打击,不过可以部署数据库集群保证高可用。
  3. 数据库号段算法:对数据库自增ID的优化,每次获取一个号段的值。用完之后再去数据库获取新的号段,可以大大减轻数据库的压力。号段越长,性能越高,同时如果数据库宕机,号段没有用完,短时间还可以对外提供服务。(美团的Leaf滴滴的TinyId
  4. 雪花算法:Twitter开源的snowflake,以时间戳+机器+递增序列组成,基本趋势递增,且性能很高,因为强依赖机器时钟,所以需要考虑时钟回拨问题,即机器上的时间可能因为校正出现倒退,导致生成的ID重复。(百度的uid-generator美团的Leaf

雪花算法和数据库号段算法用的最多,本篇主要对雪花算法原理剖析和解决时钟回拨问题讨论。

二、雪花算法snowflake

1、基本定义

全网都在用这个图-yyds

snowflake原理其实很简单,生成一个64bit(long)的全局唯一ID,标准元素以1bit无用符号位+41bit时间戳+10bit机器ID+12bit序列化组成,其中除1bit符号位不可调整外,其他三个标识的bit都可以根据实际情况调整:

  1. 41bit-时间可以表示(1L<<41)/(1000L360024*365)=69年的时间。
  2. 10bit-机器可以表示1024台机器。如果对IDC划分有需求,还可以将10-bit分5-bit给IDC,分5-bit给工作机器。这样就可以表示32个IDC,每个IDC下可以有32台机器。
  3. 12个自增序列号可以表示2^12个ID,理论上snowflake方案的QPS约为409.6w/s。

注:都是从0开始计数。

2、snowflake的优缺点

优点:

  • 毫秒数在高位,自增序列在低位,整个ID都是趋势递增的。
  • 可以不依赖数据库等第三方系统,以服务的方式部署,稳定性更高,生成ID的性能也非常高。
  • 可以根据自身业务特性分配bit位,非常灵活。

缺点:

  • 强依赖机器时钟,如果机器上时钟回拨,会导致发号重复或者服务处于不可用状态。

三、Java代码实现snowflake

如下示例,41bit给时间戳,5bit给IDC,5bit给工作机器,12bit给序列号,代码中是写死的,如果某些bit需要动态调整,可在成员属性定义。计算过程需要一些位运算基础。

public class SnowflakeIdGenerator 

    public static final int TOTAL_BITS = 1 << 6;

    private static final long SIGN_BITS = 1;

    private static final long TIME_STAMP_BITS = 41L;

    private static final long DATA_CENTER_ID_BITS = 5L;

    private static final long WORKER_ID_BITS = 5L;

    private static final long SEQUENCE_BITS = 12L;

    /**
     * 时间向左位移位数 22位
     */
    private static final long TIMESTAMP_LEFT_SHIFT = WORKER_ID_BITS + DATA_CENTER_ID_BITS + SEQUENCE_BITS;

    /**
     * IDC向左位移位数 17位
     */
    private static final long DATA_CENTER_ID_SHIFT = WORKER_ID_BITS + SEQUENCE_BITS;

    /**
     * 机器ID 向左位移位数 12位
     */
    private static final long WORKER_ID_SHIFT = SEQUENCE_BITS;

    /**
     * 序列掩码,用于限定序列最大值为4095
     */
    private static final long SEQUENCE_MASK =  -1L ^ (-1L << SEQUENCE_BITS);

    /**
     * 最大支持机器节点数0~31,一共32个
     */
    private static final long MAX_WORKER_ID = -1L ^ (-1L << WORKER_ID_BITS);
    /**
     * 最大支持数据中心节点数0~31,一共32个
     */
    private static final long MAX_DATA_CENTER_ID = -1L ^ (-1L << DATA_CENTER_ID_BITS);

    /**
     * 最大时间戳 2199023255551
     */
    private static final long MAX_DELTA_TIMESTAMP = -1L ^ (-1L << TIME_STAMP_BITS);

    /**
     * Customer epoch
     */
    private final long twepoch;

    private final long workerId;

    private final long dataCenterId;

    private long sequence = 0L;

    private long lastTimestamp = -1L;

    /**
     *
     * @param workerId 机器ID
     * @param dataCenterId  IDC ID
     */
    public SnowflakeIdGenerator(long workerId, long dataCenterId) 
        this(workerId, dataCenterId, null);
    

    /**
     *
     * @param workerId  机器ID
     * @param dataCenterId IDC ID
     * @param epochDate 初始化时间起点
     */
    public SnowflakeIdGenerator(long workerId, long dataCenterId, Date epochDate) 
        if (workerId > MAX_WORKER_ID || workerId < 0) 
            throw new IllegalArgumentException("worker Id can't be greater than "+ MAX_WORKER_ID + " or less than 0");
        
        if (dataCenterId > MAX_DATA_CENTER_ID || dataCenterId < 0) 
            throw new IllegalArgumentException("datacenter Id can't be greater than " + MAX_DATA_CENTER_ID + " or less than 0");
        

        this.workerId = workerId;
        this.dataCenterId = dataCenterId;
        if (epochDate != null) 
            this.twepoch = epochDate.getTime();
         else 
            //2010-10-11
            this.twepoch = 1286726400000L;
        

    

    public long genID() throws Exception 
        try 
            return nextId();
         catch (Exception e) 
            throw e;
        
    

    public long getLastTimestamp() 
        return lastTimestamp;
    

    /**
     * 通过移位解析出sequence,sequence有效位为[0,12]
     * 所以先向左移64-12,然后再像右移64-12,通过两次移位就可以把无效位移除了
     * @param id
     * @return
     */
    public long getSequence2(long id) 
        return (id << (TOTAL_BITS - SEQUENCE_BITS)) >>> (TOTAL_BITS - SEQUENCE_BITS);
    

    /**
     * 通过移位解析出workerId,workerId有效位为[13,17], 左右两边都有无效位
     * 先向左移 41+5+1,移除掉41bit-时间,5bit-IDC、1bit-sign,
     * 然后右移回去41+5+1+12,从而移除掉12bit-序列号
     * @param id
     * @return
     */
    public long getWorkerId2(long id) 
        return (id << (TIME_STAMP_BITS + DATA_CENTER_ID_BITS + SIGN_BITS)) >>> (TIME_STAMP_BITS + DATA_CENTER_ID_BITS + SEQUENCE_BITS + SIGN_BITS);
    
    /**
     * 通过移位解析出IDC_ID,dataCenterId有效位为[18,23],左边两边都有无效位
     * 先左移41+1,移除掉41bit-时间和1bit-sign
     * 然后右移回去41+1+5+12,移除掉右边的5bit-workerId和12bit-序列号
     * @param id
     * @return
     */
    public long getDataCenterId2(long id) 
        return (id << (TIME_STAMP_BITS + SIGN_BITS)) >>> (TIME_STAMP_BITS + WORKER_ID_BITS + SEQUENCE_BITS + SIGN_BITS);
    
    /**
     * 41bit-时间,左边1bit-sign为0,可以忽略,不用左移,所以只需要右移,并加上起始时间twepoch即可。
     * @param id
     * @return
     */
    public long getGenerateDateTime2(long id) 
        return (id >>> (DATA_CENTER_ID_BITS + WORKER_ID_BITS + SEQUENCE_BITS)) + twepoch;
    

    public long getSequence(long id) 
        return id & ~(-1L << SEQUENCE_BITS);
    

    public long getWorkerId(long id) 
        return id >> WORKER_ID_SHIFT & ~(-1L << WORKER_ID_BITS);
    

    public long getDataCenterId(long id) 
        return id >> DATA_CENTER_ID_SHIFT & ~(-1L << DATA_CENTER_ID_BITS);
    

    public long getGenerateDateTime(long id) 
        return (id >> TIMESTAMP_LEFT_SHIFT & ~(-1L << 41L)) + twepoch;
    

    private synchronized long nextId() throws Exception 
        long timestamp = timeGen();
        // 1、出现时钟回拨问题,直接抛异常
        if (timestamp < lastTimestamp) 
            long refusedTimes = lastTimestamp - timestamp;
            // 可自定义异常类
            throw new UnsupportedOperationException(String.format("Clock moved backwards. Refusing for %d seconds", refusedTimes));
        
        // 2、时间等于lastTimestamp,取当前的sequence + 1
        if (timestamp == lastTimestamp) 
            sequence = (sequence + 1) & SEQUENCE_MASK;
            // Exceed the max sequence, we wait the next second to generate id
            if (sequence == 0) 
                timestamp = tilNextMillis(lastTimestamp);
            
         else 
            // 3、时间大于lastTimestamp没有发生回拨, sequence 从0开始
            this.sequence = 0L;
        
        lastTimestamp = timestamp;

        return allocate(timestamp - this.twepoch);
    

    private long allocate(long deltaSeconds) 
        return (deltaSeconds << TIMESTAMP_LEFT_SHIFT) | (this.dataCenterId << DATA_CENTER_ID_SHIFT) | (this.workerId << WORKER_ID_SHIFT) | this.sequence;
    

    private long timeGen() 
        long currentTimestamp = System.currentTimeMillis();
        // 时间戳超出最大值
        if (currentTimestamp - twepoch > MAX_DELTA_TIMESTAMP) 
            throw new UnsupportedOperationException("Timestamp bits is exhausted. Refusing ID generate. Now: " + currentTimestamp);
        
        return currentTimestamp;
    

    private long tilNextMillis(long lastTimestamp) 
        long timestamp = timeGen();
        while (timestamp <= lastTimestamp) 
            timestamp = timeGen();
        
        return timestamp;
    

    /**
     * 测试
     * @param args
     */
    public static void main(String[] args) throws Exception 
        SnowflakeIdGenerator snowflakeIdGenerator = new SnowflakeIdGenerator(1,2);
        long id = snowflakeIdGenerator.genID();

        System.out.println("ID=" + id + ", lastTimestamp=" + snowflakeIdGenerator.getLastTimestamp());
        System.out.println("ID二进制:" + Long.toBinaryString(id));
        System.out.println("解析ID:");
        System.out.println("Sequence=" + snowflakeIdGenerator.getSequence(id));
        System.out.println("WorkerId=" + snowflakeIdGenerator.getWorkerId(id));
        System.out.println("DataCenterId=" + snowflakeIdGenerator.getDataCenterId(id));
        System.out.println("GenerateDateTime=" + snowflakeIdGenerator.getGenerateDateTime(id));

        System.out.println("Sequence2=" + snowflakeIdGenerator.getSequence2(id));
        System.out.println("WorkerId2=" + snowflakeIdGenerator.getWorkerId2(id));
        System.out.println("DataCenterId2=" + snowflakeIdGenerator.getDataCenterId2(id));
        System.out.println("GenerateDateTime2=" + snowflakeIdGenerator.getGenerateDateTime2(id));
    


雪花算法ID生成传统流程

1、组装生成id

生成id的过程,就是把每一种标识(时间、机器、序列号)移到对应位置,然后相加。

long id = (deltaTime << TIMESTAMP_LEFT_SHIFT) | (this.dataCenterId << DATA_CENTER_ID_SHIFT) | (this.workerId << WORKER_ID_SHIFT) | this.sequence;
  • deltaTime向左移22位(IDC-bit+机器bit+序列号bit)。
  • dataCenterId向左移17位(机器bit+序列号bit)。
  • workerId向左移12位(序列号bit)。
  • sequence不用移。
  • 中间的|以运算规律就相当于+求和(1 | 1 = 1,1 | 0 = 1,0 | 1 = 1,0 | 0 = 0)。

2、计算最大值的几种方式

(1)注意到代码中分别对每个标识的最大值做了计算:

//序列掩码,用于限定序列最大值为4095 ((2^12)-1) ,从0开始算就有4096个序列
private static final long SEQUENCE_MASK =  -1L ^ (-1L << SEQUENCE_BITS);

//最大支持机器节点数0~31,一共32个  (2^5)-1
private static final long MAX_WORKER_ID = -1L ^ (-1L << WORKER_ID_BITS);

//最大支持数据中心节点数0~31,一共32个   (2^5)-1
private static final long MAX_DATA_CENTER_ID = -1L ^ (-1L << DATA_CENTER_ID_BITS);

//最大时间戳 2199023255551   (2^41)-1
private static final long MAX_DELTA_TIMESTAMP = -1L ^ (-1L << TIME_STAMP_BITS);

如上方式计算最大值并不好理解,就是利用二进制的运算逻辑,如果不了解根本看不懂。拿-1L ^ (-1L << SEQUENCE_BITS)举例:

先看看从哪个方向开始计算:-1L ^ (-1L << 12)-1L(-1L <<12)^按位异或运算(1 ^ 1 = 0,1 ^ 0 = 1,0 ^ 1 = 1,0 ^ 0 = 0)。

  • -1L的二进制为64个1:1111111111111111111111111111111111111111111111111111111111111111
  • -1L左移12位得到:1111111111111111111111111111111111111111111111111111 000000 000000
  • 最后11111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111111 000000 000000^运算得到0000000000000000000000000000000000000000000000000000 111111 111111(前面有52个0),这就得到序列号的最大值(4095)了,也可以说是掩码。

Java运算符优先级列表

(2)其实有一种更容易理解的计算最大值的方式,比如计算12bit-序列号的最大值,那就是(2^12 -1)呀,但是位运算性能更高,用位运算的方式就是((1 << 12) -1)。1左移12位得到1 0000 0000 0000,减1也是可以得到1111 1111 1111,即4095。

(3)还看到一种计算最大值的方式,继续拿12bit-序列号举例,~(-1L << 12)~不知道怎么计算那就傻了:

-1L先向左移12位得到1111111111111111111111111111111111111111111111111111 000000 000000,然后进行~按位非运算(~ 1 = -2,~ 0 = -1 ,~n = - ( n+1 )),也可以理解为反转,1转为0,0转为1,然后也可以得到0000000000000000000000000000000000000000000000000000 111111 111111

3、反解析ID

(1)通过已经生成的ID解析出时间、机器和序列号:

public long getSequence(long id) 
    return id & ~(-1L << SEQUENCE_BITS);


public long getWorkerId(long id) 
    return id >> WORKER_ID_SHIFT & ~(-1L << WORKER_ID_BITS);


public long getDataCenterId(long id) 
    return id >> DATA_CENTER_ID_SHIFT & ~(-1L << DATA_CENTER_ID_BITS);


public long getGenerateDateTime(long id) 
    return (id >> TIMESTAMP_LEFT_SHIFT & ~(-1L << 41L)) + twepoch;

因为sequence本身就在低位,所以不需要移动,其他机器和时间都是需要将id向右移动,使得自己的有效位置在低位,至于和自己的最大值做&运算,是为了让不属于自己bit的位置无效,即都转为0。

例如:生成的id为1414362783486840832,转为二进制1001110100000110100110111010100111101010001000001000000000000,想解析出workerIdworkerId有效位为[13, 17],那就将id向右移12位,移到低位得到0000000000001001110100000110100110111010100111101010001000001workerId有5-bit,那么除了低位5-bit,其他位置都是无效bit,转为0。000000000000100111010000011010011011101010011110101000100000111111&运算得到1(左边都是0可以省掉)。

(2)不过还有一种解析的思路更易于理解,就是运用两次移位运算,把无效位置移除:

1bit-sign + 41bit-time + 5bit-IDC + 5bit-workerId + 12bit-sequence

/**
 * 通过移位解析出sequence,sequence有效位为[0,12]
 * 所以先向左移64-12,然后再像右移64-12,通过两次移位就可以把无效位移除了
 * @param id
 * @return
 */
public long getSequence2(long id) 
    return (id << (TOTAL_BITS - SEQUENCE_BITS)) >>> (TOTAL_BITS - SEQUENCE_BITS);

/**
 * 通过移位解析出workerId,workerId有效位为[13,17], 左右两边都有无效位
 * 先向左移 41+5+1,移除掉41bit-时间,5bit-IDC、1bit-sign,
 * 然后右移回去41+5+1+12,从而移除掉12bit-序列号
 * @param id
 * @return
 */
public long getWorkerId2(long id) 
    return (id << (TIME_STAMP_BITS + DATA_CENTER_ID_BITS + SIGN_BITS)) >>> (TIME_STAMP_BITS + DATA_CENTER_ID_BITS + SEQUENCE_BITS + SIGN_BITS);

/**
 * 通过移位解析出IDC_ID,dataCenterId有效位为[18,23],左边两边都有无效位
 * 先左移41+1,移除掉41bit-时间和1bit-sign
 * 然后右移回去41+1+5+12,移除掉右边的5bit-workerId和12bit-序列号
 * @param id
 * @return
 */
public long getDataCenterId2(long id) 
    return (id << (TIME_STAMP_BITS + SIGN_BITS)) >>> (TIME_STAMP_BITS + WORKER_ID_BITS + SEQUENCE_BITS + SIGN_BITS);

/**
 * 41bit-时间,左边1bit-sign为0,可以忽略,不用左移,所以只需要右移,并加上起始时间twepoch即可。
 * @param id
 * @return
 */
public long getGenerateDateTime2(long id) 
    return (id >>> (DATA_CENTER_ID_BITS + WORKER_ID_BITS + SEQUENCE_BITS)) + twepoch;

4、ID生成器使用方式

主要有两种方式,一种是发号器,一种是本地生成:

  • 发号器,就是把雪花算法ID生成封装成一个服务,部署在多台机器上,由外界请求发号器服务获取ID。这样做的好处,是机器不需要那么多,1024台完全足够了,相对ID的时间戳和序列号的bit就可以调大一些。但是因为需要远程请求获取ID,所以会受到网络波动的影响,性能上肯定是没有直接从本地生成获取高的,同时发号器一旦挂了,很多服务就不能对外提供服务了,所以发号器服务需要高可用,多实例,异地部署和容灾,发号器在发号的时候,也可以发布一段时间的ID,服务本地缓存起来,这样不仅提高性能,不需要每次都去请求发号器,也在一定程度上缓解了发号器故障带来的影响。
  • 本地生成ID,没有网络延迟,性能极高。只能通过机器id来保证生成的ID唯一性,所以需要提供足够多的机器id,每台机器可能部署多个服务,每个服务可能部署在多台机器,都需要分配不同的机器id,并且服务重启了也需要重新分配机器id。这样机器id就有了用后即毁的特点。需要足够多的机器id,就必须缩减时间bit和序列号bit。

可以利用MySql或者zk进行机器id的分配和管理。

四、时钟回拨问题和解决方案讨论

首先看看时钟为什么会发生回拨?机器本地时钟可能会因为各种原因发生不准的情况,网络中提供了NTP服务来做时间校准,做校准的时候就会发生时钟的跳跃或者回拨的问题。

因为雪花算法强依赖机器时钟,所以难以避免受到时钟回拨的影响,有可能产生ID重复。原标准实现代码中是直接抛异常,短暂停止对外服务,这样在实际生产中是无法忍受的。所以要尽量避免时钟回拨带来的影响,解决思路有两个:

  • 不依赖机器时钟驱动,就没时钟回拨的事儿了。即定义一个初始时间戳,在初始时间戳上自增,不跟随机器时钟增加。时间戳何时自增?当序列号增加到最大时,此时时间戳+1,这样完全不会浪费序列号,适合流量较大的场景,如果流量较小,可能出现时间断层滞后。
  • 依然依赖机器时钟,如果时钟回拨范围较小,如几十毫秒,可以等到时间回到正常;如果流量不大,前几百毫秒或者几秒的序列号肯定有剩余,可以将前几百毫秒或者几秒的序列号缓存起来,如果发生时钟回拨,就从缓存中获取序列号自增。

(时钟回拨问题,可通过手动调整电脑上的时钟进行模拟测试。)

1、时间戳自增彻底解决时钟回拨问题

private long sequence = -1L;
private long startTimestamp = 1623947387000L;
private synchronized  long nextId2() 
    long sequenceTmp = sequence;
    sequence = (sequence + 1) & SEQUENCE_MASK;
    // sequence =0 有可能是初始+1=0,也可能是超过了最大值等于0
    // 所以把 初始+1=0排除掉
    id生成算法-雪花算法(snowflake)及代码实现(代码片段)

...、java实现结尾前言唯一ID可以标识数据的唯一性,在分布式系统中生成唯一ID的方案有很多,常见的方式大概有以下三种:依赖数据库,使用如MySQL自增列或Oracle序列等。UUID随机数snowflake雪花算法(本文将要讨论)一... 查看详情

分布式id理解snowflake算法的实现原理(代码片段)

...owflake算法的实现原理我上次也看了一个视频讲解:【分布式ID】键高并发分布式全局唯一ID雪花算法snowflake2.前提#Snowflake(雪花)是Twitter开源的高性能ID生成算法(服务)。上图是Snowflake的Github仓库,mas 查看详情

分布式id生成方案:雪花算法(源自twitter)

参考技术A雪花(snowflake)在自然界中,是极具独特美丽,又变幻莫测的东西:雪花算法的原始版本是scala版,用于生成分布式ID(纯数字,时间顺序),订单编号等。算法描述:snowflake.gomain.go测试结果:结论: 查看详情

id号生成雪花算法

...生成2、SnowFlake算法生成id的结果是一个64bit大小的整数3、分布式系统内不会产生重复id(用有datacenterId和machineId来做区分)datacenterId(分布式)(服务ID1,2,3.....)每个服务中写死machineId(用于集群)机器ID读取机器的环境变量M... 查看详情

雪花算法原理和实现

...50010830/article/details/89845790SnowFlake算法,是Twitter开源的分布式id生成算法。其核心思想就是:使用一个64bit的long型的数字作为全局唯一id。在分布式系统中的 查看详情

雪花算法原理和实现

...50010830/article/details/89845790SnowFlake算法,是Twitter开源的分布式id生成算法。其核心思想就是:使用一个64bit的long型的数字作为全局唯一id。在分布式系统中的 查看详情

snowflake雪花算法详解与实现(代码片段)

...实现算法验证算法优缺点注意事项背景现在的服务基本是分布式,微服务形式的,而且大数据量也导致分库分表的产生,对于水平分表就需要保证表中id的全局唯一性。对于MySQL而言ÿ 查看详情

springboot分布式全局唯一id的生成-雪花算法snowflake

一背景描述1.1问题产生在分布式系统中,怎么使用全局唯一id?在分布式是,微服务的架构中,或者大数据分库分表中,多个不同节点怎么保持每台机器生成的主键id不重复,具有唯一性?方案1:mys... 查看详情

snowflake雪花算法分布式实现全局id生成(代码片段)

snowflake是Twitter开源的分布式ID生成算法,结果是一个long型的ID。这种方案大致来说是一种以划分命名空间(UUID也算,由于比较常见,所以单独分析)来生成ID的一种算法,这种方案把64-bit分别划分成多段,分开来标示机器、时间... 查看详情

twitter的分布式自增id算法snowflake(java版)

什么是雪花算法?雪花算法(Snowflake)是一种经典的分布式ID生成算法。在分布式系统中,有一些需要使用全局唯一ID的场景,这种时候为了防止ID冲突可以使用36位的UUID,但是UUID有一些缺点,首先他相对比较长,另外UUID一般是无序... 查看详情

雪花算法如何生成用户id?有什么高明之处?(代码片段)

...油!前言文章目录博主简介前言雪花算法生成用户ID分布式ID生成器分布式ID的特点snowflake算法介绍设计思想snowflake的Go实现Twitter索尼雪花 查看详情

雪花算法(snowflake)

简介现在的服务基本是分布式、微服务形式的,而且大数据量也导致分库分表的产生,对于水平分表就需要保证表中id的全局唯一性。对于MySQL而言,一个表中的主键id一般使用自增的方式,但是如果进行水平分表... 查看详情

springboot分布式全局唯一id的生成-雪花算法snowflake

一背景描述1.1问题产生在分布式系统中,怎么使用全局唯一id?在分布式是,微服务的架构中,或者大数据分库分表中,多个不同节点怎么保持每台机器生成的主键id不重复,具有唯一性?方案1:mys... 查看详情

分布式id生成方案-snowflake算法(代码片段)

...a;【码农在新加坡】,欢迎关注。个人博客网站:分布式ID生成方案-snowflake算法背景在互联网的业务系统中,涉及到各种各样的ID,这些ID需要保证全局唯一。我们称之为分布式ID,分布式ID需要满足唯一性、趋... 查看详情

分布式id生成方案-snowflake算法(代码片段)

...各种各样的ID,这些ID需要保证全局唯一。我们称之为分布式ID,分布式ID需要满足唯一性、趋势递增性、高可用性、高性能等特点。snowflake算法,也叫雪花算法,是其中的一种分布式ID生成方案。是twitter公司内部... 查看详情

《java知识应用》java雪花算法的原理和实现

SnowFlake算法,是Twitter开源的分布式id生成算法。其核心思想就是:使用一个64bit的long型的数字作为全局唯一id。在分布式系统中的应用十分广泛,且ID引入了时间戳,基本上保持自增的。这64个bit中,其中1个bit是不用的,然后用... 查看详情

java实现雪花算法(snowflake)-生成永不重复的id(源代码+工具类)使用案例(代码片段)

雪花算法是由Twitter公司开源的snowflake(雪花)算法。1、雪花算法的原理雪花算法会生成一个64位的二进制数据,为一个Long型。(转换成字符串后长度最多19),其基本结构:第一位:为未使用第二部分:41位为毫秒级时间(41位... 查看详情

java实现雪花算法(snowflake)-生成永不重复的id(源代码+工具类)使用案例(代码片段)

雪花算法是由Twitter公司开源的snowflake(雪花)算法。1、雪花算法的原理雪花算法会生成一个64位的二进制数据,为一个Long型。(转换成字符串后长度最多19),其基本结构:第一位:为未使用第二部分:41位为毫秒级时间(41位... 查看详情