一致性hash算法实现(伪码)(代码片段)

ronghantao ronghantao     2023-02-27     788

关键词:

一致性Hash算法原理参考此博客,介绍的比较详细:https://www.cnblogs.com/lpfuture/p/5796398.html

预设场景:所有请求过来,会根据一致性hash算法,选择一个服务器转发出去,一致性hash算法获取到的是服务器的ip。

假定节点存储结构如下:

class Node
    String addr; //存放服务器的ip

实现方案一(bitmap+HashMap)

借助数据结构

1. 2^32长度的bitmap,用于标记有节点的下表

2. HashMap,用于存储下标到对象的映射

数据查找伪码实现如下:

bitmap = [0,0,0,1,0,0,1,...0]; //2^32的bitmap,每个为1的值标识此位置包含node
indexToAddr<Integer, Node> map; //存储bitmap中获取的位置下标到Node的映射
n=hash(x); //x假设为请求中获取到的用户id,通过hash算法可以得到一个0-2^32-1之间的整数

//开始计算
while(bitmap[n] != 1)
    n = (n+1)%2^32;


//n即为node在环中占的位置,从hash中取出此值
Node node = map.get(n);

return node.addr;

节点插入伪码实现如下:

Node toBeInsert = new Node(x); //插入值为x的节点
int n = hash(x);
bitmap[n] = 1; //置位为1
map.put(n, toBeInsert);

 

这种方式完全是按照原理中介绍的来实现的,需要用到一个2^32的bitmap,如果不进行压缩,需要占用512M的空间。占用空间较大,但是能直接定位到值。

实现方案二(链表)

借助数据结构:链表

class LinkNode     //定义链表数据结构
    LinkNode next;
    int index; //下标
    Node value;


LinkNode head = []->[]->...->[]->head; //按照index排序的链表

int n=hash(x);
LinkNode front = null;
LinkNode cur=head;
while(cur.index<n)
    front = cur;
    cur = cur.next;


if(front == null) front = head;

return front.val.node;

链表的方式每次都会从表头开始遍历一遍才能找到指定位置

链表方式的插入:直接创建一个节点插入进来就可以了,保证链表是有序的。

手撸一致性hash算法(java实现)(代码片段)

正文在下面,先打个广告:一、一致性Hash(ConsistentHashing)原理剖析引入一致性哈希算法是分布式系统中常用的算法。一致性哈希算法解决了普通余数Hash算法伸缩性差的问题,可以保证在上线、下线服务器的情况下尽量... 查看详情

一致性hash算法java版实现(代码片段)

...字长文聊缓存(下)-应用级缓存》,谈到缓存不说一下一致性Hash算法那就是在耍流氓。分布式缓存集群的访问模型现在通常使用Redis来做分布式缓存,下面我们就以Redis为例:假如当前我们系统的业务发展很快,需要缓存的数据... 查看详情

一致性hash算法原理总结(代码片段)

作者:kylinkzhang,腾讯CSIG后台开发工程师一致性Hash算法是解决分布式缓存等问题的一种算法,本文介绍了一致性Hash算法的原理,并给出了一种实现和实际运用的案例;一致性Hash算法背景考虑这么一种场景ÿ... 查看详情

一致性hash算法深入探究(代码片段)

...hash,打破了原始的设计初衷,怎么解决呢?一致性h 查看详情

对一致性hash算法,java代码实现的深入研究

一致性Hash算法关于一致性Hash算法,在我之前的博文中已经有多次提到了,MemCache超详细解读一文中"一致性Hash算法"部分,对于为什么要使用一致性Hash算法、一致性Hash算法的算法原理做了详细的解读。算法的具体原理这里再次贴... 查看详情

对一致性hash算法,java代码实现的深入研究

一致性Hash算法关于一致性Hash算法,在我之前的博文中已经有多次提到了,MemCache超详细解读一文中"一致性Hash算法"部分,对于为什么要使用一致性Hash算法和一致性Hash算法的算法原理做了详细的解读。算法的具体原理这里再次贴... 查看详情

对一致性hash算法,java代码实现的深入研究

原文:http://www.cnblogs.com/xrq730/p/5186728.html一致性Hash算法关于一致性Hash算法,在我之前的博文中已经有多次提到了,MemCache超详细解读一文中"一致性Hash算法"部分,对于为什么要使用一致性Hash算法、一致性Hash算法的算法原理做了... 查看详情

架构实践使用golang实现一致性hash算法代码

【架构实践】使用golang实现一致性Hash算法代码文章目录【架构实践】使用golang实现一致性Hash算法代码分布式系统中的一致性Hash算法具体是什么?再详细一点讲讲一致性Hash算法存在的一些问题一致性Hash算法都有哪些实际的应用... 查看详情

一致性hash算法consistenthashing(代码片段)

一致性hash算法ConsistentHashing对于原有hash算法hash%nso...1.话不多说直接上代码,原理或详解自行百度即可importcn.pheker.utils.UtilElapsedTime;importcn.pheker.utils.UtilLogger;importcn.pheker.utils.UtilMD5;importjava.util.*;/***<pre 查看详情

mongodb多数据源实现(代码片段)

...源对应每个MongoDB集合都支持自定义分片算法提供默认的一致性hash算法实现,解决使用一致性hash分片算法时可能存在的多数据源数据倾斜问题提供默认的一致性hash分片算法实现,对于MongoDB集合可以采用一致性hash算法来... 查看详情

dubbo协调一致性哈希算法在项目中的应用(代码片段)

下面的算法是对Dubbo源码中协调一致性Hash算法改进后在项目中做负载均衡使用:注意:1.Dubbo的一致性Hash算法实现逻辑:   对每个一个注册的服务名,创建一个选择器(ConsistentHashSelector),这个选择器中维护了一个hash环,这个Hash环... 查看详情

基础算法一致性hash算法(代码片段)

hash这个词对我们来说并不陌生,以缓存服务器来说,一般会在线上配置好几台服务器,然后根据hash来决定请求哪台缓存服务,比如常见的就是取模方式hash(key)%num来获取目标机器。假设现在有3台缓存服务器,... 查看详情

分布式之一致性hash(代码片段)

一致性Hash算法  概念:先构造一个长度为232的整数环(这个环被称为一致性Hash环),根据节点名称的Hash值(其分布为[0,232-1])将服务器节点放置在这个Hash环上,然后根据数据的Key值计算得到其Hash值(其分布也为[0,232-1]),... 查看详情

提取jedis源码的一致性hash代码作为通用工具类(代码片段)

一致性Hash热点一致性Hash算法是来解决热点问题,如果虚拟节点设置过小热点问题仍旧存在。关于一致性Hash算法的原理我就不说了,网上有很多人提供自己编写的一致性Hash算法的代码示例,我在跑网上的代码示例发现还是有热... 查看详情

数据结构与算法—一致性哈希(代码片段)

 一致性哈希算法在1997年由麻省理工学院提出的一种分布式哈希(DHT)实现算法,设计目标是为了解决因特网中的热点(Hotspot)问题,初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题,使得分布式哈希... 查看详情

java面试题高阶版(代码片段)

...减少的时候,数据存取位置为发生变化;  什么是一致性hash算法?  一致性hash算法对2^32取模,整个Hash空间组织成一个虚拟的圆环,Hash函数的值空间为0~2^32-1(一个32位无符号整型),在hash环中顺序找到服务节点2.redis... 查看详情

go分布式缓存一致性哈希(hash)(day4)(代码片段)

Go分布式缓存一致性哈希(hash)(day4)1为什么使用一致性哈希今天我们要实现的是一致性哈希算法,一致性哈希算法是GeeCache从单节点走向分布式节点的一个重要的环节。那你可能要问了,童鞋,一致性哈希算法是啥?... 查看详情

缓存架构中分布式一致性hash应用解析(代码片段)

前言本篇文章会从什么是分布式一致性hash算法、hash算法在Memcached、Redis中的应用、以及Java本地缓存与分布式缓存绝佳组合、剖析从浏览器缓存到数据库缓存等;然后去解析一致性hash算法的应用。以及我们在项目应用中,... 查看详情