关键词:
一、为什么要使用分布式锁分布式环境下修改某个共有的数据,比如redis的共有数据;
在同一时间,可能多个节点都先查询这个数据,然后更新。在查询的时候,结果是一样的,但是各个节点更新的时候,就是以最后一个更新为准了,这样就会导致其它节点的更新其实是失败的;
案例:告警设置max_step的功能就是分布式更新导致通知多次;
解决以上问题最彻底的办法(不一定是最好)是使用分布式锁,这样可以保证数据的一致性。但是分布式锁很多会带来性能的下降,所以不一定是最好的方式。
二、分布式锁的三种实现方式
1、基于数据库实现分布式锁
对字段增加唯一性约束;?
2、基于缓存(Redis等)实现分布式锁
setnx()方法,这种很高效,另外也有一种比较低效的方式:查询的时候就上锁,如下:
try
lock = redisTemplate.opsForValue().setIfAbsent(lockKey, LOCK);
logger.info("cancelCouponCode是否获取到锁:"+lock);
if (lock)
// TODO
redisTemplate.expire(lockKey,1, TimeUnit.MINUTES); //成功设置过期时间
return res;
else
logger.info("cancelCouponCode没有获取到锁,不执行任务!");
finally
if(lock)
redisTemplate.delete(lockKey);
logger.info("cancelCouponCode任务结束,释放锁!");
else
logger.info("cancelCouponCode没有获取到锁,无需释放锁!");
3、基于Zookeeper实现分布式锁
让我们来回顾一下Zookeeper节点的概念:
Zookeeper的数据存储结构就像一棵树,这棵树由节点组成,这种节点叫做Znode。
Znode分为四种类型:
1.持久节点 (PERSISTENT)
默认的节点类型。创建节点的客户端与zookeeper断开连接后,该节点依旧存在 。
2.持久节点顺序节点(PERSISTENT_SEQUENTIAL)
所谓顺序节点,就是在创建节点时,Zookeeper根据创建的时间顺序给该节点名称进行编号:
3.临时节点(EPHEMERAL)
和持久节点相反,当创建节点的客户端与zookeeper断开连接后,临时节点会被删除:
4.临时顺序节点(EPHEMERAL_SEQUENTIAL)
顾名思义,临时顺序节点结合和临时节点和顺序节点的特点:在创建节点时,Zookeeper根据创建的时间顺序给该节点名称进行编号;当创建节点的客户端与zookeeper断开连接后,临时节点会被删除。
Zookeeper分布式锁的原理
Zookeeper分布式锁恰恰应用了临时顺序节点。具体如何实现呢?让我们来看一看详细步骤:
获取锁
首先,在Zookeeper当中创建一个持久节点ParentLock。当第一个客户端想要获得锁时,需要在ParentLock这个节点下面创建一个临时顺序节点?Lock1。
之后,Client1查找ParentLock下面所有的临时顺序节点并排序,判断自己所创建的节点Lock1是不是顺序最靠前的一个。如果是第一个节点,则成功获得锁。
这时候,如果再有一个客户端 Client2 前来获取锁,则在ParentLock下载再创建一个临时顺序节点Lock2。
Client2查找ParentLock下面所有的临时顺序节点并排序,判断自己所创建的节点Lock2是不是顺序最靠前的一个,结果发现节点Lock2并不是最小的。
于是,Client2向排序仅比它靠前的节点Lock1注册Watcher,用于监听Lock1节点是否存在。这意味着Client2抢锁失败,进入了等待状态。
这时候,如果又有一个客户端Client3前来获取锁,则在ParentLock下载再创建一个临时顺序节点Lock3。
Client3查找ParentLock下面所有的临时顺序节点并排序,判断自己所创建的节点Lock3是不是顺序最靠前的一个,结果同样发现节点Lock3并不是最小的。
于是,Client3向排序仅比它靠前的节点Lock2注册Watcher,用于监听Lock2节点是否存在。这意味着Client3同样抢锁失败,进入了等待状态。
这样一来,Client1得到了锁,Client2监听了Lock1,Client3监听了Lock2。这恰恰形成了一个等待队列,很像是Java当中ReentrantLock所依赖的
释放锁
释放锁分为两种情况:
1.任务完成,客户端显示释放
当任务完成时,Client1会显示调用删除节点Lock1的指令。
2.任务执行过程中,客户端崩溃
获得锁的Client1在任务执行过程中,如果Duang的一声崩溃,则会断开与Zookeeper服务端的链接。根据临时节点的特性,相关联的节点Lock1会随之自动删除。
由于Client2一直监听着Lock1的存在状态,当Lock1节点被删除,Client2会立刻收到通知。这时候Client2会再次查询ParentLock下面的所有节点,确认自己创建的节点Lock2是不是目前最小的节点。如果是最小,则Client2顺理成章获得了锁。
同理,如果Client2也因为任务完成或者节点崩溃而删除了节点Lock2,那么Client3就会接到通知。
最终,Client3成功得到了锁。
一篇让你读懂java中的字符串(string)(代码片段)
目录创建字符串方式1方式2方式3三种方式的内存图方式1方式2方式3总结理解池的概念回忆引用字符串判断相等判断字符串引用是否相等代码1代码2代码3代码4总结判断字符串内容是否相等变量与变量进行比较字符串常量与变量进... 查看详情
从源码入手,一文带你读懂springaop面向切面编程
之前《零基础带你看Spring源码——IOC控制反转》详细讲了Spring容器的初始化和加载的原理,后面《你真的完全了解Java动态代理吗?看这篇就够了》介绍了下JDK的动态代理。基于这两者的实现上,这次来探索下Spring的AOP原理。虽... 查看详情
分布式锁的实现方式及原理
...理一下业务,这是普通的事务是满足不了业务需求,需要分布式锁**分布式锁的常用3种实现:* 0.数据库乐观锁实现* 1. 查看详情
锁的原理和使用场景,乐观锁悲观锁公平锁非公平锁,基于数据库rediszookeeper实现分布式锁的原理及代码实现(代码片段)
一、锁1.1什么是锁?在JAVA中是一个非常重要的概念,尤其是在当今的互联网时代,高并发的场景下,更是离不开锁。那么锁到底是什么呢?在计算机科学中,锁(lock)或互斥(mutex)是一种同步机制,用于... 查看详情
分布式锁机制原理及实现方式(代码片段)
前言分布式锁,是控制分布式系统之间同步访问共享资源的一种方式在分布式系统中,常常需要协调他们的动作。如果不同的系统或是同一个系统的不同主机之间共享了一个或一组资源,那么访问这些资源的时候,往往需要互斥... 查看详情
一文读懂javagc原理和调优(代码片段)
概述本文介绍GC基础原理和理论,GC调优方法思路和方法,基于Hotspotjdk1.8,学习之后将了解如何对生产系统出现的GC问题进行排查解决阅读时长约30分钟,内容主要如下:GC基础原理,涉及调优目标,GC事件分类、JVM内存分配策略... 查看详情
java:一篇读懂注解的实现原理总结及使用示例(代码片段)
写在前面:以前,『XML』是各大框架的青睐者,它以松耦合的方式完成了框架中几乎所有的配置,但是随着项目越来越庞大,『XML』的内容也越来越复杂,维护成本变高。于是就有人提出来一种标记式高耦合的... 查看详情
分布式锁原理及实现方式(代码片段)
目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availabi... 查看详情
xxl-job一文读懂(代码片段)
...是定时任务1.2.1 Java实现定时任务三大方式1.2.2 常见开源分布式任务框架1.2.3传通定时任务的不足·2、Xxl-job分布式定时任务2.1Xxl-job核心组件 2.2Xxl-job优点3、Xxl-job实战3.1、Xxl-job安装3.1.1下载源码 3.1.2数据库初始化3.1.3XXL-JOB数据... 查看详情
一文读懂国产分布式数据库tidb&oceanbase原理(代码片段)
...据库维护团队以及应用开发团队带来巨大的工作量。此时分布式数据库的使用就很好的契合了这个场景。本文分析阿里云的OceanBase和PingCAPTiDB两款分布式数据库,主要从产品架构、数据分片原理、数据同步原理、MVCC多版本并... 查看详情
一文读懂国产分布式数据库tidb&oceanbase原理(代码片段)
...据库维护团队以及应用开发团队带来巨大的工作量。此时分布式数据库的使用就很好的契合了这个场景。本文分析阿里云的OceanBase和PingCAPTiDB两款分布式数据库,主要从产品架构、数据分片原理、数据同步原理、MVCC多版本并... 查看详情
分布式锁的多种实现方式(代码片段)
分布式锁的多种实现方式点击上方“Hollis”关注我,精彩内容第一时间呈现。全文字数:5000阅读时间:10分钟目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式... 查看详情
微信小程序一文带你读懂云开发(代码片段)
前言 云开发(CloudBase)是一个已经存在了很多年的概念,但在过去未能真正成为主流。然而,由于云和软件即服务的宏观趋势的结合,以及技术的进步,如容器技术Docker和Kubernetes,云开发现在有机... 查看详情
分布式锁原理及实现方式(代码片段)
... 目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性... 查看详情
快速读懂redis分布式锁的实现和原理
目录前言:一、为什么要用分布式锁二、Reids如何实现分布式锁1、简单实现的办法2、升级版本3、升级版本-优化4、最终优化版本:Lua脚本前言:什么是分布式锁:分布式锁,就是控制分布式系统中不同进程共同访问同一共享资源... 查看详情
fastdfs一文读懂(代码片段)
目录FastDFS介绍FastDFS概念FastDFS作用FastDFS优缺点 FastDFS相关概念FastDFS原理FastDFS系统拓扑图FastDFS核心工作流程FastDFS文件上传FastDFS文件下载 Linux环境搭建FastDFSDocker环境搭建FastDFSSpringBoot封装FastDFS功能模块FastDFS介绍FastDFS概念FastDFS... 查看详情
分布式锁的几种实现方式(代码片段)
目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区... 查看详情
分布式锁的几种实现方式(代码片段)
目前几乎很多大型网站及应用都是分布式部署的,分布式场景中的数据一致性问题一直是一个比较重要的话题。分布式的CAP理论告诉我们“任何一个分布式系统都无法同时满足一致性(Consistency)、可用性(Availability)和分区容... 查看详情