threadlocal必知必会(代码片段)

zzq6032010 zzq6032010     2023-03-16     640

关键词:

前言

自从被各大互联网公司的"造火箭"级面试难度吊打之后,痛定思痛,遂收拾心神,从基础的知识点开始展开地毯式学习。每一个非天才程序猿都有一个对35岁的恐惧,而消除恐惧最好的方式就是面对它、看清它、乃至跨过它,学习就是这个世界给普通人提供的一把成长型武器,掌握了它,便能与粗暴的生活一战。

最近看了好几篇有关ThreadLocal的面试题和技术博客,下面结合源码自己做一个总结,以方便后面的自我回顾。

本文重点:

1、ThreadLocal如何发挥作用的?

2、ThreadLocal设计的巧妙之处

3、ThreadLocal内存泄露问题

4、如何让新线程继承原线程的ThreadLocal?

下面开始正文。

一、ThreadLocal如何发挥作用的?

首先来一段本地demo,工作中用的时候也是类似的套路,先声明一个ThreadLocal,然后调用它的set方法将特定对象存入,不过用完之后一定别忘了加remove,此处是一个错误的示范...

 1 public class ThreadLocalDemo 
 2 
 3     private static ThreadLocal<String> threadLocal = new ThreadLocal<String>();
 4 
 5     public static void main(String[] args) 
 6         threadLocal.set("main thread");
 7         new Thread(() -> 
 8             threadLocal.set("thread");
 9         ).start();
10     
11 

追踪一下set方法:

1     public void set(T value) 
2         Thread t = Thread.currentThread();
3         ThreadLocalMap map = getMap(t); // 1、得到map
4         if (map != null)
5             map.set(this, value); // 2、放入value
6         else
7             createMap(t, value); // 3、初始化map
8     

在threadLocal的set方法中有三个主要方法,第一个方法是去当前线程的threadLocals中获取map,该map是Thread类的一个成员变量。

技术图片

 

 如果线程是新建出来的,threadLocals这个值肯定是null,此时会进入方法3 createMap中(如下)新建一个ThreadLocalMap,存入当前的ThreadLocal对象和value。

1 void createMap(Thread t, T firstValue) 
2         t.threadLocals = new ThreadLocalMap(this, firstValue);
3     

相对而言最复杂的是方法2 map.set()方法,如下,该方法代码位于ThreadLocal的内部类ThreadLocalMap中。

 1 private void set(ThreadLocal<?> key, Object value) 
 2 
 3             // We don‘t use a fast path as with get() because it is at
 4             // least as common to use set() to create new entries as
 5             // it is to replace existing ones, in which case, a fast
 6             // path would fail more often than not.
 7 
 8             Entry[] tab = table;
 9             int len = tab.length;
10             int i = key.threadLocalHashCode & (len-1); // 1、获取要存放的key的数组下标
11 
12             for (Entry e = tab[i];
13                  e != null;
14                  e = tab[i = nextIndex(i, len)])  ///2、如果下标所在位置是空的,则直接跳过此for循环,不为空则进入内部判断逻辑,否则往下移动数组指针 ***
15                 ThreadLocal<?> k = e.get();
16                 // 2.1 如果不是空,则判断key是不是原数组下标处Entry对象的key,是的话直接替换value即可
17                 if (k == key) 
18                     e.value = value;
19                     return;
20                 
21                 // 2.2 如果数组下标处的Entry的key是null,说明弱引用已经被回收,此时也替换掉value ***
22                 if (k == null) 
23                     replaceStaleEntry(key, value, i);
24                     return;
25                 
26             
27             // 3、说明数组中i所在位置是空的,直接new一个Entry赋值
28             tab[i] = new Entry(key, value);
29             int sz = ++size;
30             if (!cleanSomeSlots(i, sz) && sz >= threshold) // 4、清理掉一些无用的数据 ***
31                 rehash();
32         

该方法加了注释,重要的地方均用 *** 标识了出来,虽然可能无法清楚每一步的用意与原理,但大体做了什么都能知道---在此方法中完成了value对象的存储

写到这里的时候,BZ的思维也不清晰了,赶紧画个图清醒下:

技术图片

 

 完成set操作后,当前线程、threadLocal变量、ThreadLocal对象、ThreadLocalMap之间的关系基本梳理出来了。

插播一个扩展,补充一下引用相关的知识。Java中的强引用是除非代码主动修改或者持有引用的变量被清理,否则该引用指向的对象一定不会被垃圾回收器回收;软引用是只要JVM内存空间够用,就不会对该引用指向的对象进行垃圾回收;而弱引用是只要进行垃圾回收时该对象只有弱引用,则就会被回收。

Entry类的弱引用实现如下所示:

1 static class Entry extends WeakReference<ThreadLocal<?>> 
2             /** The value associated with this ThreadLocal. */
3             Object value;
4 
5             Entry(ThreadLocal<?> k, Object v) 
6                 super(k);
7                 value = v;
8             
9         

下面开始填坑。

 

二、ThreadLocal设计的巧妙之处

上面ThreadLocalMap.set方法的代码中,标识了三颗星的第二步有什么意义?

 答:找到第一个未被占的下标位置。ThreadLocalMap中的Entry[]数组是一个环状结构,通过nextIndex方法即可证明,当i+1比len大的时候,返回0即初始位置。当出现hash冲突时,HashMap是通过在下标位置串接链表来存放数据,而ThreadLocalMap不会有那么大的访问量,所以采用了更加轻便的解决hash冲突的方式-往后移一个位置,看看是不是空的,不是空的则继续往后移,直到找到空的位置。

1 private static int nextIndex(int i, int len) 
2             return ((i + 1 < len) ? i + 1 : 0);
3         

 

为什么编写JDK代码的大佬们要将Entry的key设置为弱引用?标识了三颗星的2.2步为什么key会是null?

答:key设置为弱引用是为了当threadLocal被清理之后堆中的ThreadLocal对象也能被清理掉,避免ThreadLocal对象带来的内存泄露。这也是key是null的原因-当只有key这个弱引用指向ThreadLocal对象时,发生一次垃圾回收就会将该ThreadLocal回收了。但这种方式没法完全避免内存泄露,因为回看之前的内存分布图,key指向的对象虽然被释放了内存,但是value还在啊,而且由于这个value对应的key是null,也就不会有地方使用这个value,完蛋,内存释放不了了。

这时2.2的逻辑就发挥一部分作用了,如果当前i下标的key是null,说明已经被回收了,那么直接把这个位置占用就行了,反正已经没人用了。

 

标识了三颗星的第四步 cleanSomeSlots方法的职责是什么?

 答:该方法用于清除部分key为null的Entry对象。为什么是清除部分呢?且看方法实现:

 1 private boolean cleanSomeSlots(int i, int n) 
 2             boolean removed = false;
 3             Entry[] tab = table;
 4             int len = tab.length;
 5             do 
 6                 i = nextIndex(i, len);
 7                 Entry e = tab[i];
 8                 if (e != null && e.get() == null) 
 9                     n = len;
10                     removed = true;
11                     i = expungeStaleEntry(i);
12                 
13              while ( (n >>>= 1) != 0);
14             return removed;
15         

在do/while循环中,每次循环给n右移一位(传入的n是数组中存放的数据个数),如果遇到一个key为null的情况, 说明数组中可能存在多个这种对象,所以将n置为整个数组的长度,多循环几次,并且调用了expungeStaleEntry方法将key为null的value引用去掉。cleanSomeSlots方法没有采用完全循环遍历的方式,主要出于方法执行效率的考量。

下面再详细说说expungeStaleEntry方法的逻辑,该方法专门用于清除key为null的这种过期数据,而且还附带一个作用:将之前因为hash冲突导致下标后移的对象收缩紧凑一些,提高遍历查询效率。

 1 private int expungeStaleEntry(int staleSlot) 
 2             Entry[] tab = table;
 3             int len = tab.length;
 4             // 1、清除入参所在下标的value
 5             // expunge entry at staleSlot
 6             tab[staleSlot].value = null;
 7             tab[staleSlot] = null;
 8             size--;
 9             // 2、从入参下标开始往后遍历,一直遍历到tab[i]等于null的位置停止
10             // Rehash until we encounter null
11             Entry e;
12             int i;
13             for (i = nextIndex(staleSlot, len);
14                  (e = tab[i]) != null;
15                  i = nextIndex(i, len)) 
16                 ThreadLocal<?> k = e.get();
17                 if (k == null)  // 2.1 如果key为null,找的就是这种浑水摸鱼的,必除之而后快
18                     e.value = null;
19                     tab[i] = null;
20                     size--;
21                  else 
22                     int h = k.threadLocalHashCode & (len - 1);
23                     if (h != i)  // 2.2 h即当前这个entry的key应该在的下标位置,如果跟i不同,说明这个entry是发生下标冲突后移过来的
24                         tab[i] = null; // 此时要将现在处于i位置的e移到h位置,故先将tab[i]置为null,在后面再将tab[i]位置的e存入h位置
25 
26                         // Unlike Knuth 6.4 Algorithm R, we must scan until
27                         // null because multiple entries could have been stale.
28                         while (tab[h] != null) // 2.3 这里通过while循环来找到h以及后面第一个为null的下标位置,这个位置就是存放e的位置
29                             h = nextIndex(h, len);
30                         tab[h] = e;
31                     
32                 
33             
34             return i;
35         

 

为什么存放线程相关的变量要这样设计?为何不能在ThreadLocal中定义一个Map的成员变量,key就是线程,value就是要存放的对象,这样设计岂不是更简洁易懂?

答:这样设计能做到访问效率和空间占用的最优。先看访问效率,如果采用平常思维的方式用一个公共Map来存放key-value,则当多线程访问的时候肯定会有访问冲突,即使使用ConcurrentHashMap也同样会有锁竞争带来的性能消耗,而现在这种将map存入Thread中的设计,则保证了一个线程只能访问自己的map,并且是单线程肯定不会有线程安全问题,简直不要太爽。

 

三、ThreadLocal内存泄露问题

文章开头的示例中,用static修饰了ThreadLocal,这样做是否必要?有什么作用?

答:用static修饰ThreadLocal变量,使得在整个线程执行过程中,Map中的key不会被回收(因为有一个静态变量的强引用在引用着呢),所以想什么时候取就什么时候取,而且从头到尾都是同一个threadLocal变量(再new一个除外),存入map中时也只占用一个下标位置,不会出现不可控的内存占用超限。由此可见,设置为static并不是完全必要,但作用是有的。

ThreadLocal中针对key为null的情况,在好几处用不同的姿势进行清除,就是为了避免内存泄漏,这样是否能完全避免内存泄漏?若不能,如何做才能完全避免?

答:能最大程度的避免内存泄漏,但不能完全避免。线程执行完了就会将ThreadLocalMap内存释放,但如果是线程池中的线程,一直重复利用,那么它的Map中的value数据就可能越攒越多得不到释放引起内存泄露。如何避免?用完后在finally中调一下remove方法吧,前辈大佬们都给写好了的方法,且用即可。

 

另外,threadLocal变量不能是局部变量,因为key是弱引用,如果设置成局部变量,则方法执行完之后强引用清除只剩弱引用,就可能被释放掉,key变为null,这样也就背离了ThreadLocal在同一个线程经过多个方法时共享同一个变量的设计初衷。

 

四、如何让新线程继承原线程的ThreadLocal?

 答:new一个InheritableThreadLocal对象set数据即可,这时会存入当前Thread的成员变量 inheritableThreadLocals中。当在当前线程中new一个新线程时,在新线程的init方法中会将当前线程的inheritableThreadLocals存入新线程中,完成数据的继承。

技术图片

 

 Old Thread(ZZQ):毕生功力都传授给你了,还不赶紧去为祸人间?

New Thread(Pipe River): ...

hive必知必会(代码片段)

hive: 基于hadoop,数据仓库软件,用作OLAPOLAP:onlineanalyzeprocess 在线分析处理OLTP:onlinetransactionprocess在线事务处理 事务: ACID A:atomic 原子性 C:consistent 一致性 I:isolation 隔离性 D:durability 持久性 1读未提交   脏读 //事务... 查看详情

mysql必知必会(代码片段)

姊妹篇——Hive必知必会(数据仓库):https://hiszm.blog.csdn.net/article/details/119907136文章目录第一章:数据库基础基本概念什么是SQL第二章:MySQL简介第三章:了解数据库和表第四章:检索数据SELECT语句第五章:... 查看详情

crypto必知必会(代码片段)

crypto必知必会最近参加了个ctf比赛,在i春秋,南邮方面刷了一些crypto密码学题目,从中也增长了不少知识,在此关于常见的密码学知识做个小总结!Base编码Base编码中用的比较多的是base64,首先就说一下Base64编码方式将字符串以... 查看详情

springmvc--必知必会(代码片段)

  SpringMVC基于模型--视图--控制器(Model-View-Controller,MVC)模式实现,属于SpringFrameWork的后续产品,已经融合在SpringWebFlow里面。它通过一套注解,让一个简单的Java类成为处理请求的控制器,而无需实现任何接口。同时它还支持... 查看详情

h5系列之history(必知必会)(代码片段)

H5系列之History(必知必会)目录概念兼容性属性方法H5方法概念理解HistoryApi的使用方式目的是为了解决哪些问题作用:ajax获取数据时,可以改变历史记录,从而可以使用浏览器的后退和前进。【】规范地址:http://www.w3.org/TR/html5... 查看详情

scala必知必会(代码片段)

文章目录入门概述安装JavaVSScalaval和var基本数据类型lazy在Scala中的应用开发工具IDEAMaven函数方法定义默认参数命名参数可变参数条件语句循环语句面向对象概述类的定义和使用抽象类伴生类和伴生对象case和trait集合数组ListSetMapOpt... 查看详情

必知必会的设计原则——合成复用原则(代码片段)

 设计原则系列文章 必知必会的设计原则——单一职责原则必知必会的设计原则——开放封闭原则必知必会的设计原则——依赖倒置原则必知必会的设计原则——里氏替换原则必知必会的设计原则——接口隔离原则必知必... 查看详情

读书笔记sql必知必会(代码片段)

章节标题页数进度完成时间1了解SQL1~9100%2022-04-08 2检索数据SELECT10~22100%2022-04-103排序检索数据ORDERBY23~30100%2022-04-114过滤数据WHERE31~38100%2022-04-115高级数据过滤(组合WHERE,NOT,IN)39~49100%2022-04-166用 查看详情

大数据必知必会:hadoop单机环境安装(代码片段)

(大数据必知必会:Hadoop(1)单机环境安装)安装前准备操作系统准备本次安装采用的操作系统是Ubuntu20.04。更新一下软件包列表。sudoapt-getupdate安装Java8+使用命令安装Java8。sudoapt-getinstall-yopenjdk-8-jdk配置环境变量。vi~/.bashrcexportJAVA... 查看详情

大数据必知必会:hadoop高可用集群安装(代码片段)

(大数据必知必会:Hadoop(4)高可用集群安装)安装前准备高可用集群环境下,至少需要3台服务器,这里准备5台。IP地址主机名称角色10.0.0.5node1JournalNode、NameNode、ResourceManager10.0.0.6node2JournalNode、NameNode、ResourceManager10.0.0.7node3Journa... 查看详情

13条必知必会&&测试(代码片段)

1.13条必知必会<1>all():查询所有结果<2>filter(**kwargs):它包含了与所给筛选条件相匹配的对象<3>get(**kwargs):返回与所给筛选条件相匹配的对象,返回结果有且只有一个,如果符合筛选条件的对象超过一个或者没有都会抛... 查看详情

大数据linux必知必会-02(代码片段)

8网络配置8.1静态ip设置配置文件地址:/etc/sysconfig/network-scripts/ifcfg-ens33修改如下原来改成reboot重启下生效8.2修改linux主机名修改配置文件下的主机名/etc/hostname[root@hadoop~]#vim/etc/hostname修改映射文件/etc/sysconfig/network[root@hadoop~]#vim/etc 查看详情

mysql必知必会(初级篇)(代码片段)

mysql1.基本概念2.SQL语言2.1DCL(数据控制语言)2.1.1创建用户2.1.2使用grant命令给用户授权2.1.3使用revoke命令撤销权限2.2DDL(数据定义语言)2.2.1mysql常用约束类型2.2.2使用alter命令修改表结构2.2.3使用drop命令删除表2.3DML(数据操纵语言)2.3.1使... 查看详情

大数据必知必会:hadoop伪分布式安装(代码片段)

(大数据必知必会:Hadoop(2)伪分布式安装)安装前准备操作系统准备本次安装采用的操作系统是Ubuntu20.04。更新一下软件包列表。sudoapt-getupdate安装Java8+使用命令安装Java8。sudoapt-getinstall-yopenjdk-8-jdk配置环境变量。vi~/.bashrcexportJAVA... 查看详情

promise必知必会经典题(代码片段)

题目转载来自:https://github.com/nswbmw/node-in-debugging/blob/master/3.1Promise.md如何写出清晰优雅的代码也是调试重要的一部分,而在过去很长一段时间内,JavaScript最令人吐槽的就是回调地狱(callbackhell)了。先看一段... 查看详情

必知必会-使用kafka之前要掌握的知识(代码片段)

必知必会系列之kafka前记kafka特性kafka实现顺序写高速读概念介绍分区和分组队列还是分发消费方式API前记消息队列是分布式系统架构中不可或缺的基础组件,它主要负责服务间的消息通信和数据传输。市面上有很多的开源消... 查看详情

es6必知必会——generator函数(代码片段)

Generator函数1.Generator函数是ES6提供的一种异步编程解决方案,语法行为与传统函数完全不同,通常有两个特征:function关键字与函数名之间有一个星号;函数体内部使用yield表达式,定义不同的内部状态//一个简单的Generator函数func... 查看详情

elasticsearch必知必会的干货知识二:es索引操作技巧(代码片段)

该系列上一篇文章《Elasticsearch必知必会的干货知识一:ES索引文档的CRUD》讲了如何进行index的增删改查,本篇则侧重讲解说明如何对index进行创建、更改、迁移、查询配置信息等。仅创建索引:PUTindexPUT/index添加字段设置(mappings... 查看详情