一文读懂python垃圾回收机制收藏版(代码片段)

走召大爷 走召大爷     2022-10-21     553

关键词:

得益于Python的自动垃圾回收机制,在Python中创建对象时无须手动释放。这对开发者非常友好,让开发者无须关注低层内存管理。但如果对其垃圾回收机制不了解,很多时候写出的Python代码会非常低效。

垃圾回收算法有很多,主要有:引用计数标记-清除分代收集等。

python中,垃圾回收算法以引用计数为主,标记-清除分代收集两种机制为辅。

1 引用计数

1.1 引用计数算法原理

引用计数原理比较简单:

  1. 每个对象有一个整型的引用计数属性。用于记录对象被引用的次数。
  2. 例如对象A,如果有一个对象引用了A,则A的引用计数+1
  3. 当引用删除时,A的引用计数-1
  4. A的引用计数为0时,即表示对象A不可能再被使用,直接回收。

Python中,可以通过sys模块的getrefcount函数获取指定对象的引用计数器的值,我们以实际例子来看。

import sys

class A():
    def __init__(self):
        pass
        
a = A()
print(sys.getrefcount(a))

运行上面代码,可以得到输出结果为2

1.2 计数器增减条件

上面我们看到,创建一个A对象,并将对象赋值给a变量后,对象的引用计数器值为2。那么什么时候计数器会+1,什么时候计数器会-1呢?

1.2.1 引用计数+1的条件

  • 对象被创建,如A()
  • 对象被引用,如a=A()
  • 对象作为函数的参数,如func(a)
  • 对象作为容器的元素,如arr=[a,a]

1.2.2 引用计数-1的条件

  • 对象被显式销毁,如del a
  • 变量重新赋予新的对象,例如a=0
  • 对象离开它的作用域,如func函数执行完毕时,func函数中的局部变量(全局变量不会)。
  • 对象所在的容器被销毁,或从容器中删除对象。

1.2.3 代码实战

为了更好的理解计数器的增减,我们运行实际代码,一目了然。

import sys
 
class A():

    def __init__(self):
        pass
 
print("创建对象 0 + 1 =", sys.getrefcount(A()))

a = A()
print("创建对象并赋值 0 + 2 =", sys.getrefcount(a))

b = a
c = a
print("赋给2个变量 2 + 2 =", sys.getrefcount(a))

b = None
print("变量重新赋值 4 - 1 =", sys.getrefcount(a))

del c
print("del对象 3 - 1 =", sys.getrefcount(a))

d = [a, a, a]
print("3次加入列表 2 + 3 =", sys.getrefcount(a))


def func(c):
    print('传入函数 1 + 2 = ', sys.getrefcount(c))
func(A())

输出结果如下:

创建对象 0 + 1 = 1
创建对象并赋值 0 + 2 = 2
赋给2个变量 2 + 2 = 4
变量重新赋值 4 - 1 = 3
del对象 3 - 1 = 2
3次加入列表 2 + 3 = 5
传入函数 1 + 2 =  3

1.3 引用计数的优点与缺点

1.3.1 引用计数优点

  • 高效、逻辑简单,只需根据规则对计数器做加减法。
  • 实时性。一旦对象的计数器为零,就说明对象永远不可能再被用到,无须等待特定时机,直接释放内存。

1.3.2 引用计数缺点

  • 需要为对象分配引用计数空间,增大了内存消耗。
  • 当需要释放的对象比较大时,如字典对象,需要对引用的所有对象循环嵌套调用,可能耗时比较长。
  • 循环引用。这是引用计数的致命伤,引用计数对此是无解的,因此必须要使用其它的垃圾回收算法对其进行补充。

2 标记-清除

上一小节提到,引用计数算法无法解决循环引用问题,循环引用的对象会导致大家的计数器永远都不会等于0,带来无法回收的问题。

标记-清除算法主要用于潜在的循环引用问题,该算法分为2步:

  1. 标记阶段。将所有的对象看成图的节点,根据对象的引用关系构造图结构。从图的根节点遍历所有的对象,所有访问到的对象被打上标记,表明对象是“可达”的。
  2. 清除阶段。遍历所有对象,如果发现某个对象没有标记为“可达”,则就回收。

以具体代码示例说明:

class A():
    def __init__(self):
        self.obj = None
 
def func():
    a = A()
    b = A()
    c = A()
    d = A()

    a.obj = b
    b.obj = a
    return [c, d]

e = func()

上面代码中,a和b相互引用,e引用了c和d。整个引用关系如下图所示:

如果采用引用计数器算法,那么a和b两个对象将无法被回收。而采用标记清除法,从根节点(即e对象)开始遍历,c、d、e三个对象都会被标记为可达,而a和b无法被标记。因此a和b会被回收。

这是读者可能会有疑问,为什么确定根节点是e,而不会是a、b、c、d呢?这里就有讲究了,什么样的对象会被看成是根节点呢?一般而言,根节点的选取包括(但不限于)如下几种:

  • 当前栈帧中的本地变量表中引用的对象,如各个线程被调用的方法堆栈中使用到的参数、 局部变量、 临时变量等。
  • 全局静态变量

3 分代收集

3.1 分代收集原理

在执行垃圾回收过程中,程序会被暂停,即stop-the-world。这里很好理解:你妈妈在打扫房间的时候,肯定不允许你在房间内到处丢垃圾,要不然永远也无法打扫干净。

为了减少程序的暂停时间,采用分代回收(Generational Collection)降低垃圾收集耗时。

分代回收基于这样的法则:

  1. 接大部分的对象生命周期短,大部分对象都是朝生夕灭。
  2. 经历越多次数的垃圾收集且活下来的对象,说明该对象越不可能是垃圾,应该越少去收集。

Python中,对象一共有3种世代:G0,G1,G2

  1. 对象刚创建时为G0
  2. 如果在一轮GC扫描中存活下来,则移至G1,处于G1的对象被扫描次数会减少。
  3. 如果再次在扫描中活下来,则进入G2,处于G1的对象被扫描次数将会更少。

3.2 触发GC时机

当某世代中分配的对象数量与被释放的对象之差达到某个阈值的时,将触发对该代的扫描。当某世代触发扫描时,比该世代年轻的世代也会触发扫描。

那么这个阈值是多少呢?我们可以通过代码查看或者修改,示例代码如下

import gc
threshold = gc.get_threshold()
print("各世代的阈值:", threshold)

# 设置各世代阈值
# gc.set_threshold(threshold0[, threshold1[, threshold2]])
gc.set_threshold(800, 20, 20)

输出结果如下:

各世代的阈值: (700, 10, 10)

如果您觉得本文有帮助,辛苦您点个不需花钱的赞,您的举手之劳将对我提供了无限的写作动力! 也欢迎关注我的公众号:Python学习实战, 第一时间获取最新文章。

一文读懂python垃圾回收机制收藏版(代码片段)

得益于Python的自动垃圾回收机制,在Python中创建对象时无须手动释放。这对开发者非常友好,让开发者无须关注低层内存管理。但如果对其垃圾回收机制不了解,很多时候写出的Python代码会非常低效。垃圾回收算法有... 查看详情

一文读懂python垃圾回收机制收藏版(代码片段)

得益于Python的自动垃圾回收机制,在Python中创建对象时无须手动释放。这对开发者非常友好,让开发者无须关注低层内存管理。但如果对其垃圾回收机制不了解,很多时候写出的Python代码会非常低效。垃圾回收算法有... 查看详情

一文搞懂php的垃圾回收机制(代码片段)

〝古人学问遗无力,少壮功夫老始成〞一文搞懂php的垃圾回收机制,常码字不易,出精品更难,没有特别幸运,那么请先特别努力,别因为懒惰而失败,还矫情地将原因归于自己倒霉。你必须特别努力&... 查看详情

python开发--02垃圾回收机制(代码片段)

文章目录一.什么是垃圾回收机制二.为什么要有垃圾回收机制三.垃圾回收机制的原理1.引用计数2.栈区/堆区3.总结四.标记清除1.循环引用问题(也叫交叉引用)3.循环引用导致的结果4.解决方法:清除-标记五.分代回收1.效率问题2.解决... 查看详情

一文带你了解java中的垃圾回收机制(代码片段)

🌊博主简介:CSDN原力作者,华为云享专家,掘金优秀作者🌊个人博客:haiyong.site🌊粉丝专属福利:简历模板、PPT模板、学习资料、面试题库。文末领取直接跳到末尾领取资料介绍在C/C++中&#x... 查看详情

一文带你了解java中的垃圾回收机制(代码片段)

🌊博主简介:CSDN原力作者,华为云享专家,掘金优秀作者🌊个人博客:haiyong.site🌊粉丝专属福利:简历模板、PPT模板、学习资料、面试题库。文末领取直接跳到末尾领取资料介绍在C/C++中&#x... 查看详情

python的垃圾回收机制(代码片段)

Python的GC模块主要运用了“引用计数”(referencecounting)来跟踪和回收垃圾。在引用计数的基础上,还可以通过“标记-清除”(markandsweep)解决容器对象可能产生的循环引用的问题。通过“分代回收”(generation... 查看详情

python垃圾回收机制详解(代码片段)

一.垃圾回收机制Python中的垃圾回收是以引用计数为主,分代收集为辅。引用计数的缺陷是循环引用的问题。在Python中,如果一个对象的引用数为0,Python虚拟机就会回收这个对象的内存。#encoding=utf-8__author__=‘[email protected]‘c... 查看详情

深入jvm垃圾回收机制,值得你收藏(代码片段)

...务而不必关心底层技术细节,这些复杂性包括内存管理,垃圾回收,跨平台等,今天我们主要看看JVM的垃圾回收机制是怎么运行的,希望能够帮到大家,哪些对象是垃圾呢?Java程序运行过程中时刻都在产生很多对象,我们都知道... 查看详情

详解python的垃圾回收机制(代码片段)

python的垃圾回收机制一、引子我们定义变量会申请内存空间来存放变量的值,而内存的容量是有限的,当一个变量值没有用了(简称垃圾)就应该将其占用的内存空间给回收掉,而变量名是访问到变量值的唯一方式,所以当一个... 查看详情

聊聊javascript垃圾回收机制-v8引擎下的垃圾回收机制(代码片段)

引子从修真故事说起上文大概介绍了垃圾回收的机制和标记清除法的核心思路,接下来准备深入介绍下v8引擎里的垃圾回收算法。既然是算法类的介绍,那自然是比较枯燥的,如果想完全弄懂,可以收藏下来,多看几遍(!·_·!)... 查看详情

面试必问:java垃圾回收机制(代码片段)

...,因为它始终在后台运行。本文分享自华为云社区《一文带你了解Java中的垃圾回收机制》,作者:海拥。介绍在C/C++中,程序员负责对象的创建和销毁。通常程序员会忽略无用对象的销毁。由于这种疏忽ÿ... 查看详情

讲透了!python垃圾回收机制与原理解析(代码片段)

Python作为一门解释型语言,以代码简洁易懂著称。我们可以直接对名称赋值,而不必声明类型。名称类型的确定、内存空间的分配与释放都是由Python解释器在运行时进行的。Python这一自动管理内存功能极大的减小了程序... 查看详情

一文搞懂javascript垃圾回收机制

一文搞懂JavaScript垃圾回收机制(GC)堆和栈垃圾回收确定内存需要被回收的方法确定内存被回收后,需要用的垃圾回收算法在这之前首先应该搞明白堆和栈的知识堆和栈栈:JavaScript中的基本数据类型都是存在栈中... 查看详情

一文搞定垃圾回收器(代码片段)

目录1.垃圾回收概述1.1标记阶段1.1.1.引用计数法1.1.2.可达性分析法1.2清除阶段1.2.1.标记-清除算法1.2.2.复制算法1.2.3.标记-压缩算法1.3.不同代的收集算法2.垃圾回收器2.1.评估GC的性能指标2.2.不同的垃圾回收器概述2.3.Serial回收器࿱... 查看详情

[新星计划]python内存管理|引用计数垃圾回收内存池机制(代码片段)

...浅拷贝系列文章https://blog.csdn.net/cpen_web/category_11089219.htmlPython内存管理三大块○引用计数○垃圾回收○内存池Python的内存管理以引用计数为主,垃圾回收为辅,还有个内存池Python动态类型○对象是储存在内存中的实体○我... 查看详情

python核心垃圾回收机制(代码片段)

Python程序在运行的时候,需要在内存中开辟出一块空间用于存放运行时产生的临时变量,计算完成后再将结果输出到永久性存储器中如果数据量过大,内存空间管理不善就很容易出现OOM(outofmemory),程序可能被操作... 查看详情

一文读懂androidview事件分发机制(代码片段)

AndroidView虽然不是四大组件,但其并不比四大组件的地位低。而View的核心知识点事件分发机制则是不少刚入门同学的拦路虎。ScrollView嵌套RecyclerView(或者ListView)的滑动冲突这种老大难的问题的理论基础就是事件分发机制。事... 查看详情