(十一)golang内存分析

author author     2023-03-20     256

关键词:

参考技术A 编写过C语言程序的肯定知道通过malloc()方法动态申请内存,其中内存分配器使用的是glibc提供的ptmalloc2。 除了glibc,业界比较出名的内存分配器有Google的tcmalloc和Facebook的jemalloc。二者在避免内存碎片和性能上均比glic有比较大的优势,在多线程环境中效果更明显。
Golang中也实现了内存分配器,原理与tcmalloc类似,简单的说就是维护一块大的全局内存,每个线程(Golang中为P)维护一块小的私有内存,私有内存不足再从全局申请。另外,内存分配与GC(垃圾回收)关系密切,所以了解GC前有必要了解内存分配的原理。

为了方便自主管理内存,做法便是先向系统申请一块内存,然后将内存切割成小块,通过一定的内存分配算法管理内存。 以64位系统为例,Golang程序启动时会向系统申请的内存如下图所示:

预申请的内存划分为spans、bitmap、arena三部分。其中arena即为所谓的堆区,应用中需要的内存从这里分配。其中spans和bitmap是为了管理arena区而存在的。
arena的大小为512G,为了方便管理把arena区域划分成一个个的page,每个page为8KB,一共有512GB/8KB个页;
spans区域存放span的指针,每个指针对应一个page,所以span区域的大小为(512GB/8KB)乘以指针大小8byte = 512M
bitmap区域大小也是通过arena计算出来,不过主要用于GC。

span是用于管理arena页的关键数据结构,每个span中包含1个或多个连续页,为了满足小对象分配,span中的一页会划分更小的粒度,而对于大对象比如超过页大小,则通过多页实现。

根据对象大小,划分了一系列class,每个class都代表一个固定大小的对象,以及每个span的大小。如下表所示:

上表中每列含义如下:
class: class ID,每个span结构中都有一个class ID, 表示该span可处理的对象类型
bytes/obj:该class代表对象的字节数
bytes/span:每个span占用堆的字节数,也即页数乘以页大小
objects: 每个span可分配的对象个数,也即(bytes/spans)/(bytes/obj)waste
bytes: 每个span产生的内存碎片,也即(bytes/spans)%(bytes/obj)上表可见最大的对象是32K大小,超过32K大小的由特殊的class表示,该class ID为0,每个class只包含一个对象。

span是内存管理的基本单位,每个span用于管理特定的class对象, 跟据对象大小,span将一个或多个页拆分成多个块进行管理。src/runtime/mheap.go:mspan定义了其数据结构:

以class 10为例,span和管理的内存如下图所示:

spanclass为10,参照class表可得出npages=1,nelems=56,elemsize为144。其中startAddr是在span初始化时就指定了某个页的地址。allocBits指向一个位图,每位代表一个块是否被分配,本例中有两个块已经被分配,其allocCount也为2。next和prev用于将多个span链接起来,这有利于管理多个span,接下来会进行说明。

有了管理内存的基本单位span,还要有个数据结构来管理span,这个数据结构叫mcentral,各线程需要内存时从mcentral管理的span中申请内存,为了避免多线程申请内存时不断的加锁,Golang为每个线程分配了span的缓存,这个缓存即是cache。src/runtime/mcache.go:mcache定义了cache的数据结构

alloc为mspan的指针数组,数组大小为class总数的2倍。数组中每个元素代表了一种class类型的span列表,每种class类型都有两组span列表,第一组列表中所表示的对象中包含了指针,第二组列表中所表示的对象不含有指针,这么做是为了提高GC扫描性能,对于不包含指针的span列表,没必要去扫描。根据对象是否包含指针,将对象分为noscan和scan两类,其中noscan代表没有指针,而scan则代表有指针,需要GC进行扫描。mcache和span的对应关系如下图所示:

mchache在初始化时是没有任何span的,在使用过程中会动态的从central中获取并缓存下来,跟据使用情况,每种class的span个数也不相同。上图所示,class 0的span数比class1的要多,说明本线程中分配的小对象要多一些。

cache作为线程的私有资源为单个线程服务,而central则是全局资源,为多个线程服务,当某个线程内存不足时会向central申请,当某个线程释放内存时又会回收进central。src/runtime/mcentral.go:mcentral定义了central数据结构:

lock: 线程间互斥锁,防止多线程读写冲突
spanclass : 每个mcentral管理着一组有相同class的span列表
nonempty: 指还有内存可用的span列表
empty: 指没有内存可用的span列表
nmalloc: 指累计分配的对象个数线程从central获取span步骤如下:

将span归还步骤如下:

从mcentral数据结构可见,每个mcentral对象只管理特定的class规格的span。事实上每种class都会对应一个mcentral,这个mcentral的集合存放于mheap数据结构中。src/runtime/mheap.go:mheap定义了heap的数据结构:

lock: 互斥锁
spans: 指向spans区域,用于映射span和page的关系
bitmap:bitmap的起始地址
arena_start: arena区域首地址
arena_used: 当前arena已使用区域的最大地址
central: 每种class对应的两个mcentral
从数据结构可见,mheap管理着全部的内存,事实上Golang就是通过一个mheap类型的全局变量进行内存管理的。mheap内存管理示意图如下:

系统预分配的内存分为spans、bitmap、arean三个区域,通过mheap管理起来。接下来看内存分配过程。

针对待分配对象的大小不同有不同的分配逻辑:
(0, 16B) 且不包含指针的对象: Tiny分配
(0, 16B) 包含指针的对象:正常分配
[16B, 32KB] : 正常分配
(32KB, -) : 大对象分配其中Tiny分配和大对象分配都属于内存管理的优化范畴,这里暂时仅关注一般的分配方法。
以申请size为n的内存为例,分配步骤如下:

Golang内存分配是个相当复杂的过程,其中还掺杂了GC的处理,这里仅仅对其关键数据结构进行了说明,了解其原理而又不至于深陷实现细节。1、Golang程序启动时申请一大块内存并划分成spans、bitmap、arena区域
2、arena区域按页划分成一个个小块。
3、span管理一个或多个页。
4、mcentral管理多个span供线程申请使用
5、mcache作为线程私有资源,资源来源于mcentral。

golang✔️走进go语言✔️第十一课指针(代码片段)

【Golang】✔️走进Go语言✔️第十一课指针概述指针数据和数据存储地址创建指针通过指针修改变量值空指针指针数组二级指针概述Golang是一个跨平台的新生编程语言.今天小白就带大家一起携手走进Golang的世界.(第11课)指针指针(... 查看详情

GoLang - 有没有办法分析使用反射的代码的内存使用情况?

】GoLang-有没有办法分析使用反射的代码的内存使用情况?【英文标题】:GoLang-Isthereawaytoprofilememoryusageofcodethatusesreflect?【发布时间】:2015-07-1423:53:56【问题描述】:我在一个项目中使用gocraft/web并试图调试一些高内存使用情况。... 查看详情

golang:struct定义与试用以及内存分析(代码片段)

概述Golang虽然具有OOP的特性,但是并没有类的概念,也没有继承关键字。提供了一个类似于类功能,但是又截然不同的概念:结构体struct。定义有四种定义方式:packagemainimport"fmt"//struct定义typePersonstruct I... 查看详情

golang:struct定义与试用以及内存分析(代码片段)

概述Golang虽然具有OOP的特性,但是并没有类的概念,也没有继承关键字。提供了一个类似于类功能,但是又截然不同的概念:结构体struct。定义有四种定义方式:packagemainimport"fmt"//struct定义typePersonstruct I... 查看详情

golang的内存管理(上篇)

Golang的内存管理基于tcmalloc,可以说起点挺高的。但是Golang在实现的时候还做了很多优化,我们下面通过源码来看一下Golang的内存管理实现。下面的源码分析基于go1.8rc3。1.tcmalloc介绍关于tcmalloc可以参考这篇文章 tcmalloc介绍,... 查看详情

golang中局部变量的内存分配

晚上在阅读golang的资料时突然想到一个问题,go是如何分配变量的内存结构的呢?好在网上的一篇文章做了透彻的分析见【go语言局部变量分配在栈还是堆】。  其结论是go语言局部变量的分配是由编译器决定的。go语言编译器... 查看详情

golang✔️走进go语言✔️第二十一延迟处理&正则表达式(代码片段)

【Golang】✔️走进Go语言✔️第二十一延迟处理&正则表达式概述延迟处理例一例二正则表达式单匹配多匹配概述Golang是一个跨平台的新生编程语言.今天小白就带大家一起携手走进Golang的世界.(第21课)延迟处理我们可以使用defer... 查看详情

golang✔️走进go语言✔️第二十一延迟处理&正则表达式(代码片段)

【Golang】✔️走进Go语言✔️第二十一延迟处理&正则表达式概述延迟处理例一例二正则表达式单匹配多匹配概述Golang是一个跨平台的新生编程语言.今天小白就带大家一起携手走进Golang的世界.(第21课)延迟处理我们可以使用defer... 查看详情

tcmalloc内存分配原理简析

一、TCMallocTCMalloc简介为啥要介绍TCMalloc?因为golang的内存分配算法绝大部分都是来自TCMalloc,golang只改动了其中的一小部分。所以要理解golang内存分配算法,就要先了解下TCMalloc,为后面分析golang内存做一做功课。tcmalloc是google开... 查看详情

golang:快来抓住让我内存泄漏的“真凶”!

导语 | 有句话说得好:“golang10次内存泄漏,8次goroutine泄漏,1次真正内存泄漏”,那还有一次是什么呢?别急,下面就结合本次线上遇到的问题来讲一讲golang的内存泄漏和分析解决办法。一、起——内存... 查看详情

golang:struct定义与试用以及内存分析(代码片段)

概述Golang虽然具有OOP的特性,但是并没有类的概念,也没有继承关键字。提供了一个类似于类功能,但是又截然不同的概念:结构体struct。定义有四种定义方式:packagemainimport"fmt"//struct定义typePersonstruct I... 查看详情

golang学习十一:网络编程之http(代码片段)

文章目录一、概述1.Web工作方式:2.HTTP协议3.地址(URL)二、HTTP报文解析:1.请求报文格式:2.响应报文格式:三、Go语言HTTP编程:1.简单的服务端:2.简单的客户端:一、概述1.Web工作方式:对于普通的上网过程,系统其实是这样做的:... 查看详情

第十一次作业

1、本次课学习到的知识点:(1)通过示例"密码开锁"引入指针的概念和主要知识点,分析了密码开锁的过程来说明变量、内存单元和地址之间的关系,从而引入指针的基本概念,接着介绍了指针的基本运算以及指针变量的初始... 查看详情

go语言开发(二十一)gomock测试框架(代码片段)

Go语言开发(二十一)、GoMock测试框架一、GoMock简介1、GoMock简介GoMock是由Golang官方开发维护的测试框架,实现了较为完整的基于interface的Mock功能,能够与Golang内置的testing包良好集成,也能用于其它的测试环境中。GoMock测试框架... 查看详情

[转]golang适合高并发场景的原因分析

来源:http://blog.csdn.net/ghj1976/article/details/27996095作者:蝈蝈俊典型的两个现实案例:我们先看两个用Go做消息推送的案例实际处理能力。360消息推送的数据:16台机器,标配:24个硬件线程。64GB内存 LinuxKernel2.6.32x86_64 单机8... 查看详情

第十一章多元线性回归与相关分析

  查看详情

实训第十一天

  系统中使用的情感分析技术我们采用的是基于词典的情感分析,情感分析(SA)又称为倾向性分析和意见挖掘,它是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程,其中情感分析还可以细分为情感极性(... 查看详情

motan源码分析十一:部分特性

本章将描述motan部分的特性并对源码进行分析。1.requestid的维护,使用了当前时间左移20位,再和一个自增变量组合publicclassRequestIdGenerator{protectedstaticfinalAtomicLongoffset=newAtomicLong(0);protectedstaticfinalintBITS=20;protectedstaticfinallon 查看详情