面试官:说说mysql存储引擎原理,幸好我准备过(代码片段)

业余草 业余草     2022-12-26     739

关键词:

你知道的越多,不知道的就越多,业余的像一棵小草!

你来,我们一起精进!你不来,我和你的竞争对手一起精进!

编辑:业余草

blog.csdn.net/weixin_46269257

推荐:https://www.xttblog.com/?p=5263

MySQL的数据是如何组织的呢?当然是 page,也就是说MySQL以页为单位进行内外存交换。

一、 MySQL记录存储(页为单位)

页头

记录页面的控制信息,共占56字节,包括页的左右兄弟页面指针、页面空间使用情况等。

虚记录

最大虚记录:比页内最大主键还大 最小虚记录:比页内最小主键还小 (作用:比如说我们要查看一个记录是否在这个页面里,就要看这个记录是否在最大最小虚记录范围内)

记录堆

行记录存储区,分为有效记录和已删除记录两种

自由空间链表

已删除记录组成的链表 (重复利用空间)

未分配空间

页面未使用的存储空间;

Slot区

页尾 页面最后部分,占8个字节,主要存储页面的校验信息;

页内记录维护

「顺序保证」

物理有序(利于查询,不利于插入删除)

「逻辑有序(插入删除性能高,查询效率低)」 默认

所以MySQL是像下图所示这样子有序的组织数据的。

「2、插入策略」

「自由空间链表」(优先利用自由空间链表)

「未使用空间」

「3、页内查询」

「遍历」

「二分查找(数据不一样大,不能用二分)」

利用槽位做二分,实现近似的二分查找,近似于跳表 。

二、 MySQL InnoDB存储引擎内存管理

预分配内存空间

内存池

数据以页为单位加载 (减少io访问次数)

内存页面管理

  • 页面映射(记录哪块磁盘上的数据加载到哪块内存上了)

  • 页面数据管理

数据内外存交换

数据淘汰

  • 内存页耗尽

  • 需要加载新数据

页面管理

  • 空闲页

  • 数据页

  • 脏页(需刷回磁盘)

页面淘汰

LRU(淘汰冷数据)

某时刻状态->访问P2->访问新页P7

全表扫描对内存的影响?

可能会把内存中的热数据淘汰掉(比如说对一个几乎没有访问量的表进行全表扫描)

所以MySQL不是单纯的利用LRU算法

解决问题:如何避免热数据被淘汰?

解决方案:访问时间 + 频率(redis)

两个LRU

MySQL的解决方案

MySQL内存管理—LRU

页面装载

磁盘数据到内存

没有空闲页怎么办?Free list中取 > LRU中淘汰 > LRU Flush

页面淘汰

LRU尾部淘汰Flush LRU淘汰

LRU链表中将第一个脏页刷盘并“释放”,放到LRU尾部?直接放FreeList

位置移动

old 到 new new 到 old

思考:移动时机是什么?innodb_old_blocks_timeold区存活时间,大于此值,有机会进入new区

LRU_new的操作 链表操作效率很高,有访问移动到表头?Lock!!!``MySQL设计思路:减少移动次数

两个重要参考:1、freed_page_clock:Buffer Pool淘汰页数 2、LRU_new长度1/4

当前freed_page_clock - 上次移动到Header时freed_page_clock>LRU_new长度1/4

三、MySQL事务实现原理

MySQL事务基本概念。

1、事务特性

A(Atomicity原子性):全部成功或全部失败

I(Isolation隔离性):并行事务之间互不干扰

D(Durability持久性):事务提交后,永久生效

C(Consistency一致性):通过AID保证

2、并发问题

脏读(Drity Read):读取到未提交的数据

不可重复读(Non-repeatable read):两次读取结果不同

幻读(Phantom Read):select 操作得到的结果所表征的数据状态无法支撑后续的业务操作

3、隔离级别

Read Uncommitted(未提交读):最低隔离级别,会读取到其他事务未提交的数据。脏读;

Read Committed(提交读):事务过程中可以读取到其他事务已提交的数据。不可重复读;

Repeatable Read(可重复读):每次读取相同结果集,不管其他事务是否提交,幻读;(两次当前读不会产生幻读)

Serializable(串行化):事务排队,隔离级别最高,性能最差;

MySQL事务实现原理(事务管理机制)

1、MVCC 多版本并发控制

解决读-写冲突 如何工作:隐藏列

–当前读(读在存储引擎中存储的那个数据)

RR级别下

2、undo log

回滚日志 保证事务原子性 实现数据多版本delete undo log:用于回滚,提交即清理;update undo log:用于回滚,同时实现快照读,不能随便删除

思考:undolog如何清理?依据系统活跃的最小活跃事务ID Read view 为什么InnoDB count(*)这么慢?因为你真的懂 select count(*) 吗?

SQL 查找是否"存在",别再 COUNT 了,很耗费时间的

3、redo log

实现事务持久性

写入流程 l 记录页的修改,状态为prepare l 事务提交,讲事务记录为commit状态

意义

体积小,记录页的修改,比写入页代价低 末尾追加,随机写变顺序写,发生改变的页不固定

四、MySQL锁实现原理

所有当前读加排他锁,都有哪些是当前读?SELECT FOR UPDATE``UPDATE``DELETE

唯一索引/非唯一索引 * RC/RR4种情况逐一分析

会出现幻读问题,不可重复读了

死锁在库表中有记录,通过kill 那个锁删除。

好了,今天就分享到这里了。

冰冻三尺非一日之寒!

记得点个赞、点在看、转发。

面试官:mybatis插件有什么用途?说说底层原理?我竟然不会。。

来源:https://www.cnblogs.com/chenpi/p/10498921.html背景关于Mybatis插件,大部分人都知道,也都使用过,但很多时候,我们仅仅是停留在表面上,知道Mybatis插件可以在DAO层进行拦截,如打印执行的SQL语句日志... 查看详情

运维面试面试官:mysql存储引擎有哪几种,他们的区别是什么?

前言mysql面试中最常问的问题之一:小伙子,你说一下你们公司用的存储引擎,以及你知道有哪些存储引擎和他们之间的区别?面试者:简历给我吧,我去下一家。什么是存储引擎?官方定义:存储引擎其实就是对于数据库文件... 查看详情

面试官:了解mysql的架构体系吗?

文章目录总览图客户端连接层服务层连接缓存解析器优化器执行器存储引擎层MyISAM与InnoDB引擎的区别如何在MyISAM与InnoDB存储引擎中进行选择?系统文件存储层数据文件日志文件(错误日志,binglog和慢查询日志)redolog文件redolog文... 查看详情

面试官:说说mysql中in和or的查询效率和区别

你知道的越多,不知道的就越多,业余的像一棵小草!你来,我们一起精进!你不来,我和你的竞争对手一起精进!编辑:业余草推荐:https://www.xttblog.com/?p=5257前言很多程序员,也包括我自己,在入行之初都不太关注具体的实... 查看详情

mysql三万字精华总结+面试100问,吊打面试官绰绰有余(收藏系列)(代码片段)

或ALTERTABLE不能使用默认存储引擎时,都会生成一个警告。为了防止在所需的引擎不可用时出现令人困惑的意外行为,可以启用NO_ENGINE_SUBSTITUTIONSQL模式。如果所需的引擎不可用,则此设置将产生错误而不是警告,并且不会创建或... 查看详情

面试官:说说spring事务设计原理?面试必问!

作者:张丰哲来源:www.jianshu.com/p/1becdc376f5d前言事务,是描述一组操作的抽象,比如对数据库的一组操作,要么全部成功,要么全部失败。事务具有4个特性:Atomicity(原子性),Consistency... 查看详情

面试官:说说netty断开连接的原理

参考技术A多路复用器(Selector)接收到OP_READ事件:处理OP_READ事件:NioSocketChannel.NioSocketChannelUnsafe.read()关闭连接,会触发OP_READ事件:到了最后,关闭selection上的selectionkey,这样selector上就不会再发生该channel上的各种事件了。如果发送... 查看详情

面试官:你说说varletconst三者的区别

大家好,我是CoderBin前言面试官:“你说说var、let、const三者的区别”紧张的萌新:“var没有块级作用域,let有......”面试官:“...”······本次又来到了面试官系列,变量声明作为面试当中的高频考点,如果只是回答块级作... 查看详情

mysql面试高频100问

...的一些MySQL的知识点,主要包括索引,事务,优化等方面,以在面试中高频的问句形式给出答案.索引相关关于MySQL的索引,曾经进行过一次总结,文章链接在这里Mysql索引原理及其优化.1.什么是索引?索引是一种数据结构,可以帮助我们快速... 查看详情

mysql面试高频100问

...的一些MySQL的知识点,主要包括索引,事务,优化等方面,以在面试中高频的问句形式给出答案.索引相关关于MySQL的索引,曾经进行过一次总结,文章链接在这里Mysql索引原理及其优化.1.什么是索引?索引是一种数据结构,可以帮助我们快速... 查看详情

面试官问我mysql索引,我真的是

面试官:我看你简历上写了MySQL,对MySQLInnoDB引擎的索引了解吗?候选者:嗯啊,使用索引可以加快查询速度,其实上就是将无序的数据变成有序(有序就能加快检索速度)候选者:在InnoDB引擎... 查看详情

问答分享第二弹mysql的搜索引擎,看完暴虐面试官!

...们 大家好,我是小于哥哈。前几天能分享了第二期面试题MySQL中搜索引擎的面试考点,这道题是面试常温的面试,看完在数据库引擎方面,我相信你一定会有收获的首发于公众号【终端研发部】核心点1、搜索引... 查看详情

你可能知道事务的四大特性,但是你不一定知道事务的实现原理(代码片段)

说到数据库,那就一定会聊到事务,事务也是面试中常问的问题,我们先来一个面试场景:面试官:"事务的四大特性是什么?"我:"ACID,即原子性(Atomicity)、隔离性(Isolation)、持久性(Durability)、一致性(Consistency)!"面试官:"在MySQL数据... 查看详情

新浪网面试官:说说java并发编程中countdownlatch原理与应用(代码片段)

前言控制并发流程的工具类,作用就是帮助我们程序员更容易的让线程之间合作,让线程之间相互配合来满足业务逻辑。比如让线程A等待线程B执行完毕后再执行等合作策略。控制并发流程的工具类主要有:简介背景CountDownLatch... 查看详情

java开发面试常见问题合集

次面试事故面试官:你看过哪些源码?我:都挺熟悉的面试官:对hashMap了解程度怎么样?面试官:那你能讲讲HashMap的实现原理吗?面试官:HashMap什么时候会进行rehash?面试官:结合源码说说HashMap在高并发场景中为什么会出现... 查看详情

面试官:说说mysql中in和or的查询效率和区别(代码片段)

你知道的越多,不知道的就越多,业余的像一棵小草!你来,我们一起精进!你不来,我和你的竞争对手一起精进!编辑:业余草推荐:https://www.xttblog.com/?p=5257前言很多程序员,也包括... 查看详情

面试官:说说mysql中in和or的查询效率和区别(代码片段)

你知道的越多,不知道的就越多,业余的像一棵小草!你来,我们一起精进!你不来,我和你的竞争对手一起精进!编辑:业余草推荐:https://www.xttblog.com/?p=5257前言很多程序员,也包括... 查看详情

你问我答,准备面试需要做哪些技术储备,面试官更加关心什么方面的技术点?

...整理了关于如何进入大厂的一些问题,包含了技术储备,面试官更加关心什么方面的技术点等等一第一个问题:准备面试,工作3年了想面个大厂,现在那面试官会更注重问哪方面呢?是算法还是那些框架原理?还是Android源码?... 查看详情