百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

彻底搞懂三大MySQL日志,Redo Log、Undo Log、Bin Log

nanshan 2025-03-06 17:50 19 浏览 0 评论

1. 背景

MySQL实现事务、崩溃恢复、集群的主从复制,底层都离不开日志,所以日志是MySQL的精华所在。只有了解MySQL日志,才算是彻底搞懂MySQL。

今天一灯就带你深入浅出的学习MySQL的三大日志系统,Redo Log(重做日志)Undo Log(恢复日志)Bin Log(备份日志)

2. Redo Log(重做日志)

2.1 Redo Log的内容与作用

Redo Log 记录的是物理日志,也就是磁盘数据页的修改。

作用: 用来保证服务崩溃后,仍能把事务中变更的数据持久化到磁盘上。

MySQL事务中持久性就是使用Redo Log实现的。

2.2 什么时候写入Redo Log?



  1. 从磁盘加载数据到内存
  2. 在内存中修改数据
  3. 把新数据写到Redo Log Buffer
  4. Redo Log Buffer中数据持久化到Redo Log文件中
  5. Redo Log文件中数据持久化到数据库磁盘中

你可能会问,为什么需要写Redo Log BufferRedo Log FIle?直接持久化到磁盘不好吗?

直接写磁盘会有产生严重的性能问题:

  1. InnoDB在磁盘中存储的基本单元是页,可能本次修改只变更一页中几个字节,但是需要刷新整页的数据,就很浪费资源。
  2. 一个事务可能修改了多页中的数据,页之间又是不连续的,就会产生随机IO,性能更差。

这种方案叫做WAL(Write-Ahead Logging),预写日志,就是先写日志,再写磁盘。

2.3 Redo Log刷盘规则

写入Redo Log Buffer之后,并不会立即持久化到Redo Log FIle,需要等待操作系统调用fsync()操作,才会刷到磁盘上。



具体什么时候可以把Redo Log Buffer刷到Redo Log FIle中,可以通过
innodb_flush_log_at_trx_commit
参数配置决定。

参数值

含义

0(延迟写)

提交事务后,不会立即刷到OS Buffer中,而是等一秒后刷新到OS Buffer并调用fsync()写入Redo Log FIle,可能会丢失一秒钟的数据。

1(实时写

每次提交事务,都会刷新到OS Buffer并调用fsync()写到Redo Log FIle,性能较差

2(延迟刷新)

每次提交事务只刷新到OS Buffer,一秒后再调用fsync()写入Redo Log FIle

InnoDB 的Redo Log File是固定大小的。可以配置为每组4个文件,每个文件的大小是 1GB,那么Redo Log File可以记录4GB的操作。

采用循环写入覆盖的方式,write pos记录开始写的位置,向后移动。checkpoint记录将要擦除的位置,也是向后移动。write pos到checkpoint之间的位置,是可写区域,checkpoint到write pos之间的位置是已写区域。



3. Undo Log(回滚日志)

3.1 Undo Log的内容与作用

Undo Log记录的是逻辑日志,也就是SQL语句。

比如:当我们执行一条insert语句时,Undo Log就记录一条相反的delete语句。

作用:

  1. 回滚事务时,恢复到修改前的数据。
  2. 实现 MVCC(多版本并发控制,Multi-Version Concurrency Control)

MySQL事务中原子性就是使用Undo Log实现的。

3.2 Undo Log如何回滚到上一个版本

实现方式通过两个隐藏列trx_id(最近一次提交事务的ID)和roll_pointer(上个版本的地址),建立一个版本链。并在事务中读取的时候生成一个ReadView(读视图),在Read Committed隔离级别下,每次读取都会生成一个读视图,而在Repeatable Read隔离级别下,只会在第一次读取时生成一个读视图。



4. Bin Log(备份日志)

4.1 Bin Log的内容与作用

Bin Log记录的是逻辑日志,即原始的SQL语句,是MySQL自带的。

作用: 数据备份和主从同步。

Bin Log共有三种日志格式,可以binlog_format配置参数指定。

参数值

含义

Statement

记录原始SQL语句,会导致更新时间与原库不一致。
比如 update_time=now()

Row

记录每行数据的变化,保证了数据与原库一致,缺点是数据量较大。

Mixed

Statement和Row的混合模式,默认采用Statement模式,涉及日期、函数相关的时候采用Row模式,既减少了数据量,又保证了数据一致性。

4.2 什么时候写入Bin Log?

Bin Log采用追加写入的模式,并不会覆盖原有日志,所以可以用来恢复到之前某个时刻的数据。

Bin Log也是采用WAL模式,先写日志,再写磁盘。

至于什么时候刷新到磁盘,可以sync_binlog配置参数指定。

参数值

含义

0(延迟写)

每次提交事务都不会刷盘,由系统自己决定什么时候刷盘,可能会丢失数据。

1(实时写)

每次提交事务,都会刷盘,性能较差。

N(延迟写)

提交N个事务后,才会刷盘。

加入写Bin Log之后的事务流程:


这就是二阶段提交的概念,先写处于prepare状态的Redo Log,事务提交后,再写处于commit状态的Redo Log。

知识点总结:



有了MySQL日志的基础,下篇就可以一块学习MySQL集群和主从同步了。

推荐阅读:《我爱背八股系列》

为什么要用MQ?MQ的作用有哪些?
高并发场景下,如何保证数据的一致性的?
如何进行分库分表?分库分表后有哪些问题以及对应的解决方案。
高并发下怎么生成订单ID?以及每种方案的优缺点。
如何实现分布式锁?使用数据库、分布式数据库、分布式协调服务分别如何实现?

MySQL索引底层数据结构为什么要用B+树?以及红黑树、B树的优缺点。

一篇文章讲清楚MySQL的聚簇/联合/覆盖索引、回表、索引下推

ThreadLocal线上故障复盘,差点丢了工作。
一文详解MySQL事务底层原理
一文讲清楚MySQL的所有锁

MySQL update语句加锁过程和原理
记一次线上MySQL死锁排查过程


相关推荐

0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)

文档编写目的在前面的文档中,介绍了在有CM和无CM两种情况下使用rpm方式安装CDH5.10.0,本文档将介绍如何在无CM的情况下使用rpm方式安装CDH6.2.0,与之前安装C5进行对比。环境介绍:...

ARM64 平台基于 openEuler + iSula 环境部署 Kubernetes

为什么要在arm64平台上部署Kubernetes,而且还是鲲鹏920的架构。说来话长。。。此处省略5000字。介绍下系统信息;o架构:鲲鹏920(Kunpeng920)oOS:ope...

生产环境starrocks 3.1存算一体集群部署

集群规划FE:节点主要负责元数据管理、客户端连接管理、查询计划和查询调度。>3节点。BE:节点负责数据存储和SQL执行。>3节点。CN:无存储功能能的BE。环境准备CPU检查JDK...

在CentOS上添加swap虚拟内存并设置优先级

现如今很多云服务器都会自己配置好虚拟内存,当然也有很多没有配置虚拟内存的,虚拟内存可以让我们的低配服务器使用更多的内存,可以减少很多硬件成本,比如我们运行很多服务的时候,内存常常会满,当配置了虚拟内存...

国产深度(deepin)操作系统优化指南

1.升级内核随着deepin版本的更新,会自动升级系统内核,但是我们依旧可以通过命令行手动升级内核,以获取更好的性能和更多的硬件支持。具体操作:-添加PPAs使用以下命令添加PPAs:```...

postgresql-15.4 多节点主从(读写分离)

1、下载软件[root@TX-CN-PostgreSQL01-252software]#wgethttps://ftp.postgresql.org/pub/source/v15.4/postg...

Docker 容器 Java 服务内存与 GC 优化实施方案

一、设置Docker容器内存限制(生产环境建议)1.查看宿主机可用内存bashfree-h#示例输出(假设宿主机剩余16GB可用内存)#Mem:64G...

虚拟内存设置、解决linux内存不够问题

虚拟内存设置(解决linux内存不够情况)背景介绍  Memory指机器物理内存,读写速度低于CPU一个量级,但是高于磁盘不止一个量级。所以,程序和数据如果在内存的话,会有非常快的读写速度。但是,内存...

Elasticsearch性能调优(5):服务器配置选择

在选择elasticsearch服务器时,要尽可能地选择与当前业务量相匹配的服务器。如果服务器配置太低,则意味着需要更多的节点来满足需求,一个集群的节点太多时会增加集群管理的成本。如果服务器配置太高,...

Es如何落地

一、配置准备节点类型CPU内存硬盘网络机器数操作系统data节点16C64G2000G本地SSD所有es同一可用区3(ecs)Centos7master节点2C8G200G云SSD所有es同一可用区...

针对Linux内存管理知识学习总结

现在的服务器大部分都是运行在Linux上面的,所以,作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道:地址映射内存管理的方式缺页异常先来看一些基本的知识,在进程看来,内存分为内...

MySQL进阶之性能优化

概述MySQL的性能优化,包括了服务器硬件优化、操作系统的优化、MySQL数据库配置优化、数据库表设计的优化、SQL语句优化等5个方面的优化。在进行优化之前,需要先掌握性能分析的思路和方法,找出问题,...

Linux Cgroups(Control Groups)原理

LinuxCgroups(ControlGroups)是内核提供的资源分配、限制和监控机制,通过层级化进程分组实现资源的精细化控制。以下从核心原理、操作示例和版本演进三方面详细分析:一、核心原理与...

linux 常用性能优化参数及理解

1.优化内核相关参数配置文件/etc/sysctl.conf配置方法直接将参数添加进文件每条一行.sysctl-a可以查看默认配置sysctl-p执行并检测是否有错误例如设置错了参数:[roo...

如何在 Linux 中使用 Sysctl 命令?

sysctl是一个用于配置和查询Linux内核参数的命令行工具。它通过与/proc/sys虚拟文件系统交互,允许用户在运行时动态修改内核参数。这些参数控制着系统的各种行为,包括网络设置、文件...

取消回复欢迎 发表评论: