百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

InnoDB存储结构之磁盘结构(磁盘数据结构)

nanshan 2024-10-20 07:34 13 浏览 0 评论


InnoDB磁盘主要包含Tablespaces、InnoDB Data Dictinary、Doublewrite Buffer、Redo Log和Undo Log。

Tablespaces(表空间)

用于存储表结构和数据。表空间又分为系统表空间、独立表空间、通用表空间、临时表空间、Undo表空间等多种类型;

    • The System Tablespace(系统表空间)
      • 包含InnoDB数据字典、Doublewrite Buffer、Change Buffer、Undo Logs的存储区域。
      • 系统表空间也默认包含任何用户在系统表空间创建的表数据和索引数据。
      • 系统表空间是一个共享的表空间,因为它是被多个表共享的。
      • 系统表空间的数据文件通过参数innodb_data_file_path控制,默认值是ibdata1:12M:autoextend(文件名为ibdata1、12M、自动扩展)。
    • File-Per-Tablespacee(独立表空间)
      • 默认开启,独立表空间是一个单表空间,该表创建于自己的数据文件中,而非创建于系统表空间中。当innodb_fle_per_table选项开启时,表将被创建于表空间中。否则,innodb将被创建于系统表空间中。
      • 每个表文件空间由一个.ibd数据文件代表,该文件默认被创建于数据库目录中。
      • 表空间的标文件支持动态(dynamic)和压缩(commpressed)行模式。
    • General Tablesapces(通用表空间)
      • 通用表空间为通过create tablespace语句创建的共享表空间。
      • 通用表空间可以创建于mysql数据库目录外的其他表空间,其可以容纳多张表,且支持所有的行格式。
    • Undo Tablespaces(撤销表空间)
      • 撤销表空间由一个或多个包含Undo日志文件组成。
      • 在MySQL 5.7版本之前Undo占用的是System Tablespaces共享区,从5.7开始将Undo从System Tablespaces分离出来。
      • InnoDB使用的是Undo表空间由innodb_undo_tablespaces配置选项控制,默认为0;
      • 参数值为0表示使用系统表空间ibdata1;大于0表示使用Undo表空间undo_001、undo_002等。
    • Temporary Tablespaces(临时表空间)
      • 分为Session Temporary Tablespaces和Global Temporary Tablespace两种。
        • Session Temporary Tablespaces存储的是用户创建的临时表和存盘内部的临时表
        • Global Temporary Tablespace存储用户临时表的回滚段(rollback segments)
      • MySQL服务器正常关闭或异常终止时,临时表空间将被移除,每次启动时会被重新创建。

数据字典(InnoDB Data Dictionary)

    • InnoDB数据字典由内部系统表组成,这些表包含用于查找表、索引和表字段等对象的元数据。
    • 元数据物理上位于InnoDB系统表空间上中。

双写缓冲区(Doublewrite Buffer)

    • 位于系统表空间,是一个存储区域。
    • 在Buffeer Pool的Page页刷新到磁盘真正的位置前,会先将数据存在Doublewrite Buffer。
    • 如果在Page页写入过程中出现操作系统、存储子系统或mysqlid进行崩溃,InnoDB可以在崩溃恢复期间从Doublewrite Buffer中找到Page页的一个备份。
    • 在大多数情况下,默认开启Doublewrite Buffer,如果要禁用Doublewrite Buffer,可以将innodb_doublewrite设置为0。
    • 使用Doublewrite Buffer时建议将innodb_flush_method设置为O_DIRECT
      • innodb_flush_method这个参数控制着InnoDB数据文件及Redo Log的打开及刷新模式。有三个值:fdatasync(默认)、O_DSYNC、O_DIRECT。设置O_DIRECT表示数据写入操作会通知操作系统不要缓存数据,也不要预读,直接从InnoDB Buffer写到磁盘文件;默认的fdatasync是先写入操作系统缓存,然后再调用fsync()函数去异步刷新数据文件与Redo Log的缓存信息。

重做日志(Redo Log)

    • Redo Log是一种基于磁盘的数据结构,用于在崩溃恢复期间更正不完整事务写入的数据。
    • MySQL以循环方式写入Redo Log,记录InnoDB中所有对Buffer Pool修改的日志。
    • 当出现实例故障,导致数据未能更新到数据文件,则数据库重启时需要Redo,重新把数据更新到数据文件。
    • 读写事务在执行的过程中,都会不断的产生Redo Log。
    • 默认情况下,Redo Log在磁盘上由两个名为ib_logfile0和ib_logfile1的文件物理名称。

撤销日志(Undo Log)

    • Undo Log是在事务开始之前保存的被修改数据的备份,用于意外情况时回滚事务。
    • Undo Log属于逻辑日志,根据每行记录进行级联。
    • Undo Log存在于系统表空间、撤销表空间和临时表空间中。

新版本结构演变

  • MySQL 5.7版本
    • 将Undo日志表空间从共享表空间ibdata文件中分离出来,可以在安装MySQL时由用户自行指定文件大小和数量。
    • 增加了Temporary临时表空间,里面存储着临时表或临时查询结果集的数据。
    • Buffer Pool大小可以动态修改,无需重启数据库实例
  • MySQL 8.0版本
    • 将InnoDB表的数据字典和Undo都从共享表空间ibdata中彻底分离出来,之前版本需要ibdata中数据字段与独立表空间ibd文件中数据字典一致。
    • Temporary临时表空间可以配置多个物理文件,而且均为InnoDB存储引擎并能创建索引,加快了处理的速度。
    • 用户可以设置一些表空间,每个表空间对应多个物理文件,每个表空间可以给多个表使用,但一个表只能存储在一个表空间中。
    • 将Doublewrite Buffer从共享表空间ibdata中分离出来

相关推荐

删库之后不要着急跑路,教你神不知鬼不觉找回数据

在工作中,我们误删数据或者数据库,我们一定需要跑路吗?我看未必,程序员一定要学会自救,神不知鬼不觉的将数据找回。在mysql数据库中,我们知道binlog日志记录了我们对数据库的所有操作,所以...

数据库告警不可用,增删改受阻(数据库限制删除)

前言:昨晚,突然出现服务不可用告警,查看日志上线报文入库到数据库很慢并受阻,出现数据不同步问题。排查问题查看发现服务都是在执行update、insert这些DML命令的时候,报的数据库执行超时。经过一...

Binlog实现MySQL复制,5个关键步骤,务必掌握!

复制是MySQL最重要的功能之一,MySQL集群的高可用、负载均衡和读写分离都是基于复制来实现的。Binlog就是实现主从复制的关键,主数据库将修改操作记录到Binlog中,从数据库通过解...

MySQL数据实时增量同步到Elasticsearch

Mysql到Elasticsearch的数据同步,一般用ETL来实现,但性能并不理想,目前大部分的ETL是定时查询Mysql数据库有没有新增数据或者修改数据,如果数据量小影响不大,但如果几百万上千万的...

MySQL 数据库恢复:如何执行时间点恢复(PITR)以挽救受损数据?

天津鸿萌科贸发展有限公司从事数据安全服务二十余年,致力于为各领域客户提供专业的数据恢复、数据备份、数据取证、数据迁移、网络安全、数据清除等解决方案,并针对企业面临的数据安全风险,提供专业的相关数据安全...

阿里面试:MySQL Binlog有哪些格式?底层原理?优缺点?

binlog的格式也有三种:STATEMENT、ROW、MIXED,下面我详解binlog三种模式@mikechenStatement模式Statement模式:是基于SQL语句的复制(statem...

快速带你读懂MySQL的binlog写入机制

深入讲解MySQL中的重要日志binlog的写入机制以及影响IO性能的关键配置,并且介绍了如何利用binlog去恢复数据,保证MySQL的可靠性。Q:binlog写入时机binlog的写入逻辑并...

MySQL 误删除数据恢复全攻略:基于 Binlog 的实战指南

在MySQL的世界里,二进制日志(Binlog)就是我们的"时光机"。它默默记录着数据库的每一个重要变更,就像一位忠实的史官,为我们在数据灾难中提供最后的救命稻草。本文将带您深入掌握如...

一文了解MySQL Binlog(一文了解肝脏有益和有害的食物)

MySQL的Binlog日志是一种二进制格式的日志,Binlog记录所有的DDL和DML语句(除了数据查询语句SELECT、SHOW等),以Event的形式记录,同时记录语句执行时...

数据丢失?别慌!MySQL备份恢复攻略

想象一下,某个晴朗的午后,你正享受着咖啡,突然接到紧急电话:你的网站或APP彻底挂了!系统崩溃,界面全白。虽然心头一紧,但你或许还能安慰自己:系统崩溃只是暂停服务,数据还在,修复修复就好了。然而,如果...

Mysql中的bin log、redo log、undo log的区别

最近在整理面试题,在看mvcc的时候看到了undolog,今天索性把这三个log都记录一遍。MySQL的逻辑架构说之前先说一下MySQL的基本架构,MySQL主要分为两层:Server层和存储引...

binlog日志定时清理(binlog清理规则)

binlog日志binlog是MySQL数据库的一种日志文件,用于记录所有对数据的修改操作。binlog全称为binarylog,它以二进制格式记录MySQL服务器上所有的修改操作,包括对哪个数据库...

茶水间炸锅了!菜鸟误删用户表,运维老张的MySQL救命三招!

(公司茶水间,运维老张、开发小王和新人小李围着咖啡机)小李:(紧张兮兮)张哥!我...我好像把测试库的用户表删了!下午演示咋办啊?老张:(淡定喝咖啡)慌啥?昨晚的备份是吃干饭的?走,教你恢复!一、基础...

解决运维痛点,提高运维安全性-雷池 SafeLine WAF新功能身份认证

雷池介绍使用雷池SafeLineWAF已经两年多了,在1.5.x版本时就已经开始测试使用,并在推出LTS版本后转入LTS分支。近期雷池SafeLineWAF重点更新了身份认证功能,并提供了SS...

【Docker 新手入门指南】第十五章:常见故障排除

一、前期准备:收集关键信息在排查问题前,建议先获取以下系统数据,便于精准定位故障:1.系统基础信息#查看Docker版本(确认是否为最新稳定版)dockerversion#查看...

取消回复欢迎 发表评论: