• 什么是写失效,如何解决写失效问题

什么是写失效,如何解决写失效问题

2025-08-16 12:33:20 栏目:宝塔面板 111 阅读

写失效是指在Mysql数据页在写入磁盘的过程中由于系统宕机或其他原因导致数据页一部分部分写入成功,一部分写入失败,最终造成数据页损坏的情况。这种情况会导致数据丢失并且无法通过redo log恢复(redo log记录的是数据页的物理操作,而非完整数据页)。

1、为什么出现写失效问题

    lnnoDB存储引擎中缓存页和操作系统的页大小不一致,lnnoDB页大小默认为16K(可以设置),操作系统页默认大小为4K,当InnoDB的页写入到磁盘时,一个页需要分4次写,如下图所示:

图片

    如果当存储引擎正在写入页的数据到磁盘时发生了宕机,可能出现页只写成功一部分的情况,如下图所示:

图片

上图这种情况就做部分写失效,会导致数据丢失的问题。

2、Mysql如何解决写失效

    为了解决写失效问题,Mysql引入了双写缓冲区(Double Write Buffer,它是InnoDB存储引擎的一种机制,用于解决部分写失效的问题,提高数据完整性和可靠性),InnoDB存储引擎中,系统表空间的有双写缓冲区,如下图所示:

图片

    Doublewrite Buffer是内存+磁盘的结构,在内存结构中,Doublewrite Buffer由128个页构成,大小是2MB,这些页在内存中以Doublewrite Buffer的形式存在,如下图所示:

图片

    在磁盘结构中,Doublewrite Buffer在系统表空间上是128个页(2个区,每个大小是1M),总的大小是2M。

    双写缓冲区的原理是双写缓冲区通过在数据页写入磁盘之前,先将数据页写入系统表空间中的Doublewrite buffer区域,确保即使在写入过程中发生宕机,也可以通过该临时区域恢复损坏的数据页,如下图所示:

图片

    当有数据页(脏页)要被写入数据文件时,首先将页数据通过函数拷贝至内存中的Doublewrite buffer中,如下图所示:

图片

    Doublewrite buffer每次写1MB数据到磁盘上的共享表空间上,在共享表空间中会单独开辟2M连续的空间专门给Doublewrite buffer刷脏页用,由于这个存储空间是连续的并且写入磁盘还是顺序写,所以数据页同步到系统表空间的性能很高,执行的速度也很快。

    完成同步系统表空间后,Doublewrite buffer再将脏页写入实际的各个表空间文件中,这时写入就是离散的了,如下图所示:

图片

    这个上述的过程中,第一次写入到系统表空间上,第二次写入实际的表空间中,这个过程涉及到两次写入,这过程我们称之为双写,完成的过程如下图所示:

图片

    当Mysql刷脏页到磁盘上出现崩溃时,在系统崩溃恢复过程中,双写缓冲区的作用就出来了,如下图所示:

图片

    如果数据页在写入过程中发生损坏,InnoDB存储引擎会从系统表空间中的双写缓冲区中查找该页的完整副本,并将其恢复到数据文件中,然后再结合redo log完成崩溃恢复的工作。

总结:

(1)写失效是指在数据页写入磁盘的过程中,由于系统宕机或其他原因导致数据页部分写入成功,部分写入失败,从而造成数据页损坏的情况。

(2)双写缓冲区通过在数据页写入磁盘之前,先将数据页写入系统表空间中,确保即使在写入过程中发生宕机,也可以通过系统表空间中的数据页副本恢复损坏的数据页。

(3)双写缓冲区的大小为2MB,由128个页组成,分为内存部分和磁盘部分。

(4)双写缓冲区会引入一定的性能开销,但在大多数情况下,这种开销完全值得,因为它提供了更高的安全性和可靠性。

(5)在Mysql的Innodb存储引擎中,redo log和Doublewrite buffer是配合工作的,目的是确保数据的持久性和恢复能力。在恢复过程中,如果存在损坏的数据页,Innodb首先会去双写缓冲区文件中找数据页副本,用副本尝试恢复损坏的数据页,然后再应用redo log完成数据的同步。

本文地址:https://www.yitenyun.com/339.html

搜索文章

Tags

数据库 API FastAPI Calcite 电商系统 MySQL Web 应用 异步数据库 数据同步 ACK 双主架构 循环复制 JumpServer SSL 堡垒机 跳板机 HTTPS TIME_WAIT 运维 负载均衡 HexHub Docker JumpServer安装 堡垒机安装 Linux安装JumpServer Deepseek 宝塔面板 Linux宝塔 生命周期 服务器 管理口 esxi esxi6 root密码不对 无法登录 web无法登录 服务器性能 序列 核心机制 Windows Windows server net3.5 .NET 安装出错 HTTPS加密 查看硬件 Linux查看硬件 Linux查看CPU Linux查看内存 Windows宝塔 Mysql重置密码 宝塔面板打不开 宝塔面板无法访问 开源 PostgreSQL 存储引擎 Oracle 处理机制 无法访问宝塔面板 SQL 查询 连接控制 机制 Serverless 无服务器 语言 监控 Spring Redis 异步化 InnoDB 数据库锁 ES 协同 Undo Log group by 索引 优化 万能公式 技术 机器学习 锁机制 高可用 分页查询 动态查询 缓存方案 缓存架构 缓存穿透 scp Linux的scp怎么用 scp上传 scp下载 scp命令 GreatSQL 连接数 响应模型 工具 数据 主库 R edis 线程 Postgres OTel Iceberg 行业 趋势 SVM Embedding 日志文件 MIXED 3 openHalo SQLite-Web SQLite 数据库管理工具 加密 场景 R2DBC Linux 安全 Netstat Linux 服务器 端口 Recursive 启动故障 RocketMQ 长轮询 配置 自定义序列化 存储 SQLark 云原生 AI 助手 共享锁 ​Redis 推荐模型 Hash 字段 PG DBA 国产数据库 向量数据库 大模型 防火墙 黑客 OB 单机版 Ftp 数据分类 电商 系统 Rsync 向量库 Milvus 业务 架构 Python mini-redis INCR指令 修改DNS Centos7如何修改DNS 磁盘架构 MySQL 9.3 Canal 分库 分表 sftp 服务器 参数 • 索引 • 数据库 线上 库存 预扣 Doris SeaTunnel MVCC 人工智能 推荐系统 redo log 重做日志 不宕机 信息化 智能运维 失效 流量 传统数据库 向量化 同城 双活 聚簇 非聚簇 PostGIS 高效统计 今天这篇文章就跟大家 filelock IT运维 语句 事务 Java 开发 Redisson 锁芯 虚拟服务器 虚拟机 内存 网络架构 网络配置 INSERT COMPACT 数据备份 ZODB 缓存 prometheus Alert 窗口 函数 发件箱模式 引擎 性能 Web 频繁 Codis RDB AOF 核心架构 订阅机制 Go 数据库迁移 数据脱敏 加密算法 MongoDB 容器 数据结构 速度 服务器中毒 Redis 8.0 数据集成工具 自动重启 MCP 开放协议 崖山 新版本 工具链 SSH 读写 Web 接口 容器化 数据类型 B+Tree ID 字段 模型 OAuth2 Token 主从复制 代理 聚簇索引 非聚簇索引 QPS 高并发 播客 分布式 集中式 JOIN Redka 网络故障 分布式架构 分布式锁​ SpringAI Entity 微软 SQL Server AI功能 事务隔离 DBMS 管理系统 StarRocks 数据仓库 排行榜 排序 池化技术 连接池 Caffeine CP 数据页 大表 业务场景 部署 Pottery 分页方案 排版 原子性 Testcloud 云端自动化 网络 dbt 数据转换工具 sqlmock 1 EasyExcel MySQL8 千万级 LRU 意向锁 记录锁 悲观锁 乐观锁 优化器 分页 AIOPS ReadView 单点故障 UUIDv7 主键 仪表盘 Ansible Order Pump 事务同步 数据字典 兼容性 InfluxDB 日志 UUID ID Valkey Valkey8.0 对象 Crash 代码 RAG HelixDB 编程 单线程 订单 Weaviate MGR 分布式集群 IT 分布式锁 Zookeeper 产业链 LLM 双引擎 恢复数据 字典 线程安全 List 类型 关系数据库 拦截器 动态代理 表空间 Next-Key 解锁 调优 国产 用户 慢SQL优化 矢量存储 数据库类型 AI代理 RR 互联网 GitHub Git 神经系统 快照读 当前读 视图 count(*) count(主键) 行数 查询规划 算法 CAS 技巧 并发控制 恢复机制 多线程 闪回