• MySQL和MongoDB事务同步的一种尝试

MySQL和MongoDB事务同步的一种尝试

2025-05-29 01:37:06 栏目:宝塔面板 110 阅读

现象

最近线上的一条数据状态不对,但是日志又记录上了。 查看了这条数据的更新逻辑

public Boolean autoReject(AutoRejectParam param) {
        
        OperationLog log = createOperationLog(param);

        // 保存操作日志到mysql
        operationLogMapper.insertSelective(log);

        Query query = new Query();
        Criteria criteria = new Criteria();
        criteria.and("requestId").is(param.getRequestId());
        query.addCriteria(criteria);
        Update update = new Update();
        update.set("status", CvBusinessStatusEnum.Rejected.getCode())
                .set("updateTime", new Date())
                .set("taskId", "");
        mongoTemplate.updateFirst(query, update, JSONObject.class, collectionName);

        return true;
    }

从代码可以看出这里分别保存了日志到mysql,然后更新了mongodb中的数据状态。

很明显保存mysql成功了,但是更新mongodb的数据失败了,那为什么保存mongodb的数据失败了呢? 然后根据日志发现,当时服务器和mongodb连接出现了问题,于是就导致了保存mysql成功,保存到mongodb失败了。

如何解决?

问题既然产生了,那么有什么办法能够保证要成功就都成功呢? 第一个想到的是事务,我们需要保证两个数据库操作的事务一致性就可以避免这个问题了。使用单一的事务管理器肯定是不行的,需要使用链式事务。

我们可以使用spring中的ChainedTransactionManager来实现链式调用

@Configuration
public class TransactionConfig {

    @Bean
    public PlatformTransactionManager mongoTransactionManager(MongoTemplate mongoTemplate) {
        return new MongoTransactionManager(mongoTemplate.getMongoDbFactory());
    }

    @Bean
    public PlatformTransactionManager jpaTransactionManager(DataSource dataSource) {
        return new DataSourceTransactionManager(dataSource);
    }

    @Bean
    public ChainedTransactionManager chainedTransactionManager(
            PlatformTransactionManager mongoTransactionManager,
            PlatformTransactionManager jpaTransactionManager) {
        return new ChainedTransactionManager(mongoTransactionManager, jpaTransactionManager);
    }
}


@Transactional("chainedTransactionManager")
public Boolean autoReject(AutoRejectParam param) {
        
        //省略其他代码 

        // 保存操作日志到mysql
   operationLogMapper.insertSelective(log);

   // 更新mongodb
        mongoTemplate.updateFirst(query, update, JSONObject.class, collectionName);

        return true;
  }

这种方法使用 ChainedTransactionManager 来管理多个事务管理器。当方法执行时,它会按顺序开启所有事务,如果在执行过程中出现异常,它会按相反的顺序回滚所有事务。

需要注意的是,这种方法并不能保证 100% 的事务一致性,因为它实际上是在应用层面模拟的分布式事务。在某些极端情况下(比如网络故障或服务器崩溃),可能会出现部分提交的情况。

比如我们是现在这样的执行流程

transaction1 begin
  transaction2 begin
  transaction2 commit -> error rollbacks, rollbacks transction1 too
transaction1 commit -> error, only rollbacks transaction1

比如上面这种情况,在最后提交transaction1的时候如果由于网络原因提交失败了,就会导致事务2成功,事务1失败,还是部分提交了。

当然如果业务要求对于这种不一致是可以接受的,或者说我们可以进行手动补偿方式达到最终一致性,那这种方案也是可以接受的。

对于要求更高事务一致性的场景,可能需要考虑使用专门的分布式事务解决方案,如 XA 协议或 TCC (Try-Confirm-Cancel) 模式。 比如JTA就属于XA协议, 我们可以使用开源实现atomikos。

本文地址:https://www.yitenyun.com/249.html

搜索文章

Tags

数据库 API FastAPI Calcite 电商系统 MySQL Web 应用 异步数据库 数据同步 ACK 双主架构 循环复制 TIME_WAIT 运维 负载均衡 服务器 管理口 HexHub Docker JumpServer SSL 堡垒机 跳板机 HTTPS 服务器性能 JumpServer安装 堡垒机安装 Linux安装JumpServer SQL 查询 生命周期 Deepseek 宝塔面板 Linux宝塔 锁机制 esxi esxi6 root密码不对 无法登录 web无法登录 行业 趋势 序列 核心机制 Windows Windows server net3.5 .NET 安装出错 HTTPS加密 开源 PostgreSQL 存储引擎 宝塔面板打不开 宝塔面板无法访问 Windows宝塔 Mysql重置密码 机器学习 Redis 查看硬件 Linux查看硬件 Linux查看CPU Linux查看内存 Undo Log 机制 响应模型 Spring 动态查询 Oracle 处理机制 InnoDB 数据库锁 优化 万能公式 连接控制 group by 索引 Serverless 无服务器 语言 监控 无法访问宝塔面板 异步化 ES 协同 openHalo scp Linux的scp怎么用 scp上传 scp下载 scp命令 技术 Postgres OTel Iceberg 工具 缓存方案 缓存架构 缓存穿透 国产数据库 高可用 分页查询 数据 主库 SVM Embedding Linux 安全 SQLite-Web SQLite 数据库管理工具 GreatSQL 连接数 Netstat Linux 服务器 端口 存储 云原生 加密 场景 R edis 线程 R2DBC 防火墙 黑客 Recursive 启动故障 共享锁 SQLark OB 单机版 向量数据库 大模型 日志文件 MIXED 3 ​Redis 推荐模型 Canal AI 助手 自定义序列化 RocketMQ 长轮询 配置 不宕机 PG DBA 信息化 智能运维 Python 传统数据库 向量化 向量库 Milvus 业务 同城 双活 线上 库存 预扣 Ftp Hash 字段 Web 接口 开发 聚簇 非聚簇 电商 系统 修改DNS Centos7如何修改DNS IT运维 filelock 分库 分表 Rsync 架构 数据类型 MySQL 9.3 磁盘架构 缓存 sftp 服务器 参数 mini-redis INCR指令 MongoDB 数据结构 redo log 重做日志 数据分类 MCP 开放协议 PostGIS • 索引 • 数据库 ZODB Doris SeaTunnel 语句 流量 频繁 Codis 分布式架构 分布式锁​ 窗口 函数 MVCC Go 数据库迁移 虚拟服务器 虚拟机 内存 工具链 人工智能 推荐系统 数据备份 失效 EasyExcel MySQL8 主从复制 代理 Redisson 锁芯 prometheus Alert MGR 分布式集群 分页 聚簇索引 非聚簇索引 高效统计 今天这篇文章就跟大家 千万级 大表 播客 StarRocks 数据仓库 网络架构 网络配置 引擎 性能 网络故障 崖山 新版本 事务 Java INSERT COMPACT 数据集成工具 发件箱模式 容器 Entity 核心架构 订阅机制 QPS 高并发 SSH Redka B+Tree ID 字段 Weaviate RDB AOF 关系数据库 Web 数据页 Redis 8.0 速度 服务器中毒 Caffeine CP 数据脱敏 加密算法 Valkey Valkey8.0 DBMS 管理系统 分布式 集中式 OAuth2 Token 自动重启 容器化 模型 SpringAI 微软 SQL Server AI功能 读写 LRU 原子性 排行榜 排序 池化技术 连接池 数据字典 兼容性 JOIN 意向锁 记录锁 事务隔离 dbt 数据转换工具 业务场景 Testcloud 云端自动化 单点故障 UUID ID 分页方案 排版 部署 日志 1 ReadView 优化器 Pottery InfluxDB 悲观锁 乐观锁 事务同步 网络 sqlmock UUIDv7 主键 AIOPS 分布式锁 Zookeeper 对象 仪表盘 双引擎 RAG HelixDB 产业链 Order 编程 单线程 字典 Ansible Pump 恢复数据 Crash 代码 LLM 拦截器 动态代理 线程安全 国产 用户 快照读 当前读 视图 IT 订单 List 类型 慢SQL优化 count(*) count(主键) 行数 RR 互联网 表空间 解锁 调优 Next-Key 神经系统 矢量存储 数据库类型 AI代理 CAS 查询规划 多线程 GitHub Git 算法 技巧 并发控制 恢复机制 闪回