码农成长系列-基于binlog准实时清理缓存解决方案
nanshan 2024-11-27 18:14 9 浏览 0 评论
场景描述
在API业务中，由于业务的需要的，我们对某些获取数据api接口进行了性能优化，添加了可过期的缓存处理，但是有些业务我们又希望业务表改变后（如状态），能准实时的刷新缓存，那么如何准实时的刷新缓存是我们本章研究的话题。
思路梳理
- 数据仍需缓存，这点是我们无法改变的
- 我们只能从业务操作入手来解决缓存准实时清理的问题。
常见解决方案
当有业务操作时，同步的调用其的缓存清理的方法，从而做到缓存清理，当然，这也是大家经常用到的解决方案，方案虽然可行，但是与业务操作耦合性太大，我们试图需要一个能降低业务操作耦合性的方案，所以本案并不是我们研究的重点。
基于binlog(canel)的解决方案
架构图
运用mysql的binlog主从机制，以行级别的模式消费每一条数据操作，并通过自定义程序，将每一笔消费的内容转化了缓存操作，从而实现准实时的缓存清理操作。
canel简介
canel的阿里巴巴推出的一款基于mysql的binlog机制的异构数据库同步方案。
canel服务定制开发
- 将异构的数据同步作为插件，动态引入。
- 利用策略模式将插件引入到binlog消费的增删改查中。
- 进而实现了一个可插拔式的基于canel异构同步服务中。
- 上一篇：mysql binlog 使用整理
- 下一篇：binlog日志的定期清理
相关推荐
- 轻量级分析利器再升级:解读 DuckDB 1.3.0 新特性
-
DuckDB团队近日正式发布了最新版本——DuckDB1.3.0，代号“Ossivalis”。此次版本以金眼鸭的远古祖先BucephalaOssivalis命名，象征项目在演化和成长过...
- C++跨平台编译的终极奥义:用Docker把环境差异按在地上摩擦
-
"代码在本地跑得飞起，一上服务器就coredump？"——每个C++程序员都经历过的《编译器的复仇》事件！大家好，我是Henry，废话少说，今天来简单谈一下跨平台编译的那些事儿，...
- 全网最全-Version Script以及__asm__((".symver xxx"))使用总结
-
首先提醒一点，一切的前提建立在你的名字必须要mangling,不然无论你写的versionscript还是__asm__都不会起任何效果VersionScript简单用法:这是一个典型例子，这个例...
- Ubuntu 25.04 Beta发布:Linux 6.14内核
-
IT之家3月28日消息，Canonical昨日（3月27日）放出了Beta版Ubuntu25.04系统镜像，代号“PluckyPuffin”，稳定版预估将于2025年...
- 不同平台CRT的区别?什么是UCRT?如何看libc源代码?
-
若文章对您有帮助，欢迎关注程序员小迷。助您在编程路上越走越好！CRT运行时库C标准规定例如输入输出函数、字符串函数、内存操作等接口，一般采用C运行时库实现。微软的CRT微软有两套CRT，早期的MS...
- 信创力量，中兴绽放——中兴新支点桌面操作系统安装与使用全攻略
-
原文链接：「链接」Hello，大家好啊，今天给大家带来一篇中兴新支点桌面操作系统安装使用的文章，欢迎大家分享点赞，点个在看和关注吧！中兴新支点桌面操作系统是一款基于Linux内核、面向政企和信创环...
- Linux下安装常用软件都有哪些?做了一个汇总列表，你看还缺啥?
-
1.安装列表MySQL5.7.11Java1.8ApacheMaven3.6+tomcat8.5gitRedisNginxpythondocker2.安装mysql1.拷贝mysql安装文件到...
- 一篇文章解决Linux系统安全问题排查，另配实操环境
-
实操地址：https://www.skillup.host/1/linux/safe/command.md#Linux安全检查排查指南##1.系统账户安全检查###1.1检查异常账户``...
- 程序员必备的学习笔记《TCP/IP详解(一)》
-
为什么会有TCP/IP协议在世界上各地，各种各样的电脑运行着各自不同的操作系统为大家服务，这些电脑在表达同一种信息的时候所使用的方法是千差万别。就好像圣经中上帝打乱了各地人的口音，让他们无法合作一样...
- 《Linux常用命令》（linux的常用命令总结）
-
一、文件与目录操作1.目录导航pwd：显示当前工作目录路径示例：pwd关键词：当前路径、工作目录cd：切换目录示例：cd/home/user#切换到绝对路径cd..#...
- Kubernetes 教程之跟着官方文档从零搭建 K8S
-
前言本文将带领读者一起,参照者Kubernetes官方文档,对其安装部署进行讲解.Kubernetes更新迭代很快,书上、网上等教程可能并不能适用于新版本,但官方文档能.阅读这篇文章你...
- 电脑网卡坏了怎么修复（电脑网卡坏了怎么修复win7系统）
-
当电脑网卡出现故障时，无论是有线网络还是无线网络，都可能无法正常连接。下面从软件、硬件等方面，分步骤为你介绍排查与修复的解决方案。一、初步排查：锁定问题源头检查网络环境将手机、平板等其他设备连接至同一...
- 如何查询电脑/手机的物理地址（如何找手机的物理地址）
-
一、要查询电脑的物理地址（也称为MAC地址），可以按照以下步骤进行操作：1.打开命令提示符（Windows）或终端（Mac）：-在Windows上，点击“开始”按钮，搜索“命令提示符”，然后点击打...
- IPv4 无网络访问权限全流程解决方案
-
当设备出现IPv4无网络访问权限问题时，多由网络配置错误、连接故障或服务异常导致。以下提供系统化的排查步骤与解决方案，帮助用户快速定位并修复问题。一、基础故障快速检查1.物理连接确认有线网络：检...
- Python教程(十九):文件操作（python操作文件夹）
-
昨天，我们学习了列表推导式，掌握了Python中最优雅的数据处理方式。今天，我们将学习文件操作—Python中读写文件的基础技能。文件操作是编程中的核心技能，无论是读取配置文件、保存用户数据，还是...
欢迎 你 发表评论:
- 一周热门
-
-
UOS服务器操作系统防火墙设置（uos20关闭防火墙）
-
极空间如何无损移机，新Z4 Pro又有哪些升级?极空间Z4 Pro深度体验
-
手机如何设置与显示准确时间的详细指南
-
NAS:DS video/DS file/DS photo等群晖移动端APP远程访问的教程
-
如何在安装前及安装后修改黑群晖的Mac地址和Sn系列号
-
如何修复用户配置文件服务在 WINDOWS 上登录失败的问题
-
一加手机与电脑互传文件的便捷方法FileDash
-
日本海上自卫队的军衔制度（日本海上自卫队的军衔制度是什么）
-
10个免费文件中转服务站，分享文件简单方便，你知道几个?
-
爱折腾的特斯拉车主必看!手把手教你TESLAMATE的备份和恢复
-
- 最近发表
-
- 轻量级分析利器再升级:解读 DuckDB 1.3.0 新特性
- C++跨平台编译的终极奥义:用Docker把环境差异按在地上摩擦
- 全网最全-Version Script以及__asm__((".symver xxx"))使用总结
- Ubuntu 25.04 Beta发布:Linux 6.14内核
- 不同平台CRT的区别?什么是UCRT?如何看libc源代码?
- 信创力量，中兴绽放——中兴新支点桌面操作系统安装与使用全攻略
- Linux下安装常用软件都有哪些?做了一个汇总列表，你看还缺啥?
- 一篇文章解决Linux系统安全问题排查，另配实操环境
- 程序员必备的学习笔记《TCP/IP详解(一)》
- 《Linux常用命令》（linux的常用命令总结）
- 标签列表
-
- linux 查询端口号 (58)
- docker映射容器目录到宿主机 (66)
- 杀端口 (60)
- yum更换阿里源 (62)
- internet explorer 增强的安全配置已启用 (65)
- linux自动挂载 (56)
- 禁用selinux (55)
- sysv-rc-conf (69)
- ubuntu防火墙状态查看 (64)
- windows server 2022激活密钥 (56)
- 无法与服务器建立安全连接是什么意思 (74)
- 443/80端口被占用怎么解决 (56)
- ping无法访问目标主机怎么解决 (58)
- fdatasync (59)
- 405 not allowed (56)
- 免备案虚拟主机zxhost (55)
- linux根据pid查看进程 (60)
- dhcp工具 (62)
- mysql 1045 (57)
- 宝塔远程工具 (56)
- ssh服务器拒绝了密码 请再试一次 (56)
- ubuntu卸载docker (56)
- linux查看nginx状态 (63)
- tomcat 乱码 (76)
- 2008r2激活序列号 (65)