百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

使用 Redisson 实现支持 TTL 和 LRU 策略的本地缓存

nanshan 2025-05-21 15:24 10 浏览 0 评论

在分布式系统中,高性能缓存 是保障系统响应速度的关键。在使用 Redis 的同时,很多开发者也希望在本地保留一个缓存副本,以进一步提升读写效率,降低 Redis 的访问频率。Redisson 提供了丰富的工具来简化这种需求的实现。

在这篇文章中,我们将介绍如何基于 Redisson 的 RMapCache 实现:

  • 带有 TTL(过期时间)控制;
  • 支持本地 LRU 缓存淘汰策略;
  • 自动监听 Redis 数据变更并同步更新本地缓存;
  • 并且只缓存设置了 TTL 的 key,防止无限制增长。

为什么不用 RLocalCachedMap?

Redisson 提供了 RLocalCachedMap 来实现本地缓存,但我们在使用过程中发现了一些问题:

  • 异步 put 后远程 Redis 更新成功但本地未更新;
  • Redis 中数据为字符串格式,但 RLocalCachedMap 读取失败;
  • 结构内部使用 Lua 脚本做同步,有兼容性 bug(如 unpack 异常);
  • 不支持仅缓存 Redis 中有 TTL 的数据。

因此,我们决定舍弃 RLocalCachedMap,改为自己封装一个缓存类,只使用 RMapCache 加上 Caffeine 本地缓存实现相同甚至更灵活的能力。


最终方案:TTLLocalCachedMap

我们将该封装命名为 TTLLocalCachedMap,它具备以下特性:

  • Redis 端使用 Redisson 提供的 RMapCache,天然支持 TTL;
  • 本地缓存使用 Caffeine,支持 LRU 和 TTL;
  • 自动监听 Redis 端的 put/remove 操作并同步本地缓存;
  • 初始化时只预热 Redis 中有 TTL 的 key,避免缓存过多无用数据。

核心代码实现

import com.github.benmanes.caffeine.cache.*;
import org.redisson.api.*;
import org.redisson.api.listener.*;
import org.redisson.api.map.event.EntryCreatedListener;
import org.redisson.api.map.event.EntryExpiredListener;
import org.redisson.api.map.event.EntryRemovedListener;
import org.redisson.api.map.event.EntryUpdatedListener;
import org.redisson.client.codec.Codec;
import org.redisson.client.codec.StringCodec;

import java.util.Map;
import java.util.concurrent.*;
import java.util.function.Function;

public class TTLLocalCachedMap<K, V> {

    private final RMapCache<K, V> redisMap;
    private final Cache<K, V> localCache;

    public TTLLocalCachedMap(RedissonClient redisson, String mapName, Codec codec, long maxLocalSize, long localTTLSeconds) {
        this.redisMap = redisson.getMapCache(mapName, codec);

        this.localCache = Caffeine.newBuilder()
            .maximumSize(maxLocalSize)
            .expireAfterWrite(localTTLSeconds, TimeUnit.SECONDS)
            .build();

        preloadFromRedis();

        // 设置监听器:远端写入 -> 同步本地
        redisMap.addListener((EntryCreatedListener<K, V>) event -> cacheIfTtlSet(event.getKey()));
        redisMap.addListener((EntryUpdatedListener<K, V>) event -> cacheIfTtlSet(event.getKey()));
        redisMap.addListener((EntryRemovedListener<K, V>) event -> localCache.invalidate(event.getKey()));
        redisMap.addListener((EntryExpiredListener<K, V>) event -> localCache.invalidate(event.getKey()));
    }

    public TTLLocalCachedMap(RedissonClient redisson, String mapName, long maxLocalSize, long localTTLSeconds) {
        this(redisson, mapName, StringCodec.INSTANCE, maxLocalSize, localTTLSeconds);
    }

    private void preloadFromRedis() {
        Map<K, V> allEntries = redisMap.readAllMap();
        for (Map.Entry<K, V> entry : allEntries.entrySet()) {
            cacheIfTtlSet(entry.getKey());
        }
    }

    private void cacheIfTtlSet(K key) {
        long ttl = redisMap.remainTimeToLive(key);
        if (ttl > 0) {
            V value = redisMap.get(key);
            if (value != null) {
                localCache.put(key, value);
            }
        } else {
            localCache.invalidate(key);
        }
    }

    public void put(K key, V value, long ttl, TimeUnit unit) {
        redisMap.put(key, value, ttl, unit);
        if (ttl > 0) {
            localCache.put(key, value);
        }
    }

    public void put(K key, V value) {
        redisMap.put(key, value); // no TTL => 本地不缓存
        localCache.invalidate(key);
    }

    public CompletableFuture<Void> putAsync(K key, V value, long ttl, TimeUnit unit) {
        return redisMap.putAsync(key, value, ttl, unit)
            .toCompletableFuture()
            .thenAccept(r -> {
                if (ttl > 0) localCache.put(key, value);
            });
    }

    public V get(K key) {
        return localCache.get(key, k -> {
            long ttl = redisMap.remainTimeToLive(k);
            if (ttl > 0) {
                return redisMap.get(k);
            } else {
                return null;
            }
        });
    }

    public void remove(K key) {
        redisMap.remove(key);
        localCache.invalidate(key);
    }

    public void clear() {
        redisMap.clear();
        localCache.invalidateAll();
    }

    public boolean containsKey(K key) {
        return get(key) != null;
    }
}

总结

本方案舍弃了 RLocalCachedMap 的复杂同步机制,而选择自己组合 RMapCache + Caffeine 的方式构建本地缓存,带来以下优势:

  • 更好的可控性(只缓存 TTL key);
  • 更灵活的替换策略(支持 LRU);
  • 更少的 bug;
  • 更清晰的同步逻辑。

这是一个简单但有效的分布式缓存优化实践,推荐在高性能系统中采用这种方案,尤其在对 TTL 管理要求严格的场景中。


如果你有类似的分布式缓存需求,欢迎交流或评论探讨~

你是否也遇到过 Redisson 中 RLocalCachedMap 带来的坑呢?

实践建议

  • 确保 key 的 TTL 设置正确,否则会被自动踢出本地缓存;
  • Caffeine 中的 TTL 应比 Redis 稍短一些,防止读取已过期值;
  • 使用一致的 Codec(如 StringCodec)避免序列化异常;
  • 如果 Redis 中有大量无 TTL 的 key,可考虑定期清理或隔离管理;
  • 在服务启动时调用 preloadFromRedis(),能避免首次读取时的性能抖动。

相关推荐

服务器数据恢复—Raid5数据灾难不用愁,Raid5数据恢复原理了解下

Raid5数据恢复算法原理:分布式奇偶校验的独立磁盘结构(被称之为raid5)的数据恢复有一个“奇偶校验”的概念。可以简单的理解为二进制运算中的“异或运算”,通常使用的标识是xor。运算规则:若二者值...

服务器数据恢复—多次异常断电导致服务器raid不可用的数据恢复

服务器数据恢复环境&故障:由于机房多次断电导致一台服务器中raid阵列信息丢失。该阵列中存放的是文档,上层安装的是Windowsserver操作系统,没有配置ups。因为服务器异常断电重启后,rai...

服务器数据恢复-V7000存储更换磁盘数据同步失败的数据恢复案例

服务器数据恢复环境:P740+AIX+Sybase+V7000存储,存储阵列柜上共12块SAS机械硬盘(其中一块为热备盘)。服务器故障:存储阵列柜中有磁盘出现故障,工作人员发现后更换磁盘,新更换的磁盘...

「服务器数据恢复」重装系统导致XFS文件系统分区丢失的数据恢复

服务器数据恢复环境:DellPowerVault系列磁盘柜;用RAID卡创建的一组RAID5;分配一个LUN。服务器故障:在Linux系统层面对LUN进行分区,划分sdc1和sdc2两个分区。将sd...

服务器数据恢复-ESXi虚拟机被误删的数据恢复案例

服务器数据恢复环境:一台服务器安装的ESXi虚拟化系统,该虚拟化系统连接了多个LUN,其中一个LUN上运行了数台虚拟机,虚拟机安装WindowsServer操作系统。服务器故障&分析:管理员因误操作...

「服务器数据恢复」Raid5阵列两块硬盘亮黄灯掉线的数据恢复案例

服务器数据恢复环境:HPStorageWorks某型号存储;虚拟化平台为vmwareexsi;10块磁盘组成raid5(有1块热备盘)。服务器故障:raid5阵列中两块硬盘指示灯变黄掉线,无法读取...

服务器数据恢复—基于oracle数据库的SAP数据恢复案例

服务器存储数据恢复环境:某品牌服务器存储中有一组由6块SAS硬盘组建的RAID5阵列,其中有1块硬盘作为热备盘使用。上层划分若干lun,存放Oracle数据库数据。服务器存储故障&分析:该RAID5阵...

「服务器虚拟化数据恢复」Xen Server环境下数据库数据恢复案例

服务器虚拟化数据恢复环境:Dell某型号服务器;数块STAT硬盘通过raid卡组建的RAID10;XenServer服务器虚拟化系统;故障虚拟机操作系统:WindowsServer,部署Web服务...

服务器数据恢复—RAID故障导致oracle无法启动的数据恢复案例

服务器数据恢复环境:某品牌服务器中有一组由4块SAS磁盘做的RAID5磁盘阵列。该服务器操作系统为windowsserver,运行了一个单节点Oracle,数据存储为文件系统,无归档。该oracle...

服务器数据恢复—服务器磁盘阵列常见故障表现&amp;解决方案

RAID(磁盘阵列)是一种将多块物理硬盘整合成一个虚拟存储的技术,raid模块相当于一个存储管理的中间层,上层接收并执行操作系统及文件系统的数据读写指令,下层管理数据在各个物理硬盘上的存储及读写。相对...

「服务器数据恢复」IBM某型号服务器RAID5磁盘阵列数据恢复案例

服务器数据恢复环境:IBM某型号服务器;5块SAS硬盘组成RAID5磁盘阵列;存储划分为1个LUN和3个分区:第一个分区存放windowsserver系统,第二个分区存放SQLServer数据库,...

服务器数据恢复—Zfs文件系统下误删除文件如何恢复数据?

服务器故障:一台zfs文件系统服务器,管理员误操作删除服务器上的数据。服务器数据恢复过程:1、将故障服务器所有磁盘编号后取出,硬件工程师检测所有硬盘后没有发现有磁盘存在硬件故障。以只读方式将全部磁盘做...

服务器数据恢复—Linux+raid5服务器数据恢复案例

服务器数据恢复环境:某品牌linux操作系统服务器,服务器中有4块SAS接口硬盘组建一组raid5阵列。服务器中存放的数据有数据库、办公文档、代码文件等。服务器故障&检测:服务器在运行过程中突然瘫痪,...

服务器数据恢复—Sql Server数据库数据恢复案例

服务器数据恢复环境:一台安装windowsserver操作系统的服务器。一组由8块硬盘组建的RAID5,划分LUN供这台服务器使用。在windows服务器内装有SqlServer数据库。存储空间LU...

服务器数据恢复—阿里云ECS网站服务器数据恢复案例

云服务器数据恢复环境:阿里云ECS网站服务器,linux操作系统+mysql数据库。云服务器故障:在执行数据库版本更新测试时,在生产库误执行了本来应该在测试库执行的sql脚本,导致生产库部分表被tru...

取消回复欢迎 发表评论: