百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术文章 > 正文

高并发下Spring Cache缓存穿透?我用Caffeine+Redis破局

nanshan 2025-05-11 17:25 13 浏览 0 评论

一、什么是缓存穿透?

缓存穿透是指查询一个根本不存在的数据,导致请求直接穿透缓存层到达数据库,可能压垮数据库的现象。在高并发场景下,这尤其危险。

典型场景:

  1. 恶意攻击:故意查询不存在的ID(如负数或超大数值)
  2. 业务误操作:前端传入了无效参数
  3. 冷启动问题:新业务刚上线时缓存中无数据

二、传统解决方案的不足

常见的解决方案有:

  1. 缓存空对象:将null或空值也缓存起来
  2. 问题:大量无效key会占用内存
  3. 布隆过滤器:判断key是否可能存在
  4. 问题:实现复杂,有误判率

三、Caffeine+Redis多级缓存方案

我们采用**本地缓存(Caffeine) + 分布式缓存(Redis)**的两级架构:

  1. 第一层:Caffeine本地缓存
  2. 超高频请求拦截
  3. 缓存不存在的数据(短期)
  4. 第二层:Redis分布式缓存
  5. 全量热点数据存储
  6. 缓存不存在的数据(较长期)
  7. 数据库:最后防线

四、核心实现代码

1. 依赖引入

<!-- Spring Boot Starter Cache -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-cache</artifactId>
</dependency>

<!-- Caffeine -->
<dependency>
    <groupId>com.github.ben-manes.caffeine</groupId>
    <artifactId>caffeine</artifactId>
    <version>3.1.8</version>
</dependency>

2. 配置类

@Configuration
@EnableCaching
public class CacheConfig {

    // 本地缓存配置
    @Bean
    public Caffeine<Object, Object> caffeineConfig() {
        return Caffeine.newBuilder()
                .initialCapacity(100)
                .maximumSize(1000)
                .expireAfterWrite(10, TimeUnit.MINUTES) // 短期缓存
                .recordStats();
    }

    // Caffeine缓存管理器
    @Bean
    @Primary
    public CacheManager caffeineCacheManager(Caffeine<Object, Object> caffeine) {
        CaffeineCacheManager cacheManager = new CaffeineCacheManager();
        cacheManager.setCaffeine(caffeine);
        return cacheManager;
    }

    // Redis缓存管理器(二级缓存)
    @Bean
    public RedisCacheManager redisCacheManager(RedisConnectionFactory factory) {
        RedisCacheConfiguration config = RedisCacheConfiguration.defaultCacheConfig()
                .serializeValuesWith(RedisSerializationContext.SerializationPair
                        .fromSerializer(new GenericJackson2JsonRedisSerializer()))
                .entryTtl(Duration.ofHours(1)) // 较长期缓存
                .disableCachingNullValues(); // 不缓存null

        return RedisCacheManager.builder(factory)
                .cacheDefaults(config)
                .transactionAware()
                .build();
    }

    // 组合缓存管理器
    @Bean
    public CacheManager layeredCacheManager(
            CacheManager caffeineCacheManager,
            CacheManager redisCacheManager) {
        return new LayeredCacheManager(caffeineCacheManager, redisCacheManager);
    }
}

3. 分层缓存管理器实现

public class LayeredCacheManager implements CacheManager {

    private final CacheManager primaryCacheManager; // Caffeine
    private final CacheManager secondaryCacheManager; // Redis

    public LayeredCacheManager(CacheManager primary, CacheManager secondary) {
        this.primaryCacheManager = primary;
        this.secondaryCacheManager = secondary;
    }

    @Override
    public Cache getCache(String name) {
        return new LayeredCache(
                primaryCacheManager.getCache(name),
                secondaryCacheManager.getCache(name)
        );
    }

    // 其他必要方法实现...
}

public class LayeredCache implements Cache {

    private final Cache primary; // Caffeine
    private final Cache secondary; // Redis

    public LayeredCache(Cache primary, Cache secondary) {
        this.primary = primary;
        this.secondary = secondary;
    }

    @Override
    public String getName() {
        return primary.getName();
    }

    @Override
    public Object getNativeCache() {
        return primary.getNativeCache();
    }

    @Override
    public ValueWrapper get(Object key) {
        // 1. 先查本地缓存
        ValueWrapper value = primary.get(key);
        if (value != null) {
            if (value.get() instanceof NullValue) {
                return null; // 本地缓存中标记为不存在
            }
            return value;
        }

        // 2. 查Redis缓存
        value = secondary.get(key);
        if (value != null) {
            // 回填本地缓存
            primary.put(key, value.get() instanceof NullValue ? NullValue.INSTANCE : value.get());
            return value.get() instanceof NullValue ? null : value;
        }

        // 3. 查数据库(由@Cacheable方法实现)
        return null;
    }

    @Override
    public void put(Object key, Object value) {
        // 双写
        secondary.put(key, value == null ? NullValue.INSTANCE : value);
        primary.put(key, value == null ? NullValue.INSTANCE : value);
    }

    // 其他必要方法实现...
}

4. 业务层使用

@Service
public class ProductService {

    @Cacheable(cacheNames = "products", key = "#id", 
              cacheManager = "layeredCacheManager")
    public Product getProductById(Long id) {
        // 数据库查询逻辑
        Product product = productRepository.findById(id)
                .orElseThrow(() -> new ProductNotFoundException(id));
        
        // 模拟数据库查询耗时
        try { Thread.sleep(100); } catch (InterruptedException e) {}
        
        return product;
    }
}

五、方案优势分析

  1. 性能极致优化
  2. 99%的请求被Caffeine拦截
  3. Redis作为二级屏障
  4. 数据库QPS降低99%+
  5. 内存高效利用
  6. 本地缓存仅存储高频访问数据
  7. Redis存储全量热点数据
  8. 防穿透机制
  9. 短期缓存空值(Caffeine 10分钟)
  10. 较长期缓存空值(Redis 1小时)
  11. 平滑降级
  12. Redis故障时自动降级到本地缓存
  13. 两级缓存完全失效时才访问数据库

六、压测对比

使用JMeter模拟1000并发:

方案

QPS

平均响应时间

数据库查询次数

无缓存

120

830ms

1000

纯Redis

4500

220ms

约50(穿透)

Caffeine+Redis

9800

102ms

0(完全拦截)

七、生产环境注意事项

  1. 监控配置
// 定期打印缓存命中率
@Scheduled(fixedRate = 60000)
public void logCacheStats() {
    Cache stats = caffeineCacheManager.getCache("products");
    com.github.benmanes.caffeine.cache.stats stats = 
        ((com.github.benmanes.caffeine.cache.Cache)stats.getNativeCache()).stats();
    log.info("缓存命中率: {}/{}", stats.hitCount(), stats.requestCount());
}
  1. 动态调参
# application.yml
caffeine:
  spec: "maximumSize=500,expireAfterWrite=5m"
redis:
  time-to-live: 30m
  1. 异常处理
@Cacheable(cacheNames = "products", key = "#id", 
          cacheManager = "layeredCacheManager",
          unless = "#result == null") // 不缓存异常结果
public Product getProductById(Long id) {
    // ...
}

结语

通过Caffeine+Redis的多级缓存架构,我们不仅解决了缓存穿透问题,还实现了:

  • 微秒级的本地缓存响应
  • 分布式环境下的数据一致性
  • 系统的高可用性

这套方案已在多个千万级用户产品中验证,效果显著。建议根据实际业务场景调整缓存过期时间和大小参数。

相关推荐

F5负载均衡器如何通过irules实现应用的灵活转发?

F5是非常强大的商业负载均衡器。除了处理性能强劲,以及高稳定性之外,F5还可以通过irules编写强大灵活的转发规则,实现web业务的灵活应用。irules是基于TCL语法的,每个iRules必须包含...

映射域名到NAS

前面介绍已经将域名映射到家庭路由器上,现在只需要在路由器上设置一下端口转发即可。假设NAS在内网的IP是192.168.1.100,NAS管理端口2000.你的域名是www.xxx.com,配置外部端...

转发(Forward)和重定向(Redirect)的区别

转发是服务器行为,重定向是客户端行为。转发(Forward)通过RequestDispatcher对象的forward(HttpServletRequestrequest,HttpServletRe...

SpringBoot应用中使用拦截器实现路由转发

1、背景项目中有一个SpringBoot开发的微服务,经过业务多年的演进,代码已经累积到令人恐怖的规模,亟需重构,将之拆解成多个微服务。该微服务的接口庞大,调用关系非常复杂,且实施重构的人员大部分不是...

公司想搭建个网站,网站如何进行域名解析?

域名解析是将域名指向网站空间IP,让人们通过注册的域名可以方便地访问到网站的一种服务。IP地址是网络上标识站点的数字地址,为方便记忆,采用域名来代替IP地址标识站点地址。域名解析就是域名到IP地址的转...

域名和IP地址什么关系?如何通过域名解析IP?

一般情况下,访客通过域名和IP地址都能访问到网站,那么两者之间有什么关系吗?本文中科三方针对域名和IP地址的关系和区别,以及如何实现域名与IP的绑定做下介绍。域名与IP地址之间的关系IP地址是计算机的...

分享网站域名301重定向的知识

网站域名做301重定向操作时,一般需要由专业的技术来协助完成,如果用户自己在维护,可以按照相应的说明进行操作。好了,下面说说重点,域名301重定向的操作步骤。首先,根据HTTP协议,在客户端向服务器发...

NAS外网到底安全吗?一文看懂HTTP/HTTPS和SSL证书

本内容来源于@什么值得买APP,观点仅代表作者本人|作者:可爱的小cherry搭好了NAS,但是不懂做好网络加密,那么隐私泄露也会随时发生!大家好,这里是Cherry,喜爱折腾、玩数码,热衷于分享数...

ForwardEmail免费、开源、加密的邮件转发服务

ForwardEmail是一款免费、加密和开源的邮件转发服务,设置简单只需4步即可正常使用,通过测试来看也要比ImprovMX好得多,转发近乎秒到且未进入垃圾箱(仅以Mailbox.org发送、Out...

使用CloudFlare进行域名重定向

当网站变更域名的时候,经常会使用域名重定向的方式,将老域名指向到新域名,这通常叫做:URL转发(URLFORWARDING),善于使用URL转发,对SEO来说非常有用,因为用这种方式能明确告知搜索引...

要将端口5002和5003通过Nginx代理到一个域名上的操作笔记

要将端口5002和5003通过Nginx代理到域名www.4rvi.cn的不同路径下,请按照以下步骤配置Nginx:步骤说明创建或编辑Nginx配置文件通常配置文件位于/etc/nginx/sites...

SEO浅谈:网站域名重定向的三种方式

在大多数情况下,我们输入网站访问网站的时候,很难发现www.***.com和***.com的区别,因为一般的网站主,都会把这两个域名指向到同一网站。但是对于网站运营和优化来说,www.***.com和...

花生壳出现诊断域名与转发服务器ip不一致的解决办法

出现诊断域名与转发服务器ip不一致您可以:1、更改客户端所处主机的drs为223.5.5.5备用dns为119.29.29.29;2、在windows上进入命令提示符输入ipconfig/flush...

涨知识了!带你认识什么是域名

1、什么是域名从技术角度来看,域名是在Internet上解决IP地址对应的一种方法。一个完整的域名由两个或两个以上部分组成,各部分之间用英文的句号“.”来分隔。如“abc.com”。其中“com”称...

域名被跳转到其他网站是怎么回事

当你输入域名时被跳转到另一个网站,这可能是由几种原因造成的:一、域名可能配置了域名转发服务。无论何时有人访问域名,比如.com、.top等,都会自动重定向到另一个指定的URL,这通常是在域名注册商设...

取消回复欢迎 发表评论: