Java面试题|Redis缓存穿透如何使用布隆过滤器预处理无效key
nanshan 2024-12-12 14:06 11 浏览 0 评论
Redis缓存穿透是指当缓存中的数据失效时,多个请求同时访问数据库,导致数据库压力过大。为了解决这个问题,可以使用布隆过滤器来进行预处理。
一、布隆过滤器概述
布隆过滤器是一种高效的数据结构,用于快速判断一个元素是否可能存在于集合中。其核心思想是通过多个哈希函数将元素映射到一个位数组中,从而利用空间换时间的方式提高查询效率。
二、布隆过滤器处理缓存穿透的原理
初始化布隆过滤器:
- 创建一个固定大小的位数组,通常初始化为0。
- 选择多个独立的哈希函数,这些函数将输入数据(如字符串或数字)映射到位数组的索引位置。
插入元素:
- 当要将一个元素添加到集合中时,使用每个哈希函数对该元素进行哈希计算,并将位数组中对应位置的位设置为1。
检查元素:
- 要检查一个元素是否可能在集合中时,再次使用每个哈希函数对该元素进行哈希计算,并检查位数组中对应位置的位是否都为1。
- 如果任何一位为0,则元素肯定不在集合中;如果所有位都为1,则元素可能在集合中(注意,这里存在误判的可能性)。
三、使用布隆过滤器处理Redis缓存穿透的步骤
在Redis前添加布隆过滤器:
- 在应用服务器和Redis缓存之间添加一层布隆过滤器,用于快速判断请求的数据是否存在于集合中。
预检查请求数据:
- 在查询Redis缓存之前,先使用布隆过滤器对请求的数据进行预检查。
- 如果布隆过滤器判断该数据不存在于集合中,则直接返回404或错误信息,避免进一步查询Redis和数据库。
处理缓存未命中情况:
- 如果布隆过滤器判断该数据可能存在于集合中(即所有相关位都为1),则继续查询Redis缓存。
- 如果Redis缓存未命中,则再查询数据库。
- 如果数据库查询也未返回结果,则将该数据的键添加到布隆过滤器中(对于不存在的数据,可以通过这种方式减少未来的无效请求)。
更新缓存:
- 当从数据库中查询到数据时,将该数据更新到Redis缓存中,并设置适当的过期时间。
四、注意事项
误判率:
- 布隆过滤器存在误判的可能性,即可能将不存在的元素误判为存在。但在缓存穿透的场景中,我们更关注的是对数据库的保护,因此这个特性不会造成太大问题。
- 可以通过调整布隆过滤器的参数(如位数组的大小和哈希函数的数量)来降低误判率。
元素删除:
- 标准布隆过滤器不支持删除元素。如果需要删除元素,可以考虑使用计数式布隆过滤器或其他变种。
性能考虑:
- 布隆过滤器的插入和查询操作都非常快,可以达到常数时间复杂度O(k),其中k是哈希函数的数量。
- 在高并发场景下,布隆过滤器能够显著降低数据库的压力,提高系统的性能和稳定性。
布隆过滤器(Bloom Filter)是一种空间效率极高的概率型数据结构,用于快速判断一个元素是否存在于一个集合中。它利用位数组来存储信息,通过多个哈希函数将元素映射到位数组中的多个位置,并将这些位置的值设置为1。在查询时,只需检查这些位置的值是否都为1,如果有一个位置为0,则元素一定不存在;如果所有位置都为1,则元素可能存在(存在一定的误判率)。在Redis中,可以使用其位图数据结构来实现布隆过滤器的功能。以下是一个使用Java和Jedis(Redis的Java客户端)实现布隆过滤器的示例代码:
首先,确保已经在项目中引入了Jedis库。如果使用Maven构建项目,可以在`pom.xml`文件中添加以下依赖:
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>3.7.0</version>
</dependency>
以下是Java代码实现:
import redis.clients.jedis.Jedis;
public class BloomFilterExample {
private static final int[] seeds = {3, 5, 7, 11, 13, 17, 19, 23, 29, 31}; // 哈希函数种子
private static final int DEFAULT_SIZE = 2 << 24; // 布隆过滤器的默认大小(可根据实际需求调整)
private static final double DEFAULT_FALSE_POSITIVE_PROBABILITY = 0.01; // 误判率(可根据实际需求调整)
private Jedis jedis;
private int[] offsets;
private int numHashes;
public BloomFilterExample() {
this.jedis = new Jedis("localhost", 6379); // 根据实际Redis连接信息修改
this.numHashes = optimalNumOfHashFunctions(DEFAULT_FALSE_POSITIVE_PROBABILITY, DEFAULT_SIZE);
this.offsets = new int[numHashes];
}
// 计算最优的哈希函数数量
private int optimalNumOfHashFunctions(double falsePositiveProbability, int size) {
return (int) Math.ceil(-Math.log(falsePositiveProbability) / Math.log(2));
}
// 计算哈希函数的偏移量
private void calculateOffsets(String value) {
for (int i = 0; i < numHashes; i++) {
int hash = hash(value, seeds[i]);
offsets[i] = Math.abs(hash % DEFAULT_SIZE);
}
}
// 向布隆过滤器中添加元素
public void add(String key, String value) {
calculateOffsets(value);
for (int offset : offsets) {
jedis.setbit(key, offset, true);
}
}
// 判断元素是否可能存在于布隆过滤器中(可能存在误判)
public boolean mightContain(String key, String value) {
calculateOffsets(value);
for (int offset : offsets) {
if (!jedis.getbit(key, offset)) {
return false;
}
}
return true;
}
// 关闭Redis连接
public void close() {
jedis.close();
}
// 简单的哈希函数实现(可根据需要替换为更复杂的哈希函数)
private int hash(String value, int seed) {
int hash = 0;
for (int i = 0; i < value.length(); i++) {
hash = hash * seed + value.charAt(i);
}
return hash & 0x7FFFFFFF;
}
public static void main(String[] args) {
BloomFilterExample bloomFilter = new BloomFilterExample();
String key = "bloom-filter-example";
String value1 = "hello";
String value2 = "world";
bloomFilter.add(key, value1);
System.out.println("Does '" + value1 + "' might exist? " + bloomFilter.mightContain(key, value1));
System.out.println("Does '" + value2 + "' might exist? " + bloomFilter.mightContain(key, value2));
bloomFilter.close();
}
}
在上述代码中:
- `BloomFilterExample`类实现了一个简单的布隆过滤器功能,通过Jedis与Redis进行交互。
- 构造函数中初始化了Jedis连接、计算了哈希函数数量,并创建了用于存储偏移量的数组。
- `add`方法用于向布隆过滤器中添加元素,通过计算元素的哈希值得到多个偏移量,并在Redis的位图中将对应位置设置为`true`。
- `mightContain`方法用于判断元素是否可能存在于布隆过滤器中,计算元素的哈希偏移量后,检查Redis位图中对应位置是否都为`true`,如果有一个为`false`,则元素一定不存在;如果都为`true`,则元素可能存在(存在误判可能)。
- `main`方法演示了如何使用布隆过滤器,向过滤器中添加一个元素并进行存在性判断。
请注意,这只是一个简单的示例,实际应用中可能需要根据具体需求进行优化和扩展,例如处理大规模数据时可能需要考虑分布式布隆过滤器等更高级的实现方式,同时还需要根据实际情况调整布隆过滤器的大小、误判率等参数以平衡性能和准确性。此外,Redis的位图操作在处理大规模数据时可能会占用较多内存,需要确保Redis服务器有足够的资源可用。
相关推荐
- Let’s Encrypt免费搭建HTTPS网站
-
HTTPS(全称:HyperTextTransferProtocoloverSecureSocketLayer),是以安全为目标的HTTP通道,简单讲是HTTP的安全版。即HTTP下加入...
- 使用Nginx配置TCP负载均衡(nginx tcp负载)
-
假设Kubernetes集群已经配置好,我们将基于CentOS为Nginx创建一个虚拟机。以下是实验种设置的详细信息:Nginx(CenOS8Minimal)-192.168.1.50Kube...
- Nginx负载均衡及支持HTTPS与申请免费SSL证书
-
背景有两台minio文件服务器已做好集群配置,一台是192.168.56.41:9000;另一台是192.168.56.42:9000。应用程序通过Nginx负载均衡调用这两台minio服务,减轻单点...
- HTTPS配置实战(https配置文件)
-
原因现在网站使用HTTPS是规范操作之一,前些日子买了腾讯云服务,同时申请了域名http://www.asap2me.top/,目前该域名只支持HTTP,想升级为HTTPS。关于HTTPS的链接过程大...
- 只有IP地址没有域名实现HTTPS访问方法
-
一般来说,要实现HTTPS,得有个注册好的域名才行。但有时候呢,咱只有服务器的IP地址,没注册域名,这种特殊情况下,也能照样实现HTTPS安全访问,按下面这些步骤来就行:第一步,先确认公网...
- 超详解:HTTPS及配置Django+HTTPS开发环境
-
众所周知HTTP协议是以TCP协议为基石诞生的一个用于传输Web内容的一个网络协议,在“网络分层模型”中属于“应用层协议”的一种。在这里我们并不研究该协议标准本身,而是从安全角度去探究使用该协议传输数...
- Godaddy购买SSL之后Nginx配置流程以及各种错误的解决
-
完整流程:参考地址:https://sg.godaddy.com/zh/help/nginx-generate-csrs-certificate-signing-requests-3601生成NGI...
- Nginx从安装到高可用,一篇搞定(nginx安装与配置详解)
-
一、Nginx安装1、去官网http://nginx.org/下载对应的nginx包,推荐使用稳定版本2、上传nginx到linux系统3、安装依赖环境(1)安装gcc环境yuminstallgc...
- 阿里云免费证书申请,配置安装,使用tomcat,支持http/https访问
-
参数说明商品类型默认已选择云盾证书服务(无需修改)。云盾证书服务类型SSL证书服务的类型。默认已选择云盾SSL证书(无需修改),表示付费版SSL证书。如果您需要免费领取或付费扩容DV单域名证书【免费试...
- 你试过两步实现Nginx的规范配置吗?极速生成Nginx配置小工具
-
NGINX是一款轻量级的Web服务器,最强大的功能之一是能够有效地提供HTML和媒体文件等静态内容。NGINX使用异步事件驱动模型,在负载下提供可预测的性能。是当下最受欢迎的高性能的Web...
- 从零开始搭建HTTPS服务(搭建https网站)
-
搭建HTTPS服务的最初目的是为了开发微信小程序,因为wx.request只允许发起HTTPS请求,并且还必须和指定的域名进行网络通信。要从零开始搭建一个HTTPS的服务需要下面4...
- 群晖NAS使用官网域名和自己的域名配置SSL实现HTTPS访问
-
安全第一步,群晖NAS使用官网域名和自己的域名配置SSL实现HTTPS访问【新手导向】NAS本质还是一个可以随时随地访问的个人数据存储中心,我们在外网访问的时候,特别是在公网IP下,其实会面临着很多安...
- 让网站快速升级HTTPS协议提高安全性
-
为什么用HTTPS网络安全越来越受到重视,很多互联网服务网站,都已经升级改造为https协议。https协议下数据包是ssl/tcl加密的,而http包是明文传输。如果请求一旦被拦截,数据就会泄露产生...
- 用Https方式访问Harbor-1.9版本(https访问流程)
-
我上周在头条号写过一篇原创文章《Docker-Harbor&Docker-kitematic史上最详细双系统配置手册》,这篇算是它的姊妹篇吧。这篇文章也将用到我在头条写的另一篇原创文章的...
- 如何启用 HTTPS 并配置免费的 SSL 证书
-
在Linux服务器上启用HTTPS并配置免费的SSL证书(以Let'sEncrypt为例)可以通过以下步骤完成:---###**一、准备工作**1.**确保域名已解析**...
你 发表评论:
欢迎- 一周热门
-
-
极空间如何无损移机,新Z4 Pro又有哪些升级?极空间Z4 Pro深度体验
-
如何在安装前及安装后修改黑群晖的Mac地址和Sn系列号
-
爱折腾的特斯拉车主必看!手把手教你TESLAMATE的备份和恢复
-
10个免费文件中转服务站,分享文件简单方便,你知道几个?
-
[常用工具] OpenCV_contrib库在windows下编译使用指南
-
日本海上自卫队的军衔制度(日本海上自卫队的军衔制度是什么)
-
【系统配置】信创终端挂载NAS共享全攻略:一步到位!
-
UOS服务器操作系统防火墙设置(uos20关闭防火墙)
-
Ubuntu系统Daphne + Nginx + supervisor部署Django项目
-
WindowsServer2022|配置NTP服务器的命令
-
- 最近发表
- 标签列表
-
- linux 查询端口号 (58)
- docker映射容器目录到宿主机 (66)
- 杀端口 (60)
- yum更换阿里源 (62)
- internet explorer 增强的安全配置已启用 (65)
- linux自动挂载 (56)
- 禁用selinux (55)
- sysv-rc-conf (69)
- ubuntu防火墙状态查看 (64)
- windows server 2022激活密钥 (56)
- 无法与服务器建立安全连接是什么意思 (74)
- 443/80端口被占用怎么解决 (56)
- ping无法访问目标主机怎么解决 (58)
- fdatasync (59)
- 405 not allowed (56)
- 免备案虚拟主机zxhost (55)
- linux根据pid查看进程 (60)
- dhcp工具 (62)
- mysql 1045 (57)
- 宝塔远程工具 (56)
- ssh服务器拒绝了密码 请再试一次 (56)
- ubuntu卸载docker (56)
- linux查看nginx状态 (63)
- tomcat 乱码 (76)
- 2008r2激活序列号 (65)