百度360必应搜狗淘宝本站头条
tomcat 乱码无法与服务器建立安全连接是什么意思sysv-rc-confdocker映射容器目录到宿主机internet explorer 增强的安全配置已启用
当前位置：网站首页 > 技术文章 > 正文

阿里官方Redis开发规范

nanshan 2025-03-07 22:22 12 浏览 0 评论

优质文章，及时送达

作者：付磊-起扬

https://yq.aliyun.com/articles/531067

本文主要介绍在使用阿里云Redis的开发规范，从下面几个方面进行说明。

  • 键值设计

  • 命令使用

  • 客户端使用

  • 相关工具

通过本文的介绍可以减少使用Redis过程带来的问题。

一、键值设计

1、key名设计

可读性和可管理性

以业务名(或数据库名)为前缀(防止key冲突)，用冒号分隔，比如业务名:表名:id

  1. ugc:video:1

简洁性

保证语义的前提下，控制key的长度，当key较多时，内存占用也不容忽视，例如：

  1. user:{uid}:friends:messages:{mid}简化为u:{uid}:fr:m:{mid}。

不要包含特殊字符

反例：包含空格、换行、单双引号以及其他转义字符

2、value设计

拒绝bigkey

防止网卡流量、慢查询，string类型控制在10KB以内，hash、list、set、zset元素个数不要超过5000。

反例：一个包含200万个元素的list。

非字符串的bigkey，不要使用del删除，使用hscan、sscan、zscan方式渐进式删除，同时要注意防止bigkey过期时间自动删除问题(例如一个200万的zset设置1小时过期，会触发del操作，造成阻塞，而且该操作不会不出现在慢查询中(latency可查))，查找方法和删除方法

选择适合的数据类型

例如：实体类型(要合理控制和使用数据结构内存编码优化配置,例如ziplist，但也要注意节省内存和性能之间的平衡)

反例：

  1. setuser:1:name tom
  2. setuser:1:age19
  3. setuser:1:favor football

正例：

  1. hmset user:1name tom age19favor football

控制key的生命周期

redis不是垃圾桶，建议使用expire设置过期时间(条件允许可以打散过期时间，防止集中过期)，不过期的数据重点关注idletime。

二、命令使用

1、O(N)命令关注N的数量

例如hgetall、lrange、smembers、zrange、sinter等并非不能使用，但是需要明确N的值。有遍历的需求可以使用hscan、sscan、zscan代替。

2、禁用命令

禁止线上使用keys、flushall、flushdb等，通过redis的rename机制禁掉命令，或者使用scan的方式渐进式处理。

3、合理使用select

redis的多数据库较弱，使用数字进行区分，很多客户端支持较差，同时多业务用多数据库实际还是单线程处理，会有干扰。

4、使用批量操作提高效率

  • 原生命令：例如mget、mset。

  • 非原生命令：可以使用pipeline提高效率。

但要注意控制一次批量操作的元素个数(例如500以内，实际也和元素字节数有关)。

注意两者不同：

  • 原生是原子操作，pipeline是非原子操作。

  • pipeline可以打包不同的命令，原生做不到

  • pipeline需要客户端和服务端同时支持。

5、不建议过多使用Redis事务功能

Redis的事务功能较弱(不支持回滚)，而且集群版本(自研和官方)要求一次事务操作的key必须在一个slot上(可以使用hashtag功能解决)

6、Redis集群版本在使用Lua上有特殊要求

1、所有key都应该由 KEYS 数组来传递，redis.call/pcall 里面调用的redis命令，key的位置，必须是KEYS array, 否则直接返回error，"-ERR bad lua script for redis cluster, all the keys that the script uses should be passed using the KEYS arrayrn"

2、所有key，必须在1个slot上，否则直接返回error, "-ERR eval/evalsha command keys must in same slotrn"

7、monitor命令

必要情况下使用monitor命令时，要注意不要长时间使用。

三、客户端使用

1、避免多个应用使用一个Redis实例

不相干的业务拆分，公共数据做服务化。

2、使用连接池

可以有效控制连接，同时提高效率，标准使用方式：

  1. 执行命令如下：
  2. Jedis jedis = ;
  3. try{
  4. jedis = jedisPool.getResource;
  5. //具体的命令
  6. jedis.executeCommand
  7. } catch(Exception e) {
  8. logger.error("op key {} error: "+ e.getMessage, key, e);
  9. } finally{
  10. //注意这里不是关闭连接，在JedisPool模式下，Jedis会被归还给资源池。
  11. if(jedis != )
  12. jedis.close;
  13. }

3、熔断功能

高并发下建议客户端添加熔断功能(例如netflix hystrix)

4、合理的加密

设置合理的密码，如有必要可以使用SSL加密访问（阿里云Redis支持）

5、淘汰策略

根据自身业务类型，选好maxmemory-policy(最大内存淘汰策略)，设置好过期时间。

默认策略是volatile-lru，即超过最大内存后，在过期键中使用lru算法进行key的剔除，保证不过期数据不被删除，但是可能会出现OOM问题。

其他策略如下：

  • allkeys-lru：根据LRU算法删除键，不管数据有没有设置超时属性，直到腾出足够空间为止。

  • allkeys-random：随机删除所有键，直到腾出足够空间为止。

  • volatile-random:随机删除过期键，直到腾出足够空间为止。

  • volatile-ttl：根据键值对象的ttl属性，删除最近将要过期数据。如果没有，回退到noeviction策略。

  • noeviction：不会剔除任何数据，拒绝所有写入操作并返回客户端错误信息"(error) OOM command not allowed when used memory"，此时Redis只响应读操作。

四、相关工具

1、数据同步

redis间数据同步可以使用：redis-port

2、big key搜索

redis大key搜索工具

3、热点key寻找

内部实现使用monitor，所以建议短时间使用facebook的redis-faina 阿里云Redis已经在内核层面解决热点key问题

五、删除bigkey

  • 下面操作可以使用pipeline加速。

  • redis 4.0已经支持key的异步删除，欢迎使用。

1、Hash删除: hscan + hdel

  1. publicvoiddelBigHash(String host,intport, String password, String bigHashKey) {
  2. Jedis jedis = newJedis(host, port);
  3. if(password != && !"".equals(password)) {
  4. jedis.auth(password);
  5. }
  6. ScanParams scanParams = newScanParams.count(100);
  7. String cursor = "0";
  8. do{
  9. ScanResult<Entry> scanResult = jedis.hscan(bigHashKey, cursor, scanParams);
  10. List<Entry> entryList = scanResult.getResult;
  11. if(entryList != && !entryList.isEmpty) {
  12. for(Entry entry : entryList) {
  13. jedis.hdel(bigHashKey, entry.getKey);
  14. }
  15. }
  16. cursor = scanResult.getStringCursor;
  17. } while(!"0".equals(cursor));

  18. //删除bigkey
  19. jedis.del(bigHashKey);
  20. }

2、List删除: ltrim

  1. publicvoiddelBigList(String host,intport, String password, String bigListKey) {
  2. Jedis jedis = newJedis(host, port);
  3. if(password != && !"".equals(password)) {
  4. jedis.auth(password);
  5. }
  6. longllen = jedis.llen(bigListKey);
  7. intcounter =0;
  8. intleft =100;
  9. while(counter < llen) {
  10. //每次从左侧截掉100个
  11. jedis.ltrim(bigListKey, left, llen);
  12. counter += left;
  13. }
  14. //最终删除key
  15. jedis.del(bigListKey);
  16. }

3、Set删除: sscan + srem

  1. publicvoiddelBigSet(String host,intport, String password, String bigSetKey) {
  2. Jedis jedis = newJedis(host, port);
  3. if(password != && !"".equals(password)) {
  4. jedis.auth(password);
  5. }
  6. ScanParams scanParams = newScanParams.count(100);
  7. String cursor = "0";
  8. do{
  9. ScanResult scanResult = jedis.sscan(bigSetKey, cursor, scanParams);
  10. List memberList = scanResult.getResult;
  11. if(memberList != && !memberList.isEmpty) {
  12. for(String member : memberList) {
  13. jedis.srem(bigSetKey, member);
  14. }
  15. }
  16. cursor = scanResult.getStringCursor;
  17. } while(!"0".equals(cursor));

  18. //删除bigkey
  19. jedis.del(bigSetKey);
  20. }

4、SortedSet删除: zscan + zrem

  1. publicvoiddelBigZset(String host,intport, String password, String bigZsetKey) {
  2. Jedis jedis = newJedis(host, port);
  3. if(password != && !"".equals(password)) {
  4. jedis.auth(password);
  5. }
  6. ScanParams scanParams = newScanParams.count(100);
  7. String cursor = "0";
  8. do{
  9. ScanResult scanResult = jedis.zscan(bigZsetKey, cursor, scanParams);
  10. List tupleList = scanResult.getResult;
  11. if(tupleList != && !tupleList.isEmpty) {
  12. for(Tuple tuple : tupleList) {
  13. jedis.zrem(bigZsetKey, tuple.getElement);
  14. }
  15. }
  16. cursor = scanResult.getStringCursor;
  17. } while(!"0".equals(cursor));

  18. //删除bigkey
  19. jedis.del(bigZsetKey);
  20. }
-END-
如果看到这里，说明你喜欢这篇文章，请 转发、点赞。同时标星（置顶）本公众号可以第一时间接受到博文推送。
1. 我和面试官的博弈：Java 并发编程篇
最近整理一份面试资料《Java技术栈学习手册》，覆盖了Java技术、面试题精选、Spring全家桶、Nginx、SSM、微服务、数据库、数据结构、架构等等。

相关推荐

0722-6.2.0-如何在RedHat7.2使用rpm安装CDH(无CM)

文档编写目的在前面的文档中，介绍了在有CM和无CM两种情况下使用rpm方式安装CDH5.10.0，本文档将介绍如何在无CM的情况下使用rpm方式安装CDH6.2.0，与之前安装C5进行对比。环境介绍：...

ARM64 平台基于 openEuler + iSula 环境部署 Kubernetes

为什么要在arm64平台上部署Kubernetes，而且还是鲲鹏920的架构。说来话长。。。此处省略5000字。介绍下系统信息；o架构：鲲鹏920(Kunpeng920)oOS：ope...

生产环境starrocks 3.1存算一体集群部署

集群规划FE：节点主要负责元数据管理、客户端连接管理、查询计划和查询调度。>3节点。BE:节点负责数据存储和SQL执行。>3节点。CN:无存储功能能的BE。环境准备CPU检查JDK...

在CentOS上添加swap虚拟内存并设置优先级

现如今很多云服务器都会自己配置好虚拟内存，当然也有很多没有配置虚拟内存的，虚拟内存可以让我们的低配服务器使用更多的内存，可以减少很多硬件成本，比如我们运行很多服务的时候，内存常常会满，当配置了虚拟内存...

国产深度(deepin)操作系统优化指南

1.升级内核随着deepin版本的更新，会自动升级系统内核，但是我们依旧可以通过命令行手动升级内核，以获取更好的性能和更多的硬件支持。具体操作：-添加PPAs使用以下命令添加PPAs：```...

postgresql-15.4 多节点主从(读写分离)

1、下载软件[root@TX-CN-PostgreSQL01-252software]#wgethttps://ftp.postgresql.org/pub/source/v15.4/postg...

Docker 容器 Java 服务内存与 GC 优化实施方案

一、设置Docker容器内存限制（生产环境建议）1.查看宿主机可用内存bashfree-h#示例输出（假设宿主机剩余16GB可用内存）#Mem:64G...

虚拟内存设置、解决linux内存不够问题

虚拟内存设置（解决linux内存不够情况）背景介绍　　Memory指机器物理内存，读写速度低于CPU一个量级，但是高于磁盘不止一个量级。所以，程序和数据如果在内存的话，会有非常快的读写速度。但是，内存...

Elasticsearch性能调优(5):服务器配置选择

在选择elasticsearch服务器时，要尽可能地选择与当前业务量相匹配的服务器。如果服务器配置太低，则意味着需要更多的节点来满足需求，一个集群的节点太多时会增加集群管理的成本。如果服务器配置太高，...

Es如何落地

一、配置准备节点类型CPU内存硬盘网络机器数操作系统data节点16C64G2000G本地SSD所有es同一可用区3(ecs)Centos7master节点2C8G200G云SSD所有es同一可用区...

针对Linux内存管理知识学习总结

现在的服务器大部分都是运行在Linux上面的，所以，作为一个程序员有必要简单地了解一下系统是如何运行的。对于内存部分需要知道：地址映射内存管理的方式缺页异常先来看一些基本的知识，在进程看来，内存分为内...

MySQL进阶之性能优化

概述MySQL的性能优化，包括了服务器硬件优化、操作系统的优化、MySQL数据库配置优化、数据库表设计的优化、SQL语句优化等5个方面的优化。在进行优化之前，需要先掌握性能分析的思路和方法，找出问题，...

Linux Cgroups(Control Groups)原理

LinuxCgroups（ControlGroups）是内核提供的资源分配、限制和监控机制，通过层级化进程分组实现资源的精细化控制。以下从核心原理、操作示例和版本演进三方面详细分析：一、核心原理与...

linux 常用性能优化参数及理解

1.优化内核相关参数配置文件/etc/sysctl.conf配置方法直接将参数添加进文件每条一行.sysctl-a可以查看默认配置sysctl-p执行并检测是否有错误例如设置错了参数:[roo...

如何在 Linux 中使用 Sysctl 命令?

sysctl是一个用于配置和查询Linux内核参数的命令行工具。它通过与/proc/sys虚拟文件系统交互，允许用户在运行时动态修改内核参数。这些参数控制着系统的各种行为，包括网络设置、文件...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表