Redis（高阶篇）02章——BigKey

一、面试题 阿里广告平台，海量数据里查询某一个固定前缀的key小红书，你如何生产上限制 keys* /flushdb/flushall等危险命令以防止阻塞或误删数据？美团，memory usage命令你用过吗？BigKey问题，多大算big？你如何发现？如何删除？如何处理？BigKey你做过调优吗？惰性释放lazyfree了解过吗？morekey问题，生产上redis数据库有1000W记录，你如何遍历数据？ keys *可以吗？ 二、MoreKey案例 （1）大批量往redis里面插入2000W测试数据key 2.1.1Linux Bash下面执行，插入100W数据 生成100W条redis批量设置kv的语句(key=kn,value=vn)写入到/tmp目录下的redisTest.txt文件中 for((i=1;i<=100*10000;i++)); do echo "set k$i v$i" >> /tmp/redisTest.txt ;done; 2.1.2通过redis提供的管道-pipe命令插入100W大批量数据 cat /tmp/redisTest.txt | redis-cli -h 127.0.0.1 -p 6379 -a 111111 --pipe （2）某快递巨头真实生产案例新闻 2.2.1新闻 2.2.2keys * 试试100W花费多少秒遍历查询

 

2.2.3生产上限制 keys * /flushdb/flushall等危险命令以防止误删误用？ 输入keys */flushdb/flushall等命令时，同时按下Tab键会有提示通过配置设置禁用这些命令，redis.conf在SECURITY这一项中 （3）不用keys *避免卡顿，那该用什么 2.3.1scan命令登场 SCAN | DocsRedis SCAN 命令 递增地遍历key空间一句话，类似MySQL limit，但是不完全相同 2.3.2Scan命令用于迭代数据库中的数据库键 语法：特点：                                                                                                                                        使用：                                                                                                                                         三、BigKey案例 （1）多大算Big

通常我们说的BigKey，不是在值的Key很大，而是指的Key对应的value很大

3.1.1参考《阿里云Redis开发规范》 3.1.2string和二级结构 （1）string是value，最大512MB但是≥10KB就是bigkey （2）list、hash、set和zset，value个数超过5000就是bigkey （2）哪些危害 内存不均，集群迁移困难超时删除，大key删除作梗网络流量阻塞 （3）如何产生

（4）如何发现 3.4.1redis-cli --bigkey 3.4.2memory usage 键 英文官网：MEMORY USAGE | Docs 中文官网：MEMORY USAGE | Docs计算每个键值的字节数 （5）如何删除 3.5.1参考《阿里云Redis开发规范》 3.5.2官网 SCAN | DocsRedis SCAN 命令 递增地遍历key空间 3.5.3普通命令 （1）String

一般用del，如果过于庞大使用unlink key 删除

（2）hash 使用hscan每次获取少量field-value，再使用hdel删除每个field命令：                                                                                                                                        阿里手册 （3）list 使用ltrim渐进式逐步删除，直到全部删除完成命令：阿里手册 （4）set 使用sscan每次获取部分元素，在使用srem命令删除每个元素命令：                                                                                                                                        阿里手册 （5）zset 使用zscan每次获取部分元素，在使用zremrangebyrank命令删除每个元素命令：阿里手册 四、BigKey生产调优

redis.conf配置文件LAZY FREEING相关说明

阻塞和非阻塞删除命令：优化配置：