2016年7月12日星期二

redis内存容量估算

最近刚接手一个redis服务,由于是内部使用,所以在redis前端封装了一层代理,用于内部协议和redis协议的转化,并不复杂。但是使用方刚使用两天,就发现内存爆量了。具体现象是redis返回的错误:OOM command not allowed when used memory > 'maxmemory',使用方给出的请求量是:5000万key,每个key40字节(string类型),每个value8字节,这样算下来只要2.4G内存啊,怎么一下内存就爆了。
我也是刚接触redis,只好研究了一番,还好网上有一篇文章,详细说明了redis的容量估算问题,简单的说就是redis占用的内存除了业务数据之外,还有redis自己的数据结构也会占用一部分内存,所以实际占用内存会大于业务数据的。链接在此:http://www.searchdatabase.com.cn/showcontent_55189.htm
根据文章提供的公式,结合使用方提供的数据,估算的容量如下:
1.首先是计算公式:
string类型的内存大小 = 键值个数 * (dictEntry大小 + redisObject大小 + 包含key的sds大小 + 包含value的sds大小) + bucket个数 * 4

2.根据使用方提供的数据,占用的redis内存容量如下:
dictEntry大小: 16 字节
redisObject大小:16字节
key:40字节, sds对象:9 字节。总共是49字节,按jemalloc分配机制会占用到64字节。
value:8字节,sds对象:9字节,总共是17字节,按jemalloc分配机制会占用到32字节。
以上的内存占用量为:
 (16 + 16 + 64 + 32)* 5000*1000*10 = 6.4G

bucket个数大概为6000万(5000万向上取整到2的n次方,即2的26次方,6000多万)
bucket大小:6000万*4 = 240M左右。

所以总容量为6.4G左右,而redis的配置里面maxmemeroy只配置了4G,难怪要报错了。修改配置后,运行正常了。
从redis里面也可以看到峰值使用内存为6.44G, 和计算出来的容量是吻合的.











4 条评论: