redis快照文件dump.rdb解析工具--redis-rdb-tools

运行时会 -c memory生成一个CSV报告，其中包含该密钥使用的近似内存。--bytes C并且‘--largest N可用于将输出限制为大于C字节的键或N个最大键。

> rdb -c memory /var/redis/6379/dump.rdb --bytes 128 -f memory.csv
> cat memory.csv
database,type,key,size_in_bytes,encoding,num_elements,len_largest_element
0,list,lizards,241,quicklist,5,19
0,list,user_list,190,quicklist,3,7
2,hash,baloon,138,ziplist,3,11
2,list,armadillo,231,quicklist,5,20
2,hash,aroma,129,ziplist,3,11

生成的CSV具有以下列 - 数据库号，数据类型，密钥，字节中使用的内存和RDB编码类型。内存使用包括密钥，值和任何其他开销。

请注意，内存使用情况是近似值。一般来说，使用的实际内存将略高于报告的内存。

您可以筛选密钥或数据库号或数据类型的报告。

内存报告应该可以帮助您检测由应用程序逻辑引起的内存泄漏。它还将帮助您优化Redis内存使用。

查找单键使用的内存

有时您只想找到特定密钥使用的内存，并且在转储文件上运行整个内存报告是耗时的。

在这种情况下，您可以使用以下redis-memory-for-key命令：

> redis-memory-for-key person:1
> redis-memory-for-key -s localhost -p 6379 -a mypassword person:1
Key person:1
Bytes111
Typehash
Encodingziplist
Number of Elements2
Length of Largest Element8

注意 ：

这被添加到redis-rdb-tools版本0.1.3

这个命令依赖于redis-py包

比较RDB文件

首先，使用--command diff选项，并将输出管道输送到标准排序实用程序

> rdb --command diff /var/redis/6379/dump1.rdb | sort > dump1.txt
> rdb --command diff /var/redis/6379/dump2.rdb | sort > dump2.txt

然后，运行你最喜欢的diff程序

> kdiff3 dump1.txt dump2.txt

要限制文件的大小，您可以使用该--key选项过滤键

发出Redis协议

您可以使用该命令将RDB文件转换为redis协议流protocol。

> rdb --c protocol /var/redis/6379/dump.rdb
*4
$4
HSET
$9
users:123
$9
firstname
$8
Sripathi

您可以将输出管道传输到netcat并重新导入数据的一个子集。例如，如果要将数据分割成两个redis实例，可以使用--key标志来选择一个数据子集，然后将输出管道传输到正在运行的redis实例以加载该数据。阅读Redis Mass Insert了解更多信息。

当打印协议输出时，该--escape选项可用于printable或utf8避免不可打印/控制字符。

使用解析器

from rdbtools import RdbParser, RdbCallback
from rdbtools.encodehelpers import bytes_to_unicode
class MyCallback(RdbCallback):
    ‘‘‘ Simple example to show how callback works.
        See RdbCallback for all available callback methods.
        See JsonCallback for a concrete example
    ‘‘‘
    def __init__(self):
        super(MyCallback, self).__init__(string_escape=None)
    def encode_key(self, key):
        return bytes_to_unicode(key, self._escape, skip_printable=True)
    def encode_value(self, val):
        return bytes_to_unicode(val, self._escape)
    def set(self, key, value, expiry, info):
        print(‘%s = %s‘ % (self.encode_key(key), self.encode_value(value)))
    def hset(self, key, field, value):
        print(‘%s.%s = %s‘ % (self.encode_key(key), self.encode_key(field), self.encode_value(value)))
    def sadd(self, key, member):
        print(‘%s has {%s}‘ % (self.encode_key(key), self.encode_value(member)))
    def rpush(self, key, value):
        print(‘%s has [%s]‘ % (self.encode_key(key), self.encode_value(value)))
    def zadd(self, key, score, member):
        print(‘%s has {%s : %s}‘ % (str(key), str(member), str(score)))
callback = MyCallback()
parser = RdbParser(callback)
parser.parse(‘/var/redis/6379/dump.rdb‘)

redis快照文件dump.rdb解析工具--redis-rdb-tools

标签：redis-rdb-tools