Redis数据存储和读写

今天工作群里,有小伙伴问了一个问题,从Redis获取的数据,一会是0,一会是OK。

这引起了我们对Redis数据存储和读写的疑问。

以下是整理的一些技术研究内容。

在 Redis 中,所有的数据存储都是基于字符串的。无论你插入的是 String、int 还是 DateTime 类型的数据,最终都会以字符串的形式存储在 Redis 中。具体来说:

  1. String 类型数据:

    • 存储:直接以字符串形式存储,无需额外处理。
    • 取出:直接取出字符串即可。
  2. int 类型数据:

    • 存储:将 int 类型转换为字符串,然后存储。
    • 取出:从 Redis 中取出字符串后,再转换为 int 类型。
  3. DateTime 类型数据:

    • 存储:通常将 DateTime 类型转换为某种标准格式的字符串(如 ISO 8601 格式),然后存储。
    • 取出:从 Redis 中取出字符串后,再解析为 DateTime 类型。

具体的操作示例如下:

插入数据

复制代码
import redis
from datetime import datetime

# 连接到 Redis
r = redis.StrictRedis(host='localhost', port=6379, db=0)

# 存储 String 数据
r.set('my_string', 'Hello, Redis!')

# 存储 int 数据
r.set('my_int', str(12345))

# 存储 DateTime 数据
now = datetime.now().isoformat()
r.set('my_datetime', now)

取出数据

复制代码
# 取出 String 数据
my_string = r.get('my_string').decode('utf-8')

# 取出 int 数据
my_int = int(r.get('my_int'))

# 取出 DateTime 数据
my_datetime = datetime.fromisoformat(r.get('my_datetime').decode('utf-8'))

数据类型转换:当你从 Redis 取出数据时,Redis 返回的是字节字符串,你需要根据存储的数据类型进行相应的转换:

  • **String 数据:**直接解码为字符串。
  • **int 数据:**先解码为字符串,然后转换为整数。
  • **DateTime 数据:**先解码为字符串,然后解析为 DateTime 对象。

这种方式虽然简单直接,但需要在应用层处理数据的序列化和反序列化。

我们可以根据需要选择不同的序列化格式(如 JSON、Protobuf 等)来存储更复杂的数据结构。
这种设计会出现数据序列化和反序列化的性能问题吗?

数据的序列化和反序列化确实会引入一些性能开销,但在大多数情况下,这些开销是可以接受的。具体的性能影响取决于以下几个因素:

  1. 数据量大小: 如果数据量较小,序列化和反序列化的开销通常是微不足道的。但是对于大数据量,这些操作的成本会显著增加。

  2. 序列化方式: 不同的序列化方式有不同的性能特征。例如,简单的字符串序列化通常比复杂的格式(如 JSON、XML 或 Protobuf)要快。

  3. 数据类型和复杂度: 简单的数据类型(如整数和字符串)比复杂的数据类型(如对象或嵌套结构)更容易序列化和反序列化。

为了减少序列化和反序列化的性能问题,可以考虑以下几种优化方法:

  1. 选择高效的序列化格式: 对于简单的数据类型,直接使用字符串或二进制格式可以减少开销。对于复杂数据类型,可以选择性能更好的序列化格式,如 MessagePack 或 Protobuf。

  2. 减少数据量: 仅存储和传输必要的数据,尽量减少每次操作的数据量。

  3. 批量操作: 批量操作可以减少网络开销。例如,使用 Redis 的批量命令(如 MSET 和 MGET)一次性操作多个键值对。

  4. 缓存计算结果: 对于需要频繁计算的数据,可以将计算结果缓存到 Redis 中,避免每次都进行序列化和反序列化操作。

Redis内部数据的存储原理是什么?

Redis 是一个基于内存的高性能键值存储系统,采用了多种数据结构来优化数据存储和访问效率。下面是 Redis 内部数据存储的一些关键原理和机制:

数据结构

Redis 支持多种数据结构,每种数据结构有其特定的存储方式:

  1. 字符串(String)

    • 存储:Redis 的字符串是二进制安全的,最长可以存储 512 MB 的数据。字符串数据结构采用简单动态字符串(SDS)来实现,这种结构允许高效的字符串操作和内存管理。
    • 数据结构:SDS 是一种带有元数据(如长度和空余空间)的动态数组。
  2. 哈希(Hash)

    • 存储:哈希表用于存储键值对集合,适合存储对象的属性数据。
    • 数据结构:采用哈希表(dict)实现。小哈希表(元素少于一定数量时)采用 ziplist(压缩列表)优化存储,大哈希表则使用标准的哈希表实现。
  3. 列表(List)

    • 存储:列表用于存储有序的字符串集合,支持快速的头尾插入和删除操作。
    • 数据结构:列表小于一定大小时使用 ziplist 实现,较大时使用双向链表(quicklist)实现。
  4. 集合(Set)

    • 存储:集合用于存储无序的字符串集合,支持快速的添加、删除和成员检查操作。
    • 数据结构:小集合使用整数数组(intset)实现,大集合使用哈希表实现。
  5. 有序集合(Sorted Set)

    • 存储:有序集合在集合的基础上为每个成员关联一个分数,成员按分数排序。
    • 数据结构:采用跳表(skiplist)和哈希表联合实现,跳表用于排序,哈希表用于快速查找。
  6. 位图(Bitmap)

    • 存储:位图用于高效地存储和操作大量的二进制数据。
    • 数据结构:底层实现为字符串,按位操作。
  7. HyperLogLog

    • 存储:用于基数估计算法,估算集合中不重复元素的数量。
    • 数据结构:底层使用稀疏和稠密两种表示法来优化空间使用。
  8. 地理空间(Geo)

    • 存储:用于存储地理位置信息。
    • 数据结构:基于有序集合实现,通过 GEOADD、GEORADIUS 等命令操作。

内存管理

Redis 采用多种内存管理技术来优化性能和内存使用:

  1. 内存分配:Redis 使用 jemalloc 作为默认的内存分配器,可以高效地管理内存碎片和分配。
  2. 对象共享:对于常用的小对象(如小整数),Redis 会在内部共享这些对象,减少内存开销。
  3. 内存压缩:对于字符串等数据,Redis 可以使用压缩技术来减少内存使用。
  4. LRU/LFU 淘汰:当内存达到设定的上限时,Redis 可以根据设定的策略(如 LRU 或 LFU)淘汰不常用的数据。

持久化

为了防止数据丢失,Redis 提供了多种持久化机制:

  1. RDB 快照:定期将内存中的数据快照保存到磁盘。优点是数据恢复速度快,但可能丢失最近的数据。
  2. AOF 日志:记录每个写操作,定期将日志刷新到磁盘。优点是数据持久化更可靠,但恢复速度较慢。
  3. 混合模式:结合 RDB 和 AOF 的优点,先加载 RDB 快照,然后应用 AOF 日志。

哨兵和集群

为了实现高可用性和扩展性,Redis 提供了哨兵模式和集群模式:

  1. 哨兵模式:通过哨兵进程监控 Redis 主从节点的状态,自动进行故障转移。
  2. 集群模式:将数据分片存储到多个节点上,通过哈希槽(hash slot)实现数据分布和访问。

Redis 内部通过这些机制和原理,提供了高效、可靠的键值存储和访问服务。
以上。
周国庆
2024/6/2