Redis——使用 python 操作 redis 之从 hmse 迁移到 hset

环境

问题描述

我想向一个 hash 类型的 key 中插入多个 键值对 value。

在 redis-cli 中我可以使用 HMSET 命令实现这种批量插入,但是当我使用 redis library 4.1.4 中的 hmset 方法时报错:DeprecationWarning: Redis.hmset() is deprecated. Use Redis.hset() instead. conn.hmset(article, content)

代码如下:

复制代码
import time
import redis3

conn = redis3.Redis(host='localhost', port=6379, db=0, decode_responses=True)
conn.flushdb()

now = time.time()
article = 'article:' + str(1)

content = {
    'title': 'A title',
    'link': 'http://www.google.com',
    'poster': 'username',
    'time': now,
    'votes': 1,
}

conn.hmset(article, content)
print(conn.hgetall(article))

查了一下,根据hmset() uses deprecated command HMSET #1269的说法, hmset 方法从 4.0.0 版本开始就被弃用了。

尽管这里报错,但实际上它还是起作用了,因为它并没有被从 redis library 4.1.4 的 API 源码中移出。

因为它早晚会被移除,我就想从 hmse 迁移到 hset,于是这就产生了一些问题:

  • 怎样使用 hset API。
  • 在使用 hset API时遇到了一些问题。

解决过程

过程及方法一:

使用循环,但这样在处理大数据时会比较慢:

复制代码
from pyinstrument import Profiler
profiler=Profiler()
profiler.start()
for i in range(100000):
    for item in content:
        conn.hset(article, item, content[item])
profiler.stop()
profiler.print()

执行性能如下:

复制代码
  _     ._   __/__   _ _  _  _ _/_   Recorded: 18:10:52  Samples:  41159
 /_//_/// /_ / //_// / //_'/ //     Duration: 41.370    CPU time: 38.547
/   _/                      v4.1.1

Program: F:/python基础/操作数据库/redis/test.py

41.366 <module>  test.py:8
└─ 40.991 hset  redis3client.py:3034
      [130 frames hidden]  redis3, <built-in>
         8.293 socket.sendall  <built-in>:0

过程及方法二:

根据源码以及hset mapping not working #1396的说法,我使用mapping参数映射一下:

复制代码
conn.hset(article, mapping=content)

但报错:redis3.exceptions.ResponseError: wrong number of arguments for 'hset' command

按照 redis doc:hset 的说法,mapping 参数应该是支持以 python 字典形式插入 hash 类型的数据的,就在想是不是本地 windows redis 版本的问题,根据[BUG] hset does not support multiple dict mapping #8622中的讨论,去查了一下本地 windows redis 版本:

好家伙,版本太低了,要么直接卸载,然后手动编译重装 6.X 版本,要么还是在 linux 环境操作:

复制代码
# 查看redis版本
dfl@WEB:/opt/redis-6.0.9$ redis-cli
127.0.0.1:6379> info server
# Server
redis_version:6.0.9

执行官结果如下:

复制代码
{'title': 'A title', 'link': 'http://www.google.com', 'poster': 'username', 'time': '1648130581.633493', 'votes': '1'}

过程及方法三:

Redis 大量数据插入

相关推荐
zb200641202 小时前
从 SQL 语句到数据库操作
数据库·sql·oracle
XDHCOM2 小时前
ORA-38877故障修复:可用重做日志与远程处理指南
数据库·oracle
深蓝海拓2 小时前
基于QtPy (PySide6) 的PLC-HMI工程项目(二)系统规划
笔记·python·qt·学习·plc
十年编程老舅3 小时前
窥探内核心脏:深入解析 proc 虚拟文件系统
linux·服务器·数据库·c++·linux内核·文件系统·读写锁
青槿吖3 小时前
第一篇:Redis集群从入门到踩坑:3主3从保姆级搭建+核心原理一次性讲透|面试必看
前端·redis·后端·面试·职场和发展·bootstrap·html
迷藏4943 小时前
**雾计算中的边缘智能:基于Python的轻量级任务调度系统设计与实现**在物联网(IoT)飞速发展的今天,传统云
java·开发语言·python·物联网
biubiubiu07063 小时前
从 Python 和 Node.js 的流行看 Java 的真实位置
java·python·node.js
大江东去浪淘尽千古风流人物3 小时前
【Basalt】Basalt void SqrtKeypointVioEstimator<Scalar_>::optimize() VIO优化流程
数据库·人工智能·python·机器学习·oracle
运维行者_3 小时前
通过 OpManager 集成 Firewall Analyzer 插件,释放统一网络管理与安全的强大能力
大数据·运维·服务器·网络·数据库·安全