【爬虫】使用parse_qs函数来将查询字符串转换成字典

在Python中,可以使用urllib.parse模块中的parse_qs函数来将查询字符串转换成字典。下面是一个例子:

python 复制代码
from urllib.parse import parse_qs
# 查询字符串
query_string = "appId=5053&cityCode=110100&t=1715150256145&pageIndex=1&pageSize=12&keyword=%E8%8B%B1%E8%AF%AD&order=0"
# 转换为字典
parsed_dict = parse_qs(query_string)
print(parsed_dict)
# {'appId': ['5053'], 'cityCode': ['110100'], 't': ['1715150600755'], 'pageIndex': ['1'], 'pageSize': ['12'], 'keyword': ['英语'], 'order': ['0']}

执行这段代码,将得到一个字典,其中键是查询字符串中的参数名,值是参数值列表。(到这,就可以直接发请求,一般不会出问题。)

其他说明

由于parse_qs会将所有值都视为列表,即使它们只出现一次,如果需要单个值而不是列表,可能需要进一步处理字典。

请注意,parse_qs不会解码URL编码的参数值。如果需要解码参数值,可以使用urllib.parse.parse_qsl函数,然后手动解码每个值,或者使用urllib.parse.unquote函数来解码整个查询字符串。下面是一个解码参数值的例子:

python 复制代码
from urllib.parse import parse_qsl, unquote
# 查询字符串
query_string = "appId=5053&cityCode=110100&t=1715150256145&pageIndex=1&pageSize=12&keyword=%E8%8B%B1%E8%AF%AD&order=0"
# 转换为字典,并解码参数值
parsed_dict = {k: unquote(v[0]) for k, v in parse_qsl(query_string)}
print(parsed_dict)

在这个例子中,parse_qsl函数将查询字符串转换为一个元组列表,每个元组包含一个键和一个值列表。然后,我们使用列表推导式和一个字典推导式来创建一个新字典,其中键是原始键,值是解码后的值。由于parse_qsl返回的值是一个列表,我们使用v[0]来获取第一个元素,即实际的值。最后,我们使用unquote函数来解码每个值。

相关推荐
爱吃烤鸡翅的酸菜鱼5 分钟前
IDEA高效开发:Database Navigator插件安装与核心使用指南
java·开发语言·数据库·编辑器·intellij-idea·database
超奇电子9 分钟前
阿里云OSS预签名URL上传与临时凭证上传的技术对比分析
数据库·阿里云·云计算
神仙别闹22 分钟前
基于C#+SQL Server实现(Web)学生选课管理系统
前端·数据库·c#
m0_6530313638 分钟前
PostgreSQL技术大讲堂 - 第97讲:PG数据库编码和区域(locale)答疑解惑
数据库·postgresql
会编程的林俊杰1 小时前
MySQL中的锁有哪些
数据库·mysql
cts6181 小时前
Milvus分布式数据库工作职责
数据库·分布式·milvus
周胡杰1 小时前
鸿蒙加载预置数据库-关系型数据库-如何读取本地/预制数据库
数据库·华为·harmonyos·鸿蒙
YuTaoShao1 小时前
【LeetCode 热题 100】994. 腐烂的橘子——BFS
java·linux·算法·leetcode·宽度优先
布朗克1681 小时前
java常见的jvm内存分析工具
java·jvm·数据库
退役小学生呀1 小时前
十五、K8s可观测能力:日志收集
linux·云原生·容器·kubernetes·k8s