Django模型查询与性能调优：告别N+1问题

小王子10242025-08-01 15:06

一、查询基础

QuerySet 详解

Django 中通过模型类的 Manager 构建 QuerySet 来检索数据库对象，其核心特性包括：

  • 代表数据库中对象的集合
  • 可通过过滤器缩小查询范围
  • 具有惰性执行特性（仅在需要结果时才执行 SQL）

常用过滤器

  • all()：返回所有对象
  • filter(**kwargs)：返回满足条件的对象
  • exclude(** kwargs)：返回不满足条件的对象
  • get(**kwargs)：返回单个匹配对象（无匹配或多匹配会抛异常）
  • 切片
python 复制代码 
# 切片操作示例：返回前5个对象（LIMIT 5）
Book.objects.all()[:5]

一对多关联查询

假设一个作者可以写多本书，但每本书只能属于一个作者。

python 复制代码 
from django.db import models

class Author(models.Model):
    first_name = models.CharField(max_length=100)
    last_name = models.CharField(max_length=100)

    def __str__(self):
        return f"{self.first_name} {self.last_name}"

class Book(models.Model):
    title = models.CharField(max_length=100)
    publication_date = models.DateField()
    # 外键关联Author，级联删除，反向查询名为books
    author = models.ForeignKey(
        Author, 
        on_delete=models.CASCADE, 
        related_name='books'
    )

    def __str__(self):
        return self.title

正向查询（通过外键属性访问）

python 复制代码 
b = Book.objects.get(id=2)
b.author  # 获取关联的Blog对象，查询数据库
b.author = some_body  # 设置关联对象
b.save()  # 保存更改

使用 select_related() 预加载关联对象，避免额外查询

python 复制代码 
b = Book.objects.select_related().get(id=2)
print(b.author)  # 已预加载到缓存，使用缓存，不查询数据库

反向查询（通过关联管理器）

python 复制代码 
# 未定义related_name， 默认Manager名称为：<模型名称小写>_set
a = Author.objects.get(id=1)
a.book_set.all()  # 返回所有关联的Book

# 定义了related_name='books'
a.books.all()  # 更直观的访问方式

关联对象操作方法如下。所有 "反向" 操作对数据库都是立刻生效，保存到数据库。

  • add(obj1, obj2)：添加关联对象
  • create(**kwargs)：创建并关联新对象
  • remove(obj1, obj2)：移除关联对象
  • clear()：清空所有关联
  • set(objs)：替换关联集合
python 复制代码 
a = Author.objects.get(id=1)
a.books.set([b1, b2]) #  b1 和 b2 都是 Book 实例

多对多关联查询

假设一个作者可以写多本书，一本书也可以有多个作者。

python 复制代码 
from django.db import models

class Author(models.Model):
    name = models.CharField(max_length=100)
    email = models.EmailField()

    def __str__(self):
        return self.name

class Book(models.Model):
    title = models.CharField(max_length=200)
    publication_date = models.DateField()
    # 多对多关联Author
    authors = models.ManyToManyField(Author, related_name='books')

    def __str__(self):
        return self.title

正向与反向查询示例

python 复制代码 
# 正向查询
b = Book.objects.get(id=3)
b.authors.all() # 获取所有关联的Author
b.authors.count()
b.authors.filter(name__contains="张三")

# 反向查询
a = Author.objects.get(id=5)
a.book_set.all()  # 获取所有关联的Book

多对多关联中，add()、set() 和 remove() 可直接使用主键

python 复制代码 
a = Author.objects.get(id=5)
a.book_set.set([b1, b2])
# 等价于
a.book_set.set([b1.pk, b2.pk])

二、N+1查询问题

问题分析

N+1 查询是常见的性能问题，表现为主查询后执行 N 次额外查询。例如：

python 复制代码 
books = Book.objects.all()
for book in books:
    print(book.author.first_name)

以上代码会产生 1 次查询获取所有 Book，加上 N 次查询获取对应的 Author（N 为 Book 数量），共 N+1 次查询。

检测方法

  • Django Debug Toolbar：直观显示请求中的 SQL 查询
  • 日志记录：配置日志记录 SQL 语句
  • 性能分析工具：如 Django Silk 分析查询性能

解决方案

方法 1：使用 select_related

适用于一对多（正向）和一对一关系，通过 SQL JOIN 预加载关联对象

  • 语法：select_related('related_field')，related_field 是模型中定义的 ForeignKey 或 OneToOneField 字段
python 复制代码 
books = Book.objects.select_related('author').all()
for book in books:
    print(book.author.first_name) # 无额外查询

可结合 only() 选择需要的字段

python 复制代码 
books = Book.objects.select_related('author').only('title', 'author__name')

支持多级关联

python 复制代码 
# 加载书籍、作者及作者家乡信息
books = Book.objects.select_related('author__hometown').all()
for book in books:
    print(book.author.hometown.name)  # 无额外查询

方法 2：使用 prefetch_related

适用于多对多和反向关系，通过批量查询后在 Python 中关联。适用场景：

  • 多对多关系（ManyToManyField）
  • 反向一对多关系
  • 反向一对一关系
python 复制代码 
books = Book.objects.prefetch_related('authors').all()
for book in books:
    print(book.authors.all())  # 无额外查询

参考资料：Django 数据库访问优化

三、高级查询优化

values()

返回字典形式的查询集（返回一个 ValuesQuerySet 对象，其中每个元素是一个字典），适合提取特定字段

python 复制代码 
books = Book.objects.values('title', 'author')
for book in books:
    print(book) 
    
# 输出示例
{'title': 'Book1', 'author': 'Author1'}
{'title': 'Book2', 'author': 'Author2'}

values_list()

返回元组形式的查询集（返回一个 ValuesListQuerySet 对象，其中每个元素是一个元组），内存占用更低

python 复制代码 
books = Book.objects.values_list('title', 'author')
for book in books:
    print(book)
    
### 输出示例
('Book1', 'Author1')
('Book2', 'Author2')

使用 flat=True 获取单一字段值列表。如果有多个字段时，传入 flat 会报错。

python 复制代码 
titles = Book.objects.values_list('title', flat=True)
# <QuerySet ['红楼梦', '西游记', ...]>

使用 named=True ，结果返回 namedtuple()

python 复制代码 
books_info = Book.objects.values_list("id", "title", named=True)
# <QuerySet [Row(id=1, title='红楼梦'), ...]>

values()和values_list()对比

对比维度 values() values_list()
返回值类型 返回一个包含字典的查询集，字典的键为字段名，值为字段对应的数据 返回一个包含元组的查询集，元组中的元素依次对应指定字段的值
内存占用 相对较高，因为字典需要存储键值对信息 通常更节省内存，元组是更轻量的数据结构，无需存储字段名
使用场景 适合需要通过字段名访问字段值的场景，例如需要明确知道每个值对应的字段时 适合仅需要获取字段值的场景，例如只需批量获取某个或某几个字段的具体数据时

Q() 对象复杂查询

Q() 对象用于构建复杂查询条件，支持逻辑运算

  • &：逻辑与（AND）
  • |：逻辑或（OR）
  • ~：逻辑非（NOT）
python 复制代码 
from django.db.models import Q

# 标题含Python或作者为John的书籍
books = Book.objects.filter(
    Q(title__icontains="Python") | Q(author="John")
)

# 复杂组合条件
books = Book.objects.filter(
    (Q(title__icontains="Python") | Q(title__icontains="Django")) &
    ~Q(author="John")
)

查看生成的 SQL

调试时可查看 QuerySet 生成的 SQL

python 复制代码 
queryset = Book.objects.filter(author="John")
print(queryset.query)  # 输出对应的SQL语句

四、项目实战

场景

Django+Vue 后台管理系统中，一般需要支持不同的数据权限

  • 仅本人数据权限
  • 本部门及以下数据权限
  • 本部门数据权限
  • 指定部门数据权限
  • 全部数据权限

数据权限与功能权限（基于RBAC实现）的区别

  • 功能权限：控制 "能做什么"（如新增、删除按钮的显示和执行）
  • 数据权限：控制 "能看到什么数据"（如销售经理只能查看自己团队的数据）

实战

使用Q() 对象构建复杂查询，实现灵活的数据权限计算

点击查看完整代码

您正在阅读的是《Django从入门到实战》专栏！关注不迷路~

相关推荐
摸鱼仙人~3 小时前
Redis 数据结构全景解析
数据结构·数据库·redis
t198751285 小时前
解决MySQL删除/var/lib/mysql下的所有文件后无法启动的问题
数据库·mysql·adb
大佐不会说日语～8 小时前
Redis高频问题全解析
java·数据库·redis
会飞的灰大狼8 小时前
初识数据库
数据库
旋风菠萝10 小时前
JVM易混淆名称
java·jvm·数据库·spring boot·redis·面试
AWS官方合作商10 小时前
Amazon RDS for MySQL成本优化：RDS缓存降本实战
数据库·mysql·aws
77qqqiqi11 小时前
解决Property ‘sqlSessionFactory‘ or ‘sqlSessionTemplate‘ are required报错问题
java·数据库·微服务·mybatis·mybatisplus
眺望电子-ARM嵌入式11 小时前
技术笔记 | Ubuntu 系统 OTA 升级全流程详解
数据库·postgresql·php
程序猿小D12 小时前
Java项目：基于SSM框架实现的校园活动资讯网管理系统【ssm+B/S架构+源码+数据库+毕业论文+远程部署】
java·数据库·mysql·spring·毕业设计·ssm框架·校园活动
热门推荐
01Qwen3-Coder 快速上手教程 | Qwen Code + Claude Code02全球最强模型Grok4，国内已可免费使用！（附教程）03MSPM0G3507——读取引脚的高低电平方法（数字信号循迹模块）04腾讯还是太全面了，限时免费！超全CodeBuddy IDE保姆级教程！（附案例）05Coze 开源了，送上保姆级私有化部署方案【建议收藏】06KGG转MP3工具|非KGM文件|解密音频07VMware Workstation Pro虚拟机的下载和安装图文保姆级教程(附下载链接)08扣子开源本地部署教程 丨Coze智能体小白喂饭级指南092025年电子设计大赛G题《电路模型探究装置》各小问数学推导及个人思路10【手把手攻略】国家育儿补贴正式开领！一键算清你能拿多少钱？附补贴领取计算器