Django模型查询与性能调优：告别N+1问题

小王子10242025-08-01 15:06

一、查询基础

QuerySet 详解

Django 中通过模型类的 Manager 构建 QuerySet 来检索数据库对象，其核心特性包括：

  • 代表数据库中对象的集合
  • 可通过过滤器缩小查询范围
  • 具有惰性执行特性（仅在需要结果时才执行 SQL）

常用过滤器

  • all()：返回所有对象
  • filter(**kwargs)：返回满足条件的对象
  • exclude(** kwargs)：返回不满足条件的对象
  • get(**kwargs)：返回单个匹配对象（无匹配或多匹配会抛异常）
  • 切片
python 复制代码 
# 切片操作示例：返回前5个对象（LIMIT 5）
Book.objects.all()[:5]

一对多关联查询

假设一个作者可以写多本书，但每本书只能属于一个作者。

python 复制代码 
from django.db import models

class Author(models.Model):
    first_name = models.CharField(max_length=100)
    last_name = models.CharField(max_length=100)

    def __str__(self):
        return f"{self.first_name} {self.last_name}"

class Book(models.Model):
    title = models.CharField(max_length=100)
    publication_date = models.DateField()
    # 外键关联Author，级联删除，反向查询名为books
    author = models.ForeignKey(
        Author, 
        on_delete=models.CASCADE, 
        related_name='books'
    )

    def __str__(self):
        return self.title

正向查询（通过外键属性访问）

python 复制代码 
b = Book.objects.get(id=2)
b.author  # 获取关联的Blog对象，查询数据库
b.author = some_body  # 设置关联对象
b.save()  # 保存更改

使用 select_related() 预加载关联对象，避免额外查询

python 复制代码 
b = Book.objects.select_related().get(id=2)
print(b.author)  # 已预加载到缓存，使用缓存，不查询数据库

反向查询（通过关联管理器）

python 复制代码 
# 未定义related_name， 默认Manager名称为：<模型名称小写>_set
a = Author.objects.get(id=1)
a.book_set.all()  # 返回所有关联的Book

# 定义了related_name='books'
a.books.all()  # 更直观的访问方式

关联对象操作方法如下。所有 "反向" 操作对数据库都是立刻生效，保存到数据库。

  • add(obj1, obj2)：添加关联对象
  • create(**kwargs)：创建并关联新对象
  • remove(obj1, obj2)：移除关联对象
  • clear()：清空所有关联
  • set(objs)：替换关联集合
python 复制代码 
a = Author.objects.get(id=1)
a.books.set([b1, b2]) #  b1 和 b2 都是 Book 实例

多对多关联查询

假设一个作者可以写多本书，一本书也可以有多个作者。

python 复制代码 
from django.db import models

class Author(models.Model):
    name = models.CharField(max_length=100)
    email = models.EmailField()

    def __str__(self):
        return self.name

class Book(models.Model):
    title = models.CharField(max_length=200)
    publication_date = models.DateField()
    # 多对多关联Author
    authors = models.ManyToManyField(Author, related_name='books')

    def __str__(self):
        return self.title

正向与反向查询示例

python 复制代码 
# 正向查询
b = Book.objects.get(id=3)
b.authors.all() # 获取所有关联的Author
b.authors.count()
b.authors.filter(name__contains="张三")

# 反向查询
a = Author.objects.get(id=5)
a.book_set.all()  # 获取所有关联的Book

多对多关联中，add()、set() 和 remove() 可直接使用主键

python 复制代码 
a = Author.objects.get(id=5)
a.book_set.set([b1, b2])
# 等价于
a.book_set.set([b1.pk, b2.pk])

二、N+1查询问题

问题分析

N+1 查询是常见的性能问题，表现为主查询后执行 N 次额外查询。例如：

python 复制代码 
books = Book.objects.all()
for book in books:
    print(book.author.first_name)

以上代码会产生 1 次查询获取所有 Book，加上 N 次查询获取对应的 Author（N 为 Book 数量），共 N+1 次查询。

检测方法

  • Django Debug Toolbar：直观显示请求中的 SQL 查询
  • 日志记录：配置日志记录 SQL 语句
  • 性能分析工具：如 Django Silk 分析查询性能

解决方案

方法 1：使用 select_related

适用于一对多（正向）和一对一关系，通过 SQL JOIN 预加载关联对象

  • 语法：select_related('related_field')，related_field 是模型中定义的 ForeignKey 或 OneToOneField 字段
python 复制代码 
books = Book.objects.select_related('author').all()
for book in books:
    print(book.author.first_name) # 无额外查询

可结合 only() 选择需要的字段

python 复制代码 
books = Book.objects.select_related('author').only('title', 'author__name')

支持多级关联

python 复制代码 
# 加载书籍、作者及作者家乡信息
books = Book.objects.select_related('author__hometown').all()
for book in books:
    print(book.author.hometown.name)  # 无额外查询

方法 2：使用 prefetch_related

适用于多对多和反向关系，通过批量查询后在 Python 中关联。适用场景：

  • 多对多关系（ManyToManyField）
  • 反向一对多关系
  • 反向一对一关系
python 复制代码 
books = Book.objects.prefetch_related('authors').all()
for book in books:
    print(book.authors.all())  # 无额外查询

参考资料：Django 数据库访问优化

三、高级查询优化

values()

返回字典形式的查询集（返回一个 ValuesQuerySet 对象，其中每个元素是一个字典），适合提取特定字段

python 复制代码 
books = Book.objects.values('title', 'author')
for book in books:
    print(book) 
    
# 输出示例
{'title': 'Book1', 'author': 'Author1'}
{'title': 'Book2', 'author': 'Author2'}

values_list()

返回元组形式的查询集（返回一个 ValuesListQuerySet 对象，其中每个元素是一个元组），内存占用更低

python 复制代码 
books = Book.objects.values_list('title', 'author')
for book in books:
    print(book)
    
### 输出示例
('Book1', 'Author1')
('Book2', 'Author2')

使用 flat=True 获取单一字段值列表。如果有多个字段时，传入 flat 会报错。

python 复制代码 
titles = Book.objects.values_list('title', flat=True)
# <QuerySet ['红楼梦', '西游记', ...]>

使用 named=True ，结果返回 namedtuple()

python 复制代码 
books_info = Book.objects.values_list("id", "title", named=True)
# <QuerySet [Row(id=1, title='红楼梦'), ...]>

values()和values_list()对比

对比维度 values() values_list()
返回值类型 返回一个包含字典的查询集，字典的键为字段名，值为字段对应的数据 返回一个包含元组的查询集，元组中的元素依次对应指定字段的值
内存占用 相对较高，因为字典需要存储键值对信息 通常更节省内存，元组是更轻量的数据结构，无需存储字段名
使用场景 适合需要通过字段名访问字段值的场景，例如需要明确知道每个值对应的字段时 适合仅需要获取字段值的场景，例如只需批量获取某个或某几个字段的具体数据时

Q() 对象复杂查询

Q() 对象用于构建复杂查询条件，支持逻辑运算

  • &：逻辑与（AND）
  • |：逻辑或（OR）
  • ~：逻辑非（NOT）
python 复制代码 
from django.db.models import Q

# 标题含Python或作者为John的书籍
books = Book.objects.filter(
    Q(title__icontains="Python") | Q(author="John")
)

# 复杂组合条件
books = Book.objects.filter(
    (Q(title__icontains="Python") | Q(title__icontains="Django")) &
    ~Q(author="John")
)

查看生成的 SQL

调试时可查看 QuerySet 生成的 SQL

python 复制代码 
queryset = Book.objects.filter(author="John")
print(queryset.query)  # 输出对应的SQL语句

四、项目实战

场景

Django+Vue 后台管理系统中，一般需要支持不同的数据权限

  • 仅本人数据权限
  • 本部门及以下数据权限
  • 本部门数据权限
  • 指定部门数据权限
  • 全部数据权限

数据权限与功能权限（基于RBAC实现）的区别

  • 功能权限：控制 "能做什么"（如新增、删除按钮的显示和执行）
  • 数据权限：控制 "能看到什么数据"（如销售经理只能查看自己团队的数据）

实战

使用Q() 对象构建复杂查询，实现灵活的数据权限计算

点击查看完整代码

您正在阅读的是《Django从入门到实战》专栏！关注不迷路~

相关推荐
松涛和鸣25 分钟前
72、IMX6ULL驱动实战：设备树（DTS/DTB）+ GPIO子系统+Platform总线
linux·服务器·arm开发·数据库·单片机
likangbinlxa42 分钟前
【Oracle11g SQL详解】UPDATE 和 DELETE 操作的正确使用
数据库·sql
r i c k1 小时前
数据库系统学习笔记
数据库·笔记·学习
野犬寒鸦1 小时前
从零起步学习JVM || 第一章：类加载器与双亲委派机制模型详解
java·jvm·数据库·后端·学习
IvorySQL2 小时前
PostgreSQL 分区表的 ALTER TABLE 语句执行机制解析
数据库·postgresql·开源
·云扬·2 小时前
MySQL 8.0 Redo Log 归档与禁用实战指南
android·数据库·mysql
IT邦德2 小时前
Oracle 26ai DataGuard 搭建(RAC到单机)
数据库·oracle
惊讶的猫3 小时前
redis分片集群
数据库·redis·缓存·分片集群·海量数据存储·高并发写
不爱缺氧i3 小时前
完全卸载MariaDB
数据库·mariadb
纤纡.3 小时前
Linux中SQL 从基础到进阶：五大分类详解与表结构操作（ALTER/DROP）全攻略
linux·数据库·sql
热门推荐
01GitHub 镜像站点02Claude Code + GLM4.7 避坑指南：解决 Unable to connect to Anthropic services03openclaw配置教程（linux+局域网ollama）04UV安装并设置国内源05AI 规范驱动开发“三剑客”深度对比：Spec-Kit、Kiro 与 OpenSpec 实战指南06Linux下V2Ray安装配置指南07openclaw使用nginx反代部署过程 与disconnected (1008): pairing required解决08Claude Code Skills 实用使用手册09在Trae中使用Pencil MCP10Vue-skills的中文文档