django+postgresql

PostgreSQL概述

PostgreSQL 是一个功能强大的开源关系数据库管理系统(RDBMS),以其高度的稳定性、扩展性和社区支持而闻名。PostgreSQL 支持 SQL 标准并具有很多先进特性,如 ACID 合规、复杂查询、外键支持、事务处理、表分区、JSON 数据类型、全文搜索、地理空间数据支持等。由于其灵活性,PostgreSQL 在数据密集型和分析密集型的场景中被广泛使用,适用于各类应用开发,包括 Django 应用程序。

日常运维

  1. 数据备份与恢复

    • 物理备份 :使用 pg_basebackup 工具,可以进行文件级备份。
    • 逻辑备份 :使用 pg_dumppg_dumpall 工具,可以进行数据库级备份,适合小数据量。
    • 定期备份是保障数据安全的基础,建议在业务低谷期执行并测试备份的可用性。
  2. 日志管理

    • 配置 PostgreSQL 日志,例如 log_destination, log_min_duration_statement 等参数,可以设置日志输出位置、查询耗时记录等,方便定位问题。
    • 建议定期轮换日志,以防止日志文件过大影响数据库性能。
  3. 数据库监控

    • 监控数据库的 CPU、内存、磁盘 IO 使用情况,定期检查慢查询(通过开启 pg_stat_activitypg_stat_statements 可以监控查询情况)。
    • 设置告警系统,确保在资源使用超过阈值时及时收到提醒。
  4. 性能调优

    • 缓冲区管理 :调整 shared_bufferswork_mem 等参数以适应业务场景。shared_buffers 一般设置为总内存的 25%-40%。
    • 自动化维护 :配置 autovacuum 自动清理无用数据和维护索引,以防止表膨胀。
    • 查询优化:定期分析并优化慢查询,建立适当的索引,并进行索引重建以提高查询效率。
  5. 安全管理

    • 定期更新 PostgreSQL 版本,确保安全漏洞得到修复。
    • 限制数据库的访问权限,设置强密码,使用 SSL 加密客户端连接。

Django + PostgreSQL 部署注意事项

在 Django 和 PostgreSQL 配合使用时,主要关注以下几点:

  1. 数据库配置

    • 在 Django 的 settings.py 中,配置 DATABASES,指定 ENGINEdjango.db.backends.postgresql,并正确填写 NAME, USER, PASSWORD, HOST, PORT 等连接信息。
    • 确保 PostgreSQL 用户具有所需权限(如 CREATE, READ, WRITE),但也要遵循最小权限原则。
  2. 使用连接池

    • Django 默认不提供数据库连接池功能,但可以通过 django-postgrespool2 等第三方库实现连接池管理。连接池有助于提升应用的数据库连接性能,减少建立连接的开销。
  3. 性能优化

    • 开启 Django 缓存功能,减少数据库查询次数。
    • 在模型字段上适当设置索引,如 db_index=True,对于经常查询或排序的字段特别重要。
    • 使用 select_relatedprefetch_related 优化外键查询,减少数据库的访问次数。
  4. 事务管理

    • 使用 Django 的事务功能(如 transaction.atomic()),确保数据库操作的原子性。
    • 注意避免长时间占用事务锁,防止影响其他操作的执行。
  5. 数据迁移

    • Django 使用 migrations 进行数据库模式的迁移,确保每次部署前运行 python manage.py migrate,以保持数据库表结构的一致性。
    • 在生产环境中进行迁移前,建议先在测试环境中执行迁移,以避免生产环境出现结构不兼容问题。
  6. 其他注意事项

    • 时区设置 :确保 Django 和 PostgreSQL 的时区配置一致,以避免时间数据的混淆(通常配置为 UTC)。
    • 字符编码 :建议在 PostgreSQL 中将数据库编码设置为 UTF8,以确保对多语言字符的支持。

总结

Django 和 PostgreSQL 配合非常适合构建可扩展的 web 应用,但需要注意数据库配置、性能优化、连接池、数据迁移等方面的细节,以确保系统的可靠性和性能。

下面是一个典型的 Django + PostgreSQL 的配置示例,包括 settings.py 中的数据库配置和一些常见的 PostgreSQL 配置项,帮助你在 Django 项目中实现最佳实践。

1. Django settings.py 数据库配置示例

在 Django 项目的 settings.py 中配置 PostgreSQL 数据库,确保 ENGINE 设置为 PostgreSQL 并填入数据库连接信息:

python 复制代码
DATABASES = {
    'default': {
        'ENGINE': 'django.db.backends.postgresql',
        'NAME': 'your_database_name',  # 数据库名称
        'USER': 'your_database_user',  # 数据库用户名
        'PASSWORD': 'your_database_password',  # 数据库用户密码
        'HOST': 'localhost',  # PostgreSQL 服务器地址,通常是 localhost 或数据库服务器 IP
        'PORT': '5432',  # PostgreSQL 默认端口
    }
}

# 启用 `psycopg2` 作为 PostgreSQL 的驱动
import dj_database_url
DATABASES['default'] = dj_database_url.config(conn_max_age=600, ssl_require=True)

确保在项目中安装 psycopg2,可以通过 pip install psycopg2 安装 PostgreSQL 驱动。

2. 配置连接池

Django 默认不支持数据库连接池,可以通过 django-postgrespool2 或类似库来实现连接池。

在项目中安装连接池包:

bash 复制代码
pip install django-postgrespool2

更新 DATABASES 配置以启用连接池:

python 复制代码
DATABASES = {
    'default': {
        'ENGINE': 'django_postgrespool2',  # 使用 django-postgrespool2 作为连接池
        'NAME': 'your_database_name',
        'USER': 'your_database_user',
        'PASSWORD': 'your_database_password',
        'HOST': 'localhost',
        'PORT': '5432',
        'OPTIONS': {
            'MAX_CONNS': 20,  # 设置最大连接数,取决于业务需求
            'MIN_CONNS': 5,   # 设置最小连接数
        }
    }
}

3. Django 性能优化示例

settings.py 中还可以进行一些其他优化设置:

python 复制代码
# 缓存设置
CACHES = {
    'default': {
        'BACKEND': 'django.core.cache.backends.locmem.LocMemCache',
        'LOCATION': 'unique-snowflake',
    }
}

# 开启数据库调试(开发模式下)
DEBUG = True  # 生产环境请关闭

4. PostgreSQL 数据库配置示例

在 PostgreSQL 中配置一些性能相关的参数,通常在 postgresql.conf 文件中:

conf 复制代码
# 内存分配
shared_buffers = 1GB           # 设置内存缓冲区,一般设置为系统内存的 25%-40%
work_mem = 16MB                 # 单个查询的内存工作区,适当设置

# 自动清理
autovacuum = on                 # 启用自动清理
autovacuum_vacuum_cost_delay = 20ms  # 自动清理的延迟

# 日志设置
logging_collector = on          # 开启日志记录
log_directory = 'pg_log'        # 日志目录
log_min_duration_statement = 500ms  # 记录执行超过500ms的查询

注意:在修改 PostgreSQL 配置后,需重启服务才能生效。

相关推荐
齐 飞2 分钟前
MongoDB笔记03-MongoDB索引
前端·数据库·笔记·后端·mongodb
weixin_543662863 分钟前
BERT的中文问答系统28
人工智能·python·bert
chusheng184018 分钟前
Python 三维图表绘制指南
开发语言·python
柔软阳光23 分钟前
(四)、Manticore Search学习笔记之本地表介绍
数据库·笔记·学习
爱写代码的小朋友36 分钟前
使用 Python 和 OpenCV 实现实时人脸识别
开发语言·python·opencv
weixin_5375904544 分钟前
《Spring Boot从入门到实战》第四章习题
java·spring boot·后端
我就说好玩1 小时前
2020年美国总统大选数据分析与模型预测
大数据·python·数据挖掘·数据分析·pandas·sklearn
KKTT011 小时前
Redis数据库测试和缓存穿透、雪崩、击穿
数据库·redis·缓存
星寂樱易李2 小时前
pycharm 使用
ide·python·pycharm
python1562 小时前
SQL中的IN语句和EXISTS语句
数据库·sql