一、需求分析
1.1 数据规模与增长
当前数据来自手动维护的 Excel 文件,条目数在千条至万条量级;预计未来 5 年不超过 10 万条 。10 万条结构化记录对任何主流关系型数据库而言都是轻负载,数据量不是选型的决定因素。真正的约束来自并发模型、调度能力和运维成本。
1.2 核心功能需求
| 需求 | 性质 | 隐含的技术约束 |
|---|---|---|
| 界面增删改查 | 多用户、持续性 | 需要行级并发控制,避免多人同时编辑时相互阻塞 |
| 邮件提醒租期到期 | 定时、外部集成 | 数据库负责识别到期记录,外部通道负责投递 |
| 从 Excel 一次性导入 | 一次性、批量 | 需要批量加载快速路径,而非逐行 INSERT |
| 长期低运维 | 持续性 | 备份、监控、升级成本必须可控 |
关键判断: "界面增删改查"不只是一人操作。运维团队通常有 2--5 人日常访问。这意味着数据库必须支持多个写事务对不相关记录的并行执行,而不是将全部写入串行化。
1.3 数据特征
字段包括主机 IP、架构、资源规格、所属团队、用途、使用人、租用期限。其中 lease_end(租用期限) 是唯一需要高频扫描的字段,支撑"即将到期"查询;host_ip 是天然的唯一标识,适合作为业务主键候选。其余字段以描述性文本为主,无复杂关联关系,单表即可承载,无需过度范式化。
二、方案选型
2.1 候选对比
| 维度 | SQLite | MySQL | PostgreSQL |
|---|---|---|---|
| 并发写入模型 | 单写入者/数据库文件,写事务串行化 | 行级锁(InnoDB) | 行级锁(MVCC) |
| 多用户界面 CRUD | 两人同时编辑时出现 SQLITE_BUSY 或排队 |
可用 | 可用,写写不阻塞(非冲突行) |
| 批量导入快速路径 | .import 命令 |
LOAD DATA INFILE |
COPY(公认最快的 CSV 加载路径) |
| 内嵌定时调度 | 无原生方案 | EVENT(需 event_scheduler=ON) |
pg_cron 扩展 |
| 运维复杂度(小规模) | 极低(单文件) | 中等 | 中等 |
| 后续扩展性 | 受限于单机单写入者 | 好 | 好,扩展路径清晰 |
2.2 排除 SQLite 的核心理由
SQLite 在 10 万条数据量下性能完全足够 ,甚至小数据量读操作可能更快。但它是一个嵌入式数据库,围绕文件级锁设计,限制为每个数据库文件同一时刻只有一个写入者 。当团队中两人几乎同时保存不同主机的修改时,后到的写事务必须等待前一个写事务释放数据库级锁。这不是性能问题(10 万条下等待时间极短),而是使用确定性问题:界面可能间歇性出现"保存失败"或卡顿,排障成本和学习成本反而超过了一台轻量 PostgreSQL 实例的运维成本。
SQLite 的适用边界: 单用户桌面工具,或读多写极少、写入可异步排队的嵌入式场景。你的场景是多人维护的运维资产台账,写入虽不频繁但必须可靠、即时生效,SQLite 的并发模型与之不匹配。
2.3 排除 MySQL 的理由
MySQL 在此场景下完全可用 ,LOAD DATA 和 EVENT 能满足基本需求。但与 PostgreSQL 相比有两个具体差距:
COPY的导入效率与简洁性 :PostgreSQL 的COPY是专为批量加载设计的单命令路径,10 万行 CSV 可在数秒内完成,且官方文档明确给出了"创建表 → COPY → 建索引"的最优顺序。MySQL 的LOAD DATA同样高效,但 PostgreSQL 在"先加载数据、后建索引"这一模式上的文档指导和生态一致性更强。- pg_cron 的调度模型更贴合"数据库只识别、不投递"的分工 :pg_cron 在数据库内按时执行 SQL,将到期记录写入通知表;外部脚本消费通知表并发送邮件。这一"数据库调度 + 外部投递"的模式在 PostgreSQL 生态中有成熟实践,职责边界清晰。MySQL 的
EVENT可以实现类似逻辑,但 pg_cron 的 cron 语法和作业可观测性(cron.job_run_details)更直接。
选型结论:PostgreSQL。 它是在"10 万条轻负载"与"多用户界面 + 内嵌调度"之间权衡后约束最少、职责最清晰的方案。MySQL 是合理的备选,但 PostgreSQL 在批量导入的工程确定性和调度组件生态上领先半个身位。
三、最终方案设计
3.1 总体架构
Excel ──(另存为 CSV)──▶ COPY ──▶ PostgreSQL (host_assets)
│
┌─────────────────┼─────────────────┐
│ │ │
界面 CRUD pg_cron 每日扫描 pg_dump 定期备份
(SQLPage/轻量Web) │
▼
lease_notifications
│
外部脚本 (系统 cron + psql)
│
▼
SMTP / 邮件投递
三条分离的职责线:
- 数据导入线 :Excel → CSV →
COPY,一次性完成。 - 日常操作线 :界面应用通过行级锁并发读写
host_assets。 - 提醒线 :pg_cron 只负责扫描并写入通知队列表 ,外部脚本负责发信与标记。数据库不接触 SMTP。
3.2 表结构
sql
CREATE TABLE host_assets (
id BIGSERIAL PRIMARY KEY,
host_ip INET NOT NULL UNIQUE, -- 原生 IP 类型,格式自动校验
architecture VARCHAR(32) NOT NULL,
spec VARCHAR(128),
team VARCHAR(64) NOT NULL,
purpose VARCHAR(128),
owner VARCHAR(64),
lease_end DATE NOT NULL,
created_at TIMESTAMPTZ DEFAULT now(),
updated_at TIMESTAMPTZ DEFAULT now()
);
索引策略按"先导入、后建索引"原则执行: 建表时不建二级索引;COPY 完成后,再创建 idx_host_assets_lease_end ON host_assets (lease_end)。在已有数据的表上一次性创建索引,比在逐行加载过程中增量维护 B-Tree 快得多。
通知队列表:
sql
CREATE TABLE lease_notifications (
id BIGSERIAL PRIMARY KEY,
host_id BIGINT REFERENCES host_assets(id),
owner VARCHAR(64),
lease_end DATE,
notified_at TIMESTAMPTZ,
created_at TIMESTAMPTZ DEFAULT now()
);
四、数据快速导入:关键操作步骤
步骤 1:Excel 端预处理
- 另存为"CSV UTF-8(逗号分隔)",避免默认 ANSI/GBK 编码导致中文乱码或首列 BOM 异常。
- 删除所有合并单元格。合并单元格在 CSV 中仅左上角有值,其余为空,会导致字段错位。
- 检查
host_ip列 :确保无空格、无重复、无非法格式。INET类型会在COPY时自动拦截格式错误,但提前清洗可避免导入中断。 - 检查
lease_end列 :统一为YYYY-MM-DD格式。Excel 日期序列值(如45678)直接导出不会被 PostgreSQL 识别为日期。
步骤 2:建表(不含二级索引)
执行 3.2 中的 CREATE TABLE host_assets,暂不创建任何二级索引。
步骤 3:COPY 导入
假设 CSV 列顺序为 host_ip, architecture, spec, team, purpose, owner, lease_end:
sql
COPY host_assets (host_ip, architecture, spec, team, purpose, owner, lease_end)
FROM '/path/to/host_assets.csv'
WITH (FORMAT csv, HEADER true, ENCODING 'UTF8');
COPY 是 PostgreSQL 为批量加载专设的快速路径,10 万行 CSV 通常在数秒内完成。与逐行 INSERT 相比,它避免了每行一次 SQL 解析、规划、事务开销和日志写入路径,在批量场景下差距可达数量级。
步骤 4:导入后建索引与统计
sql
CREATE INDEX idx_host_assets_lease_end ON host_assets (lease_end);
ANALYZE host_assets;
ANALYZE 让查询规划器获得准确的统计信息,确保后续到期查询走正确的执行路径。
步骤 5:安装 pg_cron 并创建扫描作业
sql
CREATE EXTENSION pg_cron;
每日扫描 7 天内到期的记录,写入通知队列:
sql
SELECT cron.schedule(
'lease-expiry-scan',
'0 9 * * *',
$$
INSERT INTO lease_notifications (host_id, owner, lease_end)
SELECT id, owner, lease_end
FROM host_assets
WHERE lease_end BETWEEN CURRENT_DATE AND CURRENT_DATE + INTERVAL '7 days'
AND owner IS NOT NULL
AND id NOT IN (
SELECT host_id FROM lease_notifications
WHERE created_at > CURRENT_DATE - INTERVAL '7 days'
);
$$
);
最后子查询防止同一主机在 7 天窗口内每日重复入队。pg_cron 的职责边界是调度 SQL 并记录意图,不承担邮件发送。
步骤 6:部署外部发信脚本
系统 cron 每小时运行一次脚本:
bash
psql -d assetdb -c "
SELECT id, owner, lease_end
FROM lease_notifications
WHERE notified_at IS NULL
ORDER BY created_at
LIMIT 100;
" | while read -r id owner lease_end; do
echo "主机租期即将到期:${lease_end}" | \
mail -s "租期提醒" "${owner}@company.com"
psql -d assetdb -c \
"UPDATE lease_notifications SET notified_at = now() WHERE id = ${id};"
done
脚本只做两件事:读取未发送的通知,投递后标记。将发信逻辑隔离在数据库之外,意味着 SMTP 凭据、邮件模板、退信处理都不侵入数据库,排障边界清晰。
步骤 7:部署 CRUD 界面
界面层与数据库层解耦。对于本场景的规模,低代码或 SQL 驱动的管理界面是最高效的选择:
- SQLPage:以纯 SQL 文件构建 Web 界面,支持 PostgreSQL,几分钟内即可从表生成列表、表单和增删改查页面,无需前端代码。
- Jam.py:事件驱动的低代码平台,支持 PostgreSQL,可直接生成具备增删改查能力的 Web 前端。
- 若团队已有开发能力,也可用 Flask/FastAPI + SQLAlchemy 快速搭建,但优先评估 SQLPage,它在这个场景下将"数据库即应用"的思路利用得最充分。
界面层通过连接池以应用角色连接 PostgreSQL,依赖行级锁实现多人并发编辑;host_ip 的 UNIQUE 约束在界面层捕获为友好错误提示。
五、架构决策的实质
用 PostgreSQL 的核心理由是"并发写入的确定性 + 调度与投递的清晰边界"。 10 万条数据不值得为数据库选型付出高昂运维代价,SQLite 在纯粹性能上完全胜任;但一旦引入"多人通过界面操作"和"定时触发外部动作",SQLite 的单写入者模型和缺失的内嵌调度就变成了需要额外绕行的结构性约束。PostgreSQL 用一台轻量实例的运维成本,换来了写并发无需焦虑、到期识别有原生调度器可用、批量导入有 COPY 这条确定性的快速路径。
导入方案的全部关键动作可以压缩为:另存 CSV → 建表不建索引 → COPY → 建索引 → ANALYZE。 这一顺序直接来自 PostgreSQL 官方对批量加载的建议,10 万条规模下导入耗时在秒级,不会成为工作流瓶颈。真正的工程价值不在于"导入快",而在于将批量维护的索引开销从逐行累积转为一次性构建,同时为后续界面 CRUD 和到期扫描保留干净的索引基础。