🚀 从零构建本地文档智能审查 Agent:Vibe Coding 实战指南

一、 实验背景与目标

随着本地文档数据的激增,如何快速提取核心信息并生成审查摘要成为痛点。本次实验摒弃了传统的"手写每一行代码"的模式,采用 Vibe Coding(氛围编程) 理念------即通过结构化 Prompt 引导 AI 编程助手,一步步完成架构设计、代码编写与本地调试。

最终目标:构建一个能够批量读取本地文档、进行中文分词与词频统计、生成可视化词云,并具备统计学分析与大模型审查能力的智能 Agent 原型。

二、 实验环境准备

  • 开发环境:Python 3.8+

  • 核心依赖:

    bash

    复制代码
    pip install jieba wordcloud matplotlib numpy pillow
  • 前提文件准备:

    • 待分析的纯文本文件夹(./sample_docs)
    • 自定义停用词表(stopwords.txt)
    • 自定义专业词典(user_dict.txt)
    • 词云蒙版背景图(background.png)

三、 Vibe Coding 核心实施步骤

在 Vibe Coding 过程中,最关键的是"不要一次性抛出所有需求"。我将开发过程拆解为三个阶段,通过逐步补充 Prompt 来"调教"AI。

阶段 1:定义边界,生成基础框架

首先,向 AI 明确输入、处理逻辑、输出要求以及约束条件(中文字体支持、异常处理等),让 AI 给出核心的 os + jieba + wordcloud 基础代码框架。

阶段 2:丰富细节,提高健壮性

在基础代码跑通后,我向 AI 提出了进一步要求:

"请引入 re 模块过滤特殊符号;将结果写入本地 CSV 文件;优化词云,引入 numpy 和 PIL 加载本地图片作为蒙版,并利用 colormap 增加颜色层次。"

阶段 3:进阶探索,注入 AI Agent 灵魂

为了让实验契合"Agent"主题,我要求 AI 增加统计学和 AI 大模型能力:

"请增加一个【蒙特卡洛模拟】模块,对核心 Top 10 关键词进行 1000 次随机抽样,计算 95% 置信区间。同时,将提取出的关键词拼接成结构化 Prompt,预留大模型 API 接口,以便生成结构化的审查报告。"


四、 运行效果展示(核心亮点)

通过不断迭代,最终程序在终端输出了极具专业度的分析报告。

1. 数据预处理与词频统计

程序成功读取了 3 个文件,加载了近 200 个停用词与自定义词典,并自动匹配了 Windows 系统的中文字体(msyh.ttc)。

从终端输出可以看出:

  • 数据清洗有效 :分词总数 470,过滤掉单字和停用词后,有效词数为 267,过滤词占比高达 43.2% ,说明文本清洗逻辑非常成功。
  • 可视化极其直观 :不仅列出了排名、频次和占比,还利用 ASCII 字符 # 打印出了柱状热力图,直观展示词语权重。"数据治理"、"数据资产"、"用户画像"位列前三,完全符合业务预期。

2. 引入蒙特卡洛模拟(统计赋能)

传统的词频统计只能看"表面",我的 Agent 引入了 1000 次重采样的蒙特卡洛模拟,对 Top 10 词语的稳定性进行了深度评估。

亮点解析:

  • 观测频次与置信区间:不仅给出了原始频次,还给出了 95% 置信区间(CI)。
  • 概率稳定性判断:通过计算"Top 10 概率",系统自动将词语划分为"较稳定"(如数据治理、数据资产)和"不稳定"(如供应链金融)。
  • 业务洞察 :系统自动总结出"数据治理、数据资产、用户画像"等为潜在核心词,为后续的文档审查提供了非常可靠的统计学上下文。

3. 成果持久化与 Agent 闭环

在报告的最后,程序不仅输出了分析结论,还自动将各类资产保存到了本地(如截图底部所示):

  • llm_prompt.txt:已生成给大模型使用的结构化提示词模板。
  • analysis_report.txt:完整的文本审查报告。
  • keyword_stats.csv:可供后续 Excel 或 BI 工具分析的词频数据。
  • wordcloud 图像:基于本地背景图片生成的定制词云。

五、 实验总结与踩坑反思

  1. Vibe Coding 的本质是"分治" :让 AI 写代码,绝不能当"甩手掌柜"。我们需要像产品经理一样,把庞大的需求拆解成一个个可执行、可验证的小模块(如:先搞分词,再搞图表,最后接大模型),一步步验证,这样产出的代码质量极高,Debug 也更容易。
  2. 中文 NLP 的细节 :实验初期,词云全变成了方块(乱码)。通过 Prompt 指导,我们显式指定了 font_path='C:/Windows/Fonts/msyh.ttc',并加入了专门的停用词表与自定义词典(如加入"数据治理"、"供应链金融"等专业词汇),才让分词结果变得精准且有业务价值。
  3. Agent 的雏形已现 :通过引入蒙特卡洛模拟,我们的工具已经具备了"自我验证"的能力(判断哪些词是真的高频,哪些是偶然出现);而通过生成结构化 Prompt 准备对接大模型,更是补齐了 Agent 的"大脑"闭环。下一步,只需引入 watchdog 监控文件夹,就能实现真正的"无人值守智能审查"。
相关推荐
摇滚侠40 分钟前
《On Java 中文版 基础卷》阅读笔记 接口 18
java·笔记·python
Thanks_ks1 小时前
AI Agent 开发入门:用 Function Calling 让大模型学会 “动手干活”,附订单查询机器人实战
python·ai·大模型·openai·agent·通义千问·mcp
专注仿真2 小时前
智能体训练之模仿学习:GAIL 算法详解与实战
python·算法·仿真·多智能体强化学习·afsim智能体训练
databook3 小时前
处理一批 PDF,怎么算真的处理完了
后端·python
承渊政道5 小时前
【Python编程快速上手—让繁琐工作自动化】(列表:把数据排成队,从下标取值到深拷贝)
开发语言·python·pycharm·自动化·列表
大胖爱学习_MJ5 小时前
Agent 如何安全地拿数据库密码?基于 HashiCorp Vault 的动态凭证下发
经验分享·python
tryCbest5 小时前
Python 爬虫从入门到实战(一):基础篇——从零写出第一个爬虫
开发语言·爬虫·python
无小道5 小时前
Python语句的特色
python·语句
2601_967980116 小时前
python pytest如何编写测试
python·测试用例·pytest·函数·assert