如何用清华 ChatGLM 微调一个私域大模型

曹政,曹大是我们圈子里公认的大佬。他在技术上不仅早早领先,在思维认知领域更是帮助很多小伙伴快速成长。

没有 ChatGPT 之前,我一直在想,能否将曹大的思维,直接植入过来,就跟无崖子传输功力,头碰头就行。当然我多想了 !!

ChatGPT 出来后,快速获取通识变得异常高效。但解决问题的思考模型,还是缺少系统性的植入。直到 LLaMa, ChatGLM 开源后,我才发觉,奇点真的可能到了,微调就能达到制作私域内容数字分身的效果。

于是,周末我趁着大块时间,一鼓作气,把微调这个事儿,给办了。用的微调语料当然是曹大的 500+ 篇公众号文章。

以下是我的制作步骤:

  1. 下载清华 ChatGLM 2 6B 的大模型

  2. 下载 github 清华微调套件

  3. 利用 ChatGPT 3.5 制作微调语料

  4. 开始训练 GLM 大模型,得到 checkpoint

下面看看效果:

更详细的测评,我上传到了视频号:

微调前

微调后

对于技术感兴趣的同学,我分享个用 ChatGPT 3.5 打标注,组训练数据集的技巧吧。除了人工标注数据外,GPT 在这方面非常有优势。

下面是我用到的 Prompt:

上面微调前后对比图中,用到的微调语料数据集,就是这段 Prompt 生成的。如果用 GPT 4 的话,效果更好,但费用也更高。

下面带个货,Prompt 如此重要的技能,无论工资涨没涨,买书学技能的银子大家肯定舍得花的,不用 79,一半就成,哈哈哈哈哈:

​

相关推荐
死磕音视频10 小时前
Businesses in ChatGPT 入门:在 Business Hub 认领商家并完成验证
chatgpt·入门教程·business hub·商家资料
泯泷11 小时前
OpenClaw 退潮背后,是 AI 圈“技术自嗨”的终结
人工智能·chatgpt·llm
泯泷13 小时前
当"孤独的开发者"成为常态,AI正在悄悄杀死那个我们熟悉的互联网
人工智能·chatgpt·llm
一缕82年的清风3 天前
告别手动搬砖!我是如何搭出一套“AI 全自动自媒体运营系统”,每天 10 分钟铺满 7 大平台的?
chatgpt·claude·gemini
可乐ea5 天前
智能体的模型列表为什么要从三处来源合成:一次让 GPT-6.1 Sol 选不上的发布延迟
人工智能·gpt·chatgpt·智能体框架·模型列表·多源数据合成·客户端工程
dozenyaoyida7 天前
AI与大模型新闻日报 | 2026-11-11
人工智能·chatgpt·大模型·新闻
一缕82年的清风7 天前
Claude Code 跑 DeepSeek 还带自动切号?开源 Magpie 彻底把大厂的协议护城河给拆了!
chatgpt·claude·gemini
Spidermanbaout9 天前
Prompt-Engineering实战-2026年11月2日
人工智能·机器学习·ai·chatgpt·ai编程
ServBay10 天前
OpenAI大规模封号?ChatGPT 用户该如何应对
chatgpt·openai·ai编程
长不大的杨瑞杰10 天前
ChatGPT 广告技术栈架构拆解:多轮意图、LLM 工具编排、ANN 召回与拍卖闭环
人工智能·chatgpt·系统架构·推荐系统·广告