**摘要:**本教程系统讲解自然语言处理(NLP)从入门到真正理解的全过程,覆盖概念、原理、数学、实践与工程边界。全书共20章、4个实验和4组附录,面向零基础与希望系统补课的开发者。教程以"园区服务助手"为贯穿案例,帮助读者理解文本系统为什么有效、为什么失败,并掌握从需求改写、模型选择到数据泄漏与幻觉识别等关键能力,最终能够独立完成可验证的小项目。
人工智能学习系列
自然语言处理
NLP
从入门到真正理解
概念 · 原理 · 数学 · 实践 · 工程边界
20章系统讲解 / 4个实验 / 4组附录
面向零基础与希望系统补课的开发者
中文详解版
目录与阅读导航
[第1章 NLP究竟是什么](#第1章 NLP究竟是什么)
[第2章 人类语言为什么难处理](#第2章 人类语言为什么难处理)
[第3章 从字符到Token:机器的输入长什么样](#第3章 从字符到Token:机器的输入长什么样)
[第4章 NLP任务地图:先定义输出再挑模型](#第4章 NLP任务地图:先定义输出再挑模型)
[第5章 数据:大多数项目真正的地基](#第5章 数据:大多数项目真正的地基)
[第6章 必要的数学:用直觉理解公式](#第6章 必要的数学:用直觉理解公式)
[第7章 传统NLP:为什么简单方法仍然重要](#第7章 传统NLP:为什么简单方法仍然重要)
[第8章 词向量与神经网络:从手工特征到学习表示](#第8章 词向量与神经网络:从手工特征到学习表示)
[第9章 Transformer:拆开看就没有那么神秘](#第9章 Transformer:拆开看就没有那么神秘)
[第10章 预训练模型与大语言模型怎样学会语言](#第10章 预训练模型与大语言模型怎样学会语言)
[第11章 从概率到回答:推理与提示词](#第11章 从概率到回答:推理与提示词)
[第12章 RAG:让模型基于自己的资料回答](#第12章 RAG:让模型基于自己的资料回答)
[第13章 微调:什么时候值得改变模型参数](#第13章 微调:什么时候值得改变模型参数)
[第14章 评价:怎样知道系统真的有用](#第14章 评价:怎样知道系统真的有用)
[第15章 工程与框架:把模型放进真实系统](#第15章 工程与框架:把模型放进真实系统)
[第16章 安全与可靠性:能回答不等于能放心用](#第16章 安全与可靠性:能回答不等于能放心用)
[第17章 实验:从零完成四个小任务](#第17章 实验:从零完成四个小任务)
[第18章 综合项目:设计一个可验收的园区助手](#第18章 综合项目:设计一个可验收的园区助手)
[第19章 常见误区与排查顺序](#第19章 常见误区与排查顺序)
[第20章 学习路线:从会说术语到能独立做项目](#第20章 学习路线:从会说术语到能独立做项目)
[附录A 进阶推导:把一轮模型计算串起来](#附录A 进阶推导:把一轮模型计算串起来)
[附录B 核心术语速查](#附录B 核心术语速查)
[附录C 自测题与参考答案](#附录C 自测题与参考答案)
[附录D 参考资料与继续阅读](#附录D 参考资料与继续阅读)
阅读指南:这本教程要带你走到哪里
自然语言处理(Natural Language Processing,NLP)研究如何让计算机处理人类语言。这里的"处理"不仅是聊天,还包括查找信息、识别实体、判断意图、翻译、摘要、抽取字段,以及在证据约束下生成回答。读完本教程,你应该能够解释一个文本系统为什么有效、为什么失败,并知道如何做一个可以验证的小项目。
本书面向没有机器学习背景、但愿意逐步理解技术的读者。数学从概率、向量和加权平均开始;代码使用 Python。不会编程也可以先阅读概念、例子和误区,再回头完成实验。本文不是任何模型厂商的使用说明,也不承诺读完即可独立训练大模型。
建议分三遍阅读。第一遍读第1---4章、第9---12章,建立全局认识;第二遍读第5---8章、第13---16章,理解原理与工程;第三遍完成第17---20章以及自测题,把"听懂"变成"能够独立解释和验证"。涉及库、接口和模型的内容以实际安装版本为准,参考资料核对日期为2026年8月31日。
贯穿案例是一套"园区服务助手":它需要把住户留言分到报修、缴费咨询、投诉或其他类别,从留言中提取地点和时间,检索管理制度,然后给出带依据的回复。所有人物、留言、数值和实验数据均为教学示例,不代表真实业务结果。
学习目标:你能把一个需求改写为明确的输入和输出;能区分规则、统计学习、深度学习和大模型;能手算简单的向量相似度和评价指标;能解释 Transformer 的主要组件;能识别数据泄漏、幻觉和提示注入;能为一个实际需求选择不过度复杂的实现方式。
本书采用文字、对照表、公式和代码解释关键关系。代码用于教学,不能直接视为经过生产验证的系统。练习中的小样本结果只能说明程序流程,不足以证明模型有实际业务能力。