大模型项目实战：多领域智能应用开发

大语言模型（Large Language Model，LLM）是自然语言处理 （Natural Language Processing，NLP）中的一个重要分支，它 基于深度学习，采用海量文本数据和大量算力进行训练。训练
后的模型能够理解和生成人类语言文本，执行与语言文本相关 的任务，包括文本生成、代码补全、文章总结、翻译和情感分析等。
经过多年的发展，NLP技术在与人类语言相关的领域有着较为 广泛的应用，如自动翻译、智能语音客服、文稿校对、语音助 手等。这些应用场景通常涉及相对专业的需求。然而，随着 ChatGPT的流行，大语言模型开始从专业领域走进大众的生 活。以聊天（Chat）方式回答人们提出的问题，这种交互方式 在日常生活中司空见惯，但出现在人工智能领域却非常新颖。
这种趋势促使ChatGPT及类似产品迅速得到普及和应用，其背 后的原理、训练过程等也逐步引起人们的关注。 大语言模型的应用非常广泛。例如，在辅助编程中，大语言模 型能够根据上下文提示补全代码或编写整个函数；在智能语音 客服中，大语言模型可以基于自然语言对用户提出的问题进行 理解，并给出相应的答案；在教育领域，大语言模型可以帮助 学生更好地理解和掌握知识，提高学习效率；在翻译领域，大 语言模型能够准确地理解语言的语境、含义和结构，使翻译更 加准确；大语言模型可以与语音、图像、视频等融合，形成多 模态应用，如智能语音机器人、数字人等；大语言模型还可以 与开发活动进行整合，产生如人工智能代理（AI Agent）等创 新应用。

本篇分为3章，讲解大语言模型的基础知识、应用架构、 应用工作模式。
❍ 第1章介绍大语言模型的发展历程、基本原理、应用开发技术和常用训练方法，重点讲解了Transformer架构和自 注意力机制。
❍ 第2章介绍大语言模型应用涉及的软硬件在整体架构中 的作用，为后续部署和开发奠定基础。
❍ 第3章介绍应用开发中服务端的工作模式和流程，前端 与后端的交互方法，以及客户端开发常用的技术。

本篇分为5章，主要讲解大模型的实操环节，包括应用环 境的搭建，多种大模型的部署、微调与量化，囊括了大模 型的常用操作。
❍ 第4章详细介绍大语言模型依赖的服务器、操作系统的 配置要求以及推理卡的安装过程，以及在硬件条件具备的 情况下，如何在多种操作系统上安装推理卡驱动、 CUDA、Anaconda、PyTorch、Nginx以及Git等组件。❍ 第5章详细描述ChatGLM、Qwen、LLaMA2、Gemma、 Whisper等模型的部署过程。虽然这些模型都使用Transformers库进行操作，但有一些区别。在介绍过程中 尽量采用简短的Python程序验证安装是否成功，以让读者 尽早进入开发状态。
❍ 第6章讲解如何进行大语言模型微调。相对于部署，微 调的操作步骤较多，涉及语料整理、模型微调、模型合并 等具体操作，还涉及P-Tuning、LoRA等微调方案的选择和 微调参数的设定。
❍ 第7章讲解在缺少GPU的低算力条件下，即在Windows 与CPU算力下，如何部署大语言模型推理应用，涉及 llama.cpp和gemma.cpp两种量化方案。
❍ 第8章介绍图像模型Stable Diffusion的安装与使用。读者 可以了解如何实现文生图、图生图的多模态应用，为数字 人应用的开发储备图像模型技术基础。

本篇中每章都阐述了样例的设计目标，详细介绍了应用的 运行原理，给出了源代码、运行方法、运行结果，内容完 整。各章自成体系，章与章之间无严格的阅读顺序。
❍ 第9章开发一个仿ChatGPT的应用，应用React.js开发技 术、ChatUI组件以及大语言模型的接口调用服务，开发一 个通用的Chat客户端，连接OpenAI兼容接口，调用各种大 模型服务。
❍ 第10章开发一个辅助编程的大模型应用，安装编程专用大语言模型Stabilityai/stable-code-3b，开发API服务程序， 供客户端调用，适用于输入提示、代码补全等编程场景。
❍ 第11章针对第10章的编程场景和API开发VS Code插 件，详细说明插件的开发方法和发布步骤。第11章与第10 章的知识组合到一起，就可以实现一个较完整的编程辅助 工具。
❍ 第12章开发一个检索增强生成应用，采用LangChain组 件进行应用开发，将大语言模型与基于向量的知识库进行 整合，充分利用大模型的总结能力和知识库的精确命中能力，缓解大模型的幻觉问题。
❍ 第13章介绍基于大语言模型的PDF文件翻译应用的开发 方法。先将PDF转换成HTML文件，然后用英译汉专用模 型Helsinki-NLP/opus-mt-en-zh或定制大语言模型提示词， 获得翻译任务的解决方案。
❍ 第14章将Microsoft AutoGen开发框架与国产大模型相结 合，实践AutoGen在AI Agent领域的应用，涉及Docker环 境的安装、最简运行环境测试以及多轮会话应用的开发。
❍ 第15章介绍国产大语言模型Qwen-Audio-Chat的安装与 应用，以开发一个支持语音交互的应用实例。读者实践后 能够掌握语音类大语言模型的安装过程、原理、应用开发方法。
❍ 第16章整合SadTalker和coqui-ai-TTS技术，开发一个数字人工具，实践文本生成音频、音频驱动图像生成视频的全过程。
❍ 第17章开发一个提示词生成应用，过程中需要使用GPT-2技术训练一个全新的预训练模型，开发一套完整的语料处理、词汇表生成、分词标记处理、训练、推理和接口程序。读者可以借此掌握GPT类模型的训练原理和过程。
❍ 第18章开发一个AI小镇，使用React.js和Phaser3开发一个简单的RPG风格的应用，与大语言模型相结合，以小镇为场景，实现多个角色之间的随机移动和多轮对话。