GPT实战系列-探究GPT等LLM文本生成
GPT专栏文章：
GPT实战系列-Baichuan2等大模型的计算精度与量化-CSDN博客
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF-CSDN博客
GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案
LLM文字创作与人类有什么不同？
- 人类是如何进行文字创作的？一个有趣的例子就是：写文章。大致有思考兴趣点，构思，篇章与逻辑整理，落笔，修改等过程。过程中一步接一步思考，甚至借用外部工具，搜索资料，计算，验证等过程。回答问题，说话之前往往也会再三思考。
- LLM语言模型生成文本的方式，依据上下文条件，逐步生成下一个 token，每个 token 计算时间一样，不确定生成的正确性。缺乏前后思考。
思考链（Chain of thought，CoT）
- 需要推理的任务可以使用 CoT，构造一种思考范式，指明文本生成方向，划分槽位，transformer 需要更多上下文来思考。以 few-shot prompt 为例，让模型以 step-by-step 方式生成。目前也有 zero-shot-CoT，最经典的方式就是使用 Let's think step by step 作为提示词。
一致性（self-consistency）
- 一致性，有时候生成也会掉到坑里，出不来。比如 transformer 在采样到一个不好的 token 后就很难恢复。
反省（Ask for reflection）
- 通过灵魂拷问，问 "你完成任务了吗？" 这个问题，让 ChatGPT 对不好的问题进行反思并生成更好的回复。
思考系统2
- 在《快思考，慢思考》中提到有快思考系统和慢思考系统，Tree of Thoughts（思考树）：建议为给定的 prompt 生成多个思路，然后对它们进行评分，并保留好的思路。
扩展LLM能力
代理Chains/Agents
- React：将任务分解成一系列思考、行动、观察、思考、行动、观察的过程，通过思考来进行问题回复，过程中允许调用外部工具完成任务，比如 google 搜索 API。
使用工具 ( Plugins)
- 为 ChatGPT，等LLM大模型提供计算器、代码解释器、搜索等工具，协助做 LLM 不擅长的任务。需要调用外部工具的地方需要人为标注出来。
基于检索增强 LLM 能力
- 获取相关文档，将文档分为块，提取得到数据的 embedding 向量，存储到向量库中。
- 在测试时，查询向量存储，获取与相关的文档，获得搜索结果。
约束提示（Constrained prompting）
- 在 LLM 的输出中强制使用特定格式生成的技术。比如，让 LLM 填写一个 json 模板中的内容，其中 json 的 key 是写死的，LLM 负责填补一些空白的 key，这些 key 可以提前进行一些约束，让 LLM 的采样空间受到限制，即能让 LLM 的输出符合预设定的格式。
点个赞 点个赞 点个赞
觉得有用 收藏 收藏 收藏
End
GPT专栏文章：
GPT实战系列-Baichuan2等大模型的计算精度与量化-CSDN博客
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF-CSDN博客
GPT实战系列-GPT训练的Pretraining，SFT，Reward Modeling，RLHF
GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(二)
GPT实战系列-P-Tuning本地化训练ChatGLM2等LLM模型，到底做了什么？(一)
GPT实战系列-ChatGLM3本地部署CUDA11+1080Ti+显卡24G实战方案
GPT实战系列-ChatGLM2部署Ubuntu+Cuda11+显存24G实战方案
决策引擎专栏：
Falcon构建轻量级的REST API服务