- LLM 智能理解:从非技术视角看,LLM 的智能基于 next TOKEN prediction,即根据上下文猜下一个文字,Transformer 逻辑类似完形填空只填最后一个字。当前 LLM 像刷题家,见过大量数据但未建立逻辑体系,而人类学习更具泛化能力。
- 写 Prompt 原则:写 Prompt 的本质是让 LLM 好猜答案,需构建合适环境,可拆解为 7 个子原则,包括说明任务环境、减少特殊黑话、确保规则独立、减少无意义和重复 context、按逻辑顺序排列、聚合相关内容等。
- Context 工程内容:Context 工程主要做四件事,即帮模型减少冗余上下文、找到重要上下文、定义上下文结构、排序上下文,核心是让模型更好地完成完形填空。
- 判断是否上工程:不是模型做不好就立刻上工程,应先检查 Prompt 是否符合原则;关键场景追求成功率时应直接上工程;其他情况可商量,要习惯模型的概率性风险,实验是检验 LLM 的唯一真理

promote优化原则

