论文解读之Chain-of-Thought Prompting Elicits Reasoning in Large Language Models(CoT)

最近以及本篇博客将记录博主最近接触的提升LLM的较新方法,总结其核心以备面试及其他场景回顾时所需。

一、简介

CoT的核心在于在prompt中使得模型将较大的问题输入拆解逐步的思维链的输出方案,属于prompt中的技巧,可以提升LLM在复杂问题上的表现,并且能够增强其可解释性(指的是在输出错误时追溯哪一步解答方案出错)。

二、实例

在模型的prompt中给出一定的思维链方式问题答案对(few shot)可以提升语言模型在一定问题上的表现。

思维链的提示词带有以下性质,因此,可以改善LLM的性能:

1.使得模型将问题拆解多个中间步骤进行解答,意味着额外的算力能够被分配给需要更多推理步骤的问题上

2.对模型解答问题的步骤提供了可解释的窗口(指的是在模型给出的多步解答输出观察中观察模型的解答过程或出错所在的具体的步骤)

3.可被用于数学、常识推理等问题,有机会在任何人类语言可解决的问题上可用

4.可在众多LLM的prompt中简单应用

三、效果

在模型较大时提升明显

四、局限性

1.尽管思维链可以使得LLM模仿人类推理者,无法使得模型回答其真正在推理什么

2.人类构造fewshot中给的思维链例子花费很大,此问题可以用合成数据或者零次泛化来得到部分解决

3.没有对推理路径的正确性的有效保证

4.只在较大参数的模型中提升明显

相关推荐
数字护盾(和中)42 分钟前
数字资产安全运营平台 IDS 底层感知筑牢防护防线
人工智能
AI自动化工坊1 小时前
GitHub CLI统一AI编码技能管理:技术规范与工程实践指南
人工智能·github·agent·cli
rabbit_pro1 小时前
Mac OS/M1 Pro 搭建Yolo V5环境
人工智能·yolo
科技牛牛1 小时前
AI爬虫vs网站封禁:IP封锁大战升级
人工智能·爬虫·ip
AI进阶客栈1 小时前
AI 幻觉与 RAG 技术详解:原理 + Spring Boot + pgvector 实战教程
人工智能·spring boot·后端
tkokof11 小时前
捉虫(Bug)小记
人工智能·深度学习·bug·游戏开发
聊点儿技术1 小时前
IP欺诈风险查询+动态信用分模型:如何作为特征融入用户信用分
大数据·人工智能·ip·用户运营·ip风险·ip风险画像·欺诈风险查询
AI即插即用1 小时前
即插即用系列 | SCTNet: 协同CNN与Transformer,池化注意力融合的高光谱图像分类网络
人工智能·深度学习·计算机视觉·分类·cnn·transformer
好好学仿真1 小时前
用AI预测MOF材料吸氮能力:XGBoost力压神经网络,R²高达0.9984
人工智能·机器学习·xgboost·材料科学·mofs·吸附
小超同学你好1 小时前
OpenClaw 深度解析与源代码导读 · 第5篇:Brain——Prompt/Context/Harness Engineering 与执行框架
人工智能·深度学习·语言模型·prompt