蝴蝶书--ChatGPT基础科普

temperature的参数调整输出的概率分布,这个参数值越大,分布就看起来越平滑,也就是高概率和低概率的差距拉小了(对输出不那么确定)

Top-P在累计概率超过P的词里进行选择,对于概率分布比较均匀的情况,可选的词就会多一些(可能要几十个词的概率和才会超过P)

Few-Shot的边际收益在递减。大概8-Shot以下时,Prompt作用明显,但从One-Shot到8-Shot,Prompt的作用也在递减。超过10-Shot时,Prompt基本没作用了

不确定Few-Shot是不是在推理时学习到新的任务,还是识别出来了在训练时学到的任务。最终,甚至不清楚人类从零开始学习与从之前的样本中学习分别学到什么。准确理解Few-Shot的工作原理是一个未来的方向

RLHF:用强化学习的算法微调一个根据人类反馈改进的语言模型。重要的是,它调出了效果------1.3B的InstructGPT堪比175B的GPT-3

InstructGPT用了三个大的通用指标:有帮助、真实性和无害性,也就是说,我不管你是什么任务,你都得朝着这三个方向靠

相关推荐
guanshiyishi2 小时前
ABeam 德硕 | 中国汽车市场(2)——新能源车的崛起与中国汽车市场机遇与挑战
人工智能
极客天成ScaleFlash3 小时前
极客天成NVFile:无缓存直击存储性能天花板,重新定义AI时代并行存储新范式
人工智能·缓存
Uzuki3 小时前
AI可解释性 II | Saliency Maps-based 归因方法(Attribution)论文导读(持续更新)
深度学习·机器学习·可解释性
澳鹏Appen4 小时前
AI安全:构建负责任且可靠的系统
人工智能·安全
蹦蹦跳跳真可爱5894 小时前
Python----机器学习(KNN:使用数学方法实现KNN)
人工智能·python·机器学习
视界宝藏库5 小时前
多元 AI 配音软件,打造独特音频体验
人工智能
xinxiyinhe5 小时前
GitHub上英语学习工具的精选分类汇总
人工智能·deepseek·学习英语精选
ZStack开发者社区6 小时前
全球化2.0 | ZStack举办香港Partner Day,推动AIOS智塔+DeepSeek海外实践
人工智能·云计算
未来智慧谷6 小时前
DeepSeek大模型在政务服务领域的应用
大模型·政务·deepseek
Spcarrydoinb7 小时前
基于yolo11的BGA图像目标检测
人工智能·目标检测·计算机视觉