Re78 读论文:GPT-4 Technical Report

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名:GPT-4 Technical Report

官方博客:GPT-4 | OpenAI

appendix懒得看了。

文章目录

  • [1. 模型训练过程心得](#1. 模型训练过程心得)
  • [2. scaling law](#2. scaling law)
  • [3. 实验结果](#3. 实验结果)

1. 模型训练过程心得

模型结构还是Transformers,训练目标还是语言模型(预测下一个token),我写过GPT-1/2/3的博文了直接看之前的博文吧。

增加了后训练对齐过程/用Reinforcement Learning from Human Feedback (RLHF)微调,提升模型回答的真实性,使其更符合人类偏好。

训练过程验证了scaling law,也就是有效的架构和优化方案在小模型上跑过之后,它们在大尺度模型上的效果提升是可预期的,这样只需在小模型上验证方案,就可以在大模型上放心去做了。

GPT-4仍然具有如下缺点(这也是现在很多大模型工作在致力于干掉的):幻觉,上下文长度限制,训练后就无法更新知识(does not learn from experience),偏见

GPT-4模型可以根据用户偏好实现一定程度的定制化。

针对风险的解决方案:

  1. safety-relevant RLHF training prompts
  2. rule-based reward models (RBRMs):若干GPT-4零样本分类器,输入是prompt、模型回复和人工评估的标准,输出是这个问答对是否安全

更多安全问题可以看System Card。

2. scaling law

  1. 损失函数与计算量遵循幂函数,高度可预测
  2. 指标也是
  3. 但也有例外:

3. 实验结果

对于数据污染情况,又做了一个把测试集中泄露数据去掉的新数据集,报告两个测试集上比较差的结果。

考试:

标准LM benchmark:

在用户偏好方面,相比GPT-3.5,人工标注者对GPT-4的回答打分更高。

GPT-4的跨语言能力:

多模态示例:

遵从事实的能力得到了提升:

上图任务所用的数据示例:

后训练(PPO)影响calibration(评估模型对可能性高的答案给出更高的置信度的能力):

减少风险

找了专家来进行对抗式提问

示例:

改进误杀的示例:

安全性提升效果:

相关推荐
CodeCraft Studio6 小时前
Aspose.Words for .NET 25.7:支持自建大语言模型(LLM),实现更安全灵活的AI文档处理功能
人工智能·ai·语言模型·llm·.net·智能文档处理·aspose.word
ZHOU_WUYI7 小时前
FastVLM-0.5B 模型解析
人工智能·llm
Wilber的技术分享8 小时前
【大模型实战笔记 1】Prompt-Tuning方法
人工智能·笔记·机器学习·大模型·llm·prompt
陈敬雷-充电了么-CEO兼CTO9 小时前
具身智能多模态感知与场景理解:融合语言模型的多模态大模型
人工智能·python·gpt·语言模型·自然语言处理·chatgpt·多模态
蛋先生DX13 小时前
零压力了解 LoRA 微调原理
人工智能·llm
ZHOU_WUYI14 小时前
门控MLP(Qwen3MLP)与稀疏混合专家(Qwen3MoeSparseMoeBlock)模块解析
人工智能·llm
一杯敬朝阳 一杯敬月光19 小时前
记录下chatgpt的openai 开发过程
python·chatgpt·flask
小杨互联网19 小时前
如何确保 ChatGPT 不会让你变“傻”?——四个防止认知萎缩的习惯
人工智能·chatgpt
AMiner:AI科研助手19 小时前
警惕!你和ChatGPT的对话,可能正在制造分布式妄想
人工智能·分布式·算法·chatgpt·deepseek
boonya20 小时前
国内外开源大模型 LLM整理
开源·大模型·llm·大语言模型