Re78 读论文:GPT-4 Technical Report

诸神缄默不语-个人CSDN博文目录
诸神缄默不语的论文阅读笔记和分类

论文全名:GPT-4 Technical Report

官方博客:GPT-4 | OpenAI

appendix懒得看了。

文章目录

  • [1. 模型训练过程心得](#1. 模型训练过程心得)
  • [2. scaling law](#2. scaling law)
  • [3. 实验结果](#3. 实验结果)

1. 模型训练过程心得

模型结构还是Transformers,训练目标还是语言模型(预测下一个token),我写过GPT-1/2/3的博文了直接看之前的博文吧。

增加了后训练对齐过程/用Reinforcement Learning from Human Feedback (RLHF)微调,提升模型回答的真实性,使其更符合人类偏好。

训练过程验证了scaling law,也就是有效的架构和优化方案在小模型上跑过之后,它们在大尺度模型上的效果提升是可预期的,这样只需在小模型上验证方案,就可以在大模型上放心去做了。

GPT-4仍然具有如下缺点(这也是现在很多大模型工作在致力于干掉的):幻觉,上下文长度限制,训练后就无法更新知识(does not learn from experience),偏见

GPT-4模型可以根据用户偏好实现一定程度的定制化。

针对风险的解决方案:

  1. safety-relevant RLHF training prompts
  2. rule-based reward models (RBRMs):若干GPT-4零样本分类器,输入是prompt、模型回复和人工评估的标准,输出是这个问答对是否安全

更多安全问题可以看System Card。

2. scaling law

  1. 损失函数与计算量遵循幂函数,高度可预测
  2. 指标也是
  3. 但也有例外:

3. 实验结果

对于数据污染情况,又做了一个把测试集中泄露数据去掉的新数据集,报告两个测试集上比较差的结果。

考试:

标准LM benchmark:

在用户偏好方面,相比GPT-3.5,人工标注者对GPT-4的回答打分更高。

GPT-4的跨语言能力:

多模态示例:

遵从事实的能力得到了提升:

上图任务所用的数据示例:

后训练(PPO)影响calibration(评估模型对可能性高的答案给出更高的置信度的能力):

减少风险

找了专家来进行对抗式提问

示例:

改进误杀的示例:

安全性提升效果:

相关推荐
catchadmin2 小时前
PHP 快速集成 ChatGPT 用 AI 让你的应用更聪明
人工智能·后端·chatgpt·php
mCell7 小时前
长期以来我对 LLM 的误解
深度学习·llm·ollama
扫地的小何尚9 小时前
深度解析 CUDA-QX 0.4 加速 QEC 与求解器库
人工智能·语言模型·llm·gpu·量子计算·nvidia·cuda
大模型教程14 小时前
如何在你的业务中选择RAG和Fine tuning?
程序员·llm·agent
AI大模型14 小时前
前端学 AI 不用愁!手把手教你用 LangGraph 实现 ReAct 智能体(附完整流程 + 代码)
前端·llm·agent
大模型教程14 小时前
LangGraph实战教程(1)- 从零开始认识LangGraph
langchain·llm·agent
桂花饼16 小时前
性能怪兽:GPT-5-Codex三大核心进化,重新定义AI编程
人工智能·chatgpt·aigc·gpt-5·gemini-2.5·grok4·it/互联网
聚客AI17 小时前
🍇Embedding模型怎么选?一文解决RAG应用中最头疼的难题
人工智能·llm·agent
JIngJaneIL17 小时前
记账本|基于SSM的家庭记账本小程序设计与实现(源码+数据库+文档)
java·数据库·vue.js·spring boot·论文·毕设·家庭记账本小程序
AI大模型17 小时前
干货分享 | 如何使用Cherry Studio快速上手AI学习实践
程序员·llm·agent