论文笔记--Llama3 report

论文笔记--Llama3 report

  • [1. 文章简介](#1. 文章简介)
  • [2. 性能升级](#2. 性能升级)
  • [3. 模型升级](#3. 模型升级)
    • [3.1 模型架构升级](#3.1 模型架构升级)
    • [3.2 数据升级](#3.2 数据升级)
    • [3.3 指令微调](#3.3 指令微调)
  • [4. 原文传送门](#4. 原文传送门)
  • [6. References](#6. References)

1. 文章简介

  • 标题:Llama3 Report
  • 作者:Meta
  • 日期:2024.04

2. 性能升级

Llama3系列本次开源了8B和70B模型,在多个benchmarks上取得了SOTA表现。具体评估细节可以参见github

本次验证增加了高质量的人工评估集,涵盖12种场景(寻求建议、头脑风暴、分类、闭源QA、编码、创意写作、信息抽取、角色扮演、开放QA、推理、重写、摘要)共计1800个prompts。Llama3在这些prompts上表现超过GPT-3.5等模型:

3. 模型升级

3.1 模型架构升级

相比于Llama2[1],Llama3在模型架构上没有明显改变,仍采用transformer的decoder架构,模型架构升级如下

  • 词表大小由32K升级为128K
  • 采用GQA编码(Llama2也采用了GQA)
  • 上下文长度从4K增加为8k(8192)个tokens,并使用mask保证self-attention不跨文章

3.2 数据升级

相比于Llama2,Llama3的数据也进行了升级,主要升级如下

  • 总tokens数从2T增加到15T
  • 包含更多的代码
  • 包含超过5%的非英文语料
      为了保障数据质量,Llama3构建了数据清洗pipelines,包含启发式规则,NSFW(不安全内容过滤)、语义去重。此外,Meta基于Llama2的高质量内容生成能力,通过Llama2生成数据来训练文本质量分类器。

3.3 指令微调

Llama3采用了SFT、PPO、DPO组合的方式进行后训练(Post-training),Meta精心筛选了prompts的质量,从而大幅提高了模型表现。Meta发现模型有时候知道如何产生正确答案但不知道如何选择它,而通过PPO和DPO可提高模型的选择能力,从而提高在推理和编码任务上的表现。

4. 原文传送门

Meta Llama3 report
Meta Llama3 Model

6. References

1\] [论文笔记--Llama 2: Open Foundation and Fine-Tuned Chat Models](https://blog.csdn.net/weixin_38124427/article/details/132250348?spm=1001.2014.3001.5501)

相关推荐
张较瘦_4 分钟前
[论文阅读] 人工智能 + 软件工程 | 需求获取访谈中LLM生成跟进问题研究:来龙去脉与创新突破
论文阅读·人工智能
一 铭1 小时前
AI领域新趋势:从提示(Prompt)工程到上下文(Context)工程
人工智能·语言模型·大模型·llm·prompt
说私域6 小时前
基于开源AI智能名片链动2+1模式S2B2C商城小程序的超级文化符号构建路径研究
人工智能·小程序·开源
猫头虎8 小时前
猫头虎 AI工具分享:一个网页抓取、结构化数据提取、网页爬取、浏览器自动化操作工具:Hyperbrowser MCP
运维·人工智能·gpt·开源·自动化·文心一言·ai编程
特立独行的猫a8 小时前
百度AI文心大模型4.5系列开源模型评测,从安装部署到应用体验
人工智能·百度·开源·文心一言·文心一言4.5
静心问道9 小时前
self-consistency:自洽性提升语言模型中的链式思维推理能力
人工智能·语言模型·大模型
北京地铁1号线10 小时前
GPT-2论文阅读:Language Models are Unsupervised Multitask Learners
论文阅读·gpt·语言模型
大咖分享课11 小时前
开源模型与商用模型协同开发机制设计
人工智能·开源·ai模型
tinker11 小时前
使用 Syncthing 2.0 搭建私有同步服务器
开源
断剑重铸之日11 小时前
Android开发:GoogleMap电子围栏与联想地址搜索
开源