关于Llama 3 AI大模型的几点总结

Meta最近终于发布了Llama3大模型,OpenAI和CloseAI又要"开战了",以下是关于Llama3的几点总结:

1、发布时间

Llama3的发布时间是北京时间4月19号0点37分,这主要是依据 Meta的首席AI科学家 Yann LeCun 发布Twitter帖文的时间。

2、发布型号

目前Llama3发布了两款模型,分别是 Meta-Llama-3-8BMeta-Llama-3-70B

3、Llama3 VS Llama2

  • 4倍的词汇量(Llama3是128k,Llama2是32k)
  • 使用 15T token训练,是 Llama2 的7倍
  • 2倍的上下文,Llama3是8k,Llama2是4k(个人认为还是太小了,不过据说后续会发布更大的)
  • 两个模型都具备分组查询注意力(GQA) ,Llama2只有70B这个模型具备
  • 整体性能优于Llama2

4、性能测试

Llama3 在MMLU(学科知识理解)、GPQA(一般问题)、HumanEval(代码能力)、GSM-8K(数学能力)、MATH(比较难得数学)五个基准测试上,不管是Llama3-8B,还是Llama-70B,都优于目前比较优秀的大模型。

但是这个我觉得看看就行,毕竟比别人差的东西还发出来肯定会被用户吐槽,但性能肯定是不错的。

另外,为了寻求Llama3在现实场景的性能,开发人员还开发了一套新的高质量人类评估集 。该评估集包含 1,800 个提示,涵盖 12 个关键用例:寻求建议、头脑风暴、分类、封闭式问答、编码、创意写作、提取、塑造角色/角色、开放式问答、推理、重写和总结。而且为了避免模型在此评估集上过度拟合,即使是Llama3的模型开发人员也无法访问它。

这是Llama3在这些评估集的测试结果,整体是优于其他模型的

5、训练数据

  • 数量上, Llama 3 经过 15T token以上的预训练,并且官方声明这些数据全部从公开来源收集(比Llama 2使用的数据集大7倍)
  • 超过 5% 的 Llama 3 预训练数据集由涵盖 30 多种语言 的高质量非英语数据组成(但是这些语言的性能水平不会与英语相同,还是得靠其他开源大佬微调)
  • 8B的知识库时间只到2023年3月 ,70B的知识库时间只到了2023年12月(感觉是不是8B的训练时间早于70B,所以时间早了这么多)

6、如何体验

6.1 Replicate

墙裂推荐,直接访问: https://llama3.replicate.dev/就行,无需登录

6.2 使用我们之前提到过的 ollama 工具

6.3 使用 MetaAI

不太建议,锁地区,而且要Facebook账户,对国内用户不友好

7、未来规划

Meta在后续的几个月中,将发布多个具有新功能的模型,包括多模态、以多种语言交谈的能力、更长的上下文窗口。

比如目前有一个400B的模型就仍在训练中,这是它的一个简单基准测试

注: 原文链接,欢迎关注公众号AI技术巫

相关推荐
学习前端的小z22 分钟前
【AIGC】如何通过ChatGPT轻松制作个性化GPTs应用
人工智能·chatgpt·aigc
埃菲尔铁塔_CV算法1 小时前
人工智能图像算法:开启视觉新时代的钥匙
人工智能·算法
EasyCVR1 小时前
EHOME视频平台EasyCVR视频融合平台使用OBS进行RTMP推流,WebRTC播放出现抖动、卡顿如何解决?
人工智能·算法·ffmpeg·音视频·webrtc·监控视频接入
打羽毛球吗️1 小时前
机器学习中的两种主要思路:数据驱动与模型驱动
人工智能·机器学习
好喜欢吃红柚子1 小时前
万字长文解读空间、通道注意力机制机制和超详细代码逐行分析(SE,CBAM,SGE,CA,ECA,TA)
人工智能·pytorch·python·计算机视觉·cnn
小馒头学python1 小时前
机器学习是什么?AIGC又是什么?机器学习与AIGC未来科技的双引擎
人工智能·python·机器学习
神奇夜光杯1 小时前
Python酷库之旅-第三方库Pandas(202)
开发语言·人工智能·python·excel·pandas·标准库及第三方库·学习与成长
正义的彬彬侠1 小时前
《XGBoost算法的原理推导》12-14决策树复杂度的正则化项 公式解析
人工智能·决策树·机器学习·集成学习·boosting·xgboost
Debroon2 小时前
RuleAlign 规则对齐框架:将医生的诊断规则形式化并注入模型,无需额外人工标注的自动对齐方法
人工智能
羊小猪~~2 小时前
神经网络基础--什么是正向传播??什么是方向传播??
人工智能·pytorch·python·深度学习·神经网络·算法·机器学习