周五凌晨,Meta发布了其最新的开源大语言模型Llama-3,据说性能直逼GPT-4。
前两天百度老板刚刚批了一下开源模型,说开源模型打不过闭源模型,没想到这么快就被打脸了。
自从Sora之后,OpenAI也好久没有发布震撼人心的能力了,可能遇到瓶颈了,GPT-5可能要等到年底了。
Llama3简介
Llama3是一个大型语言模型系列,它们是一组预先训练好的、专为对话场景优化的文本生成模型,目前包含80亿参数和700亿参数两种规格,两个规格均有预训练版和经过指令调优的版本可供选择。Llama3模型仅接收文本输入,模型仅生成文本和代码。
Llama3经过指令调优的模型在常见行业基准测试中,性能超越了许多现有的开源聊天模型。8B参数的性能甚至大幅超越了之前的Llama2-70B的性能,革了自己的命。
Llama 3采用自回归语言模型设计,运用了优化后的Transformer架构。经过调优的版本通过监督微调(SFT)和基于人类反馈的强化学习(RLHF),确保模型在助人与安全方面与人类偏好保持一致。
从目前可见的资料分析,Llama3不是一个混合模型,它的上下文只有8K,相比目前动辄200K的上下文有点上不了台面,不过最重要的还是准确性和精确性,大多数场景也用不上这么长的上下文,而且上下文长度应该可以通过微调或者其它技术来提升的。
线上体验地址
自己部署太麻烦了,对于大多数同学来说也没必要,分享几个在线测试地址,可以实际体验下效果。相信不久,国产大模型们就会遥遥领先了。
英伟达开发者网站
无需特殊网络设置,也不要登录,就能直接访问。
build.nvidia.com/explore/dis...
HuggingFace
huggingface.co/chat/ 需要先注册一个HuggingFace账号。
左侧选择模型,点击 Activate 激活模型,填写AI角色定义。
然后就可以和Llama3愉快的聊天了,不过Llama3的中文能力不太行,虽然看懂了中文,但是使用了英文来回答问题(即使我们要求它使用中文,也可能会随时输出英文),这还需要国内的企业或者社区再努力奋战若干天。
Llama官方
相关资源
官方Blog: ai.meta.com/blog/meta-l...
Github项目地址: github.com/meta-llama/...
模型下载地址:
- 官网:llama.meta.com/llama-downl...
- HuggingFace:huggingface.co/collections...
- HuggingFace国内镜像站:hf-mirror.com/NousResearc...