最近,Meta 发布了 Llama3 模型,从发布的数据来看,性能已经超越了 Gemini 1.5 和 Claud 3。
Llama 官网说,他们未来是要支持多语言和多模态的,希望那天赶紧到来。
未来 Llama3还将推出一个 400B大模型,目前正在训练中,4000 亿参数,继续卷参数。Llama 3 预训练了超过 15 T Token,为了准备即将到来的多语言用例,Llama 3 的预训练数据集中超过 5% 是覆盖 30 多种语言的高质量非英语数据。然而,非英语性能不如英语好。Llam3 是在 2 个 24K GPU 集群上进行训练的,差不多5 万块 GPU,不是一般公司搞得起的。
我本地安装了 8B,能理解中文,但是回答还不是中文,可以让他翻译成中文。
也可以给他 Promote 让他用中文说,速度挺快的。
Meta 官方也有体验的网页,国内用不了,用 Ollama 下载 8b 的模型先玩玩。