700亿参数,可商用!Meta开源3个最强代码大模型

全球科技巨头Meta在社交平台开源了,3个专业代码大语言模型Code Llama 70B、CodeLlama-70B-Python和CodeLlama-70B-Instruct。

据悉,这三款模型都是基于Meta的Llama 2开发而成, 比去年发布的三款70亿、130亿、340亿三款专业代码模型参数更大,这也是截至目前参数最大、功能最强的纯代码模型之一。

就连Meta联合创始人扎克伯格都为Code Llama 70B代码模型站台官宣,可见其性能以及Meta对其重视程度。

Github地址:https://github.com/facebookresearch/codellama?ref=maginative.com

模型权重下载地址:https://ai.meta.com/resources/models-and-libraries/llama-downloads/

由于Meta暂时没有公布Code Llama 70B的论文,「AIGC开放社区」就用Meta曾经发布的Code Llama论文为大家介绍下。

论文下载地址:https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/

Code Llama是基于目前最强开源大语言模型Llama 2开发而成,在代码和文本数据上进行预训练、微调,提升代码生成和理解能力。

目前,一共有70亿、130亿、340亿和700亿四种参数。除了基础模型之外,还有Python和Instruct两种特殊微调模型,每个模型都使用了5000亿tokens优质代码数据进行训练。

其中,70亿和130亿的 Code Llama模型采用了多任务目标,包括自回归和因果填充预测方法。为了提升输入扩展,研究人员进行了额外的微调步骤,将上下文长度从4,096tokens扩展到了100,000tokens。

Python是目前代码生成方面最高效、应用最广的编程语言之一,并且Python 和 PyTorch 在AI 社区中发挥着重要作用。

所以,Meta推出了针对Python的代码模型。该模型在 1000亿标记的优质Python代码进行微调。

Code Llama - Instruct 则是 Code Llama 针对自然文本指令微调的模型,该模型支持自然文本输入和输出。

如果你想使用文本生成代码,Meta建议使用该模型,因为Code Llama - Instruct已经过数据微调理解自然文本更好并且生成的代码更符合开发人员要求。

资源消耗方面,70亿参数模型可在单个GPU上运行。340亿参数模型可返回最佳结果并提供更好的编程辅助,但资源消耗更大。所以,本次发布的700亿参数模型,在AI算力方面也比前三个消耗更多。

根据Meta公布的消息,Code Llama 70B 在 HumanEval 基准测试中的准确率达到 53%,比 GPT-3.5 的 48.1% 表现更好,更接近OpenAI的GPT-4 67%,是目前性能最强的开源代码模型之一。

此外,Code Llama 70B的多语言支持、子任务执行、内容安全方面,也是同类开源模型中最佳之一。

本文素材来源Code Llama论文,如有侵权请联系删除

END

相关推荐
智联视频超融合平台3 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟3 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯5 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐5 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777712 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn13 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健13 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道13 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99614 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音