700亿参数,可商用!Meta开源3个最强代码大模型

全球科技巨头Meta在社交平台开源了,3个专业代码大语言模型Code Llama 70B、CodeLlama-70B-Python和CodeLlama-70B-Instruct。

据悉,这三款模型都是基于Meta的Llama 2开发而成, 比去年发布的三款70亿、130亿、340亿三款专业代码模型参数更大,这也是截至目前参数最大、功能最强的纯代码模型之一。

就连Meta联合创始人扎克伯格都为Code Llama 70B代码模型站台官宣,可见其性能以及Meta对其重视程度。

Github地址:https://github.com/facebookresearch/codellama?ref=maginative.com

模型权重下载地址:https://ai.meta.com/resources/models-and-libraries/llama-downloads/

由于Meta暂时没有公布Code Llama 70B的论文,「AIGC开放社区」就用Meta曾经发布的Code Llama论文为大家介绍下。

论文下载地址:https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/

Code Llama是基于目前最强开源大语言模型Llama 2开发而成,在代码和文本数据上进行预训练、微调,提升代码生成和理解能力。

目前,一共有70亿、130亿、340亿和700亿四种参数。除了基础模型之外,还有Python和Instruct两种特殊微调模型,每个模型都使用了5000亿tokens优质代码数据进行训练。

其中,70亿和130亿的 Code Llama模型采用了多任务目标,包括自回归和因果填充预测方法。为了提升输入扩展,研究人员进行了额外的微调步骤,将上下文长度从4,096tokens扩展到了100,000tokens

Python是目前代码生成方面最高效、应用最广的编程语言之一,并且Python 和 PyTorch 在AI 社区中发挥着重要作用。

所以,Meta推出了针对Python的代码模型。该模型在 1000亿标记的优质Python代码进行微调。

Code Llama - Instruct 则是 Code Llama 针对自然文本指令微调的模型,该模型支持自然文本输入和输出。

如果你想使用文本生成代码,Meta建议使用该模型,因为Code Llama - Instruct已经过数据微调理解自然文本更好并且生成的代码更符合开发人员要求。

资源消耗方面,70亿参数模型可在单个GPU上运行。340亿参数模型可返回最佳结果并提供更好的编程辅助,但资源消耗更大。所以,本次发布的700亿参数模型,在AI算力方面也比前三个消耗更多

根据Meta公布的消息,Code Llama 70B 在 HumanEval 基准测试中的准确率达到 53%,比 GPT-3.5 的 48.1% 表现更好,更接近OpenAI的GPT-4 67%,是目前性能最强的开源代码模型之一。

此外,Code Llama 70B的多语言支持、子任务执行、内容安全方面,也是同类开源模型中最佳之一。

本文素材来源Code Llama论文,如有侵权请联系删除

END

相关推荐
千天夜37 分钟前
激活函数解析:神经网络背后的“驱动力”
人工智能·深度学习·神经网络
大数据面试宝典38 分钟前
用AI来写SQL:让ChatGPT成为你的数据库助手
数据库·人工智能·chatgpt
封步宇AIGC43 分钟前
量化交易系统开发-实时行情自动化交易-3.4.1.2.A股交易数据
人工智能·python·机器学习·数据挖掘
m0_523674211 小时前
技术前沿:从强化学习到Prompt Engineering,业务流程管理的创新之路
人工智能·深度学习·目标检测·机器学习·语言模型·自然语言处理·数据挖掘
HappyAcmen1 小时前
IDEA部署AI代写插件
java·人工智能·intellij-idea
噜噜噜噜鲁先森1 小时前
看懂本文,入门神经网络Neural Network
人工智能
InheritGuo2 小时前
It’s All About Your Sketch: Democratising Sketch Control in Diffusion Models
人工智能·计算机视觉·sketch
weixin_307779132 小时前
证明存在常数c, C > 0,使得在一系列特定条件下,某个特定投资时刻出现的概率与天数的对数成反比
人工智能·算法·机器学习
封步宇AIGC2 小时前
量化交易系统开发-实时行情自动化交易-3.4.1.6.A股宏观经济数据
人工智能·python·机器学习·数据挖掘
Jack黄从零学c++2 小时前
opencv(c++)图像的灰度转换
c++·人工智能·opencv