小扎官宣Code Llama重量级更新,新增70B版本,但还有能力限制

功能更强大的 Code Llama 70B 模型来了。

今天,Meta 正式发布 Code Llama 70B,这是 Code Llama 系列有史以来最大、性能最好的型号。

我们正在开源一个全新的改进版 Code Llama,包括一个更大的 70B 参数模型。编写和编辑代码已成为当今人工智能模型最重要的用途之一。事实证明,编写代码的能力对于人工智能模型更严谨、更合理地处理其他领域的信息也非常重要。我为这一进展感到自豪,并期待着将这些进展纳入 Llama 3 和未来的模型中。

Code Llama 70B 提供与之前发布的 Code Llama 型号相同的三个版本:

  • CodeLlama - 70B,基础代码模型;

  • CodeLlama - 70B - Python,专门面向 Python 的 70B;

  • Code Llama - 70B - Instruct 70B,它针对理解自然语言指令进行了微调。

Code Llama 最初是 Meta 在 2023 年 8 月推出的工具,免费用于研究和商业用途。

据 Meta AI 博客文章的介绍,Code Llama 70B 可比其他版本处理更多查询,这意味着开发人员可以在编程时向其提供更多提示,并且可以更加准确。

在 HumanEval 基准测试中,Code Llama 70B 的准确率达到了 53%,优于 GPT-3.5 的 48.1%,进一步接近 OpenAI 论文报告中 GPT-4 的 67%。

Code Llama 基于 Llama 2 构建,可帮助开发人员根据提示创建代码并对人工编写的代码进行调试。发布之初,Meta 表示,Code Llama 的开源协议与 Llama 2 一样,免费用于研究以及商用目的,Code Llama 70B 也是如此。

当时 Code Llama 系列模型有三个版本,参数量分别为 7B、13B 和 34B。并且支持多种编程语言,包括 Python、C++、Java、PHP、Typescript (Javascript)、C# 和 Bash。

Meta 提供的 Code Llama 版本包括:

  • Code Llama,基础代码模型;

  • Code Llama-Python,Python 微调版;

  • Code Llama-Instruct,自然语言指令微调版。

其中,后面两个模型专注于特定的编码语言。现在这个模型大家族又加入了 Code Llama 70B,在代码任务上又提升了一个台阶。

Code Llama 70B 是在 1TB 的代码和代码相关数据上训练而成,托管在代码存储库 Hugging Face 上。

Meta 表示,其较大的型号 34B 和 70B 模型可返回最佳结果并提供更好的编码帮助。

但在开发者的使用体验中,Code Llama 70B 仍然存在明显不足。

比如有人发现,对于生成质数的请求,Code Llama 70B 无法完成:

也有人说,这一限制是为了避免某些不好的用途,比如生成非法质数。非法质数可以被用来表示一些禁止拥有或散布的资料,而依照美国的数位千禧年著作权法,散布这类程式是非法的。

参考链接:www.theverge.com/2024/1/29/2...

相关阅读

相关推荐
不摸鱼1 小时前
顶级AI评论员:算力狂飙撞墙后,AI的下一场革命靠什么?| 不摸鱼的独立开发者日报(第43期)
人工智能·开源·资讯
NocoBase10 天前
Airtable 的数据超出上限,3 种常见应对方式
低代码·开源·资讯
redreamSo10 天前
AI Daily | AI日报:Anthropic:主流AI模型或成“内鬼”; 微软发布Mu模型,小参数跑出10倍性能; 斯坦福2025 CS336课程全公开搓大模型
程序员·aigc·资讯
不摸鱼10 天前
前苹果设计主管:设计信条胜过设计原则,前者是决策工具,后者只是空话 | 不摸鱼的独立开发者日报(第33期)
人工智能·开源·资讯
不摸鱼12 天前
Jason Calacanis:美国创业黄金时代结束?顶尖人才正“逃离”硅谷 | 不摸鱼的独立开发者日报(第31期)
人工智能·开源·资讯
redreamSo14 天前
AI Daily | AI日报:摩尔线程冲刺国产GPU第一股; KAIST公布HBM4关键特性及长期路线图; 北京AIGC创投会推动文旅与AI融合
程序员·aigc·资讯
德育处主任15 天前
03 “暴君”山内溥的第一劫
资讯
NocoBase15 天前
五款适合小型企业的库存管理系统(含价格对比)
低代码·开源·资讯
NocoBase15 天前
NocoBase 本周更新汇总:支持扫码填充数据
低代码·开源·资讯
NocoBase17 天前
在禧玛诺工厂,一位工程师的零代码实践
低代码·开源·资讯