Phind-70B-运行速度提高4倍的同时,缩小了与GPT-4 Turbo在代码质量上的差距

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

近日,科技界迎来了一个激动人心的消息:Phind-70B模型正式发布,这是目前为止最大、性能最强的模型。Phind-70B能够以每秒高达80个token的速度运行,为用户在技术话题上提供高质量的答案,极大地缩短了等待时间,提升了开发者的整体用户体验。

该模型是在CodeLlama-70B的基础上,通过对额外500亿token进行微调而来,带来了显著的性能提升,并支持高达32K token的上下文窗口。

在人类评估标准HumanEval上,Phind-70B以82.3%的高分超越了最新的GPT-4 Turbo(gpt-4-0125-preview)的81.1%。而在Meta的CRUXEval数据集上,尽管Phind-70B以59%的得分略低于GPT-4报告的62%,但在实际工作负载中的表现说明了Phind-70B在代码生成领域与GPT-4 Turbo处于同一质量水平,甚至在某些任务上表现更佳。Phind-70B展现出的主动性也超过了GPT-4 Turbo,在生成详细代码示例方面表现出更少的犹豫。

得益于在NVIDIA的H100 GPU上运行TensorRT-LLM库的优化,Phind-70B的运行速度是GPT-4 Turbo的四倍,达到每秒80个以上的token。该团队正在努力进一步提高Phind-70B的推理速度。

Phind-70B现已向公众免费开放试用,并无需登录。用户可以通过订阅Phind Pro获得更高的使用限制。

Phind团队对开源社区的热爱促使他们计划在未来几周内发布Phind-34B模型的权重,并计划及时公开Phind-70B的权重。

此外,Phind团队特别感谢他们的云服务合作伙伴SF Compute和AWS,在训练和部署Phind-70B方面提供了巨大的帮助。Meta和NVIDIA的支持也对项目的成功发挥了关键作用。

有趣的是,在Phind-70B的训练过程中,一块NVIDIA的H100 GPU因过热而"熔化",这一趣事也成为了该项目一个难忘的插曲。

https://www.phind.com/

相关推荐
芯盾时代19 分钟前
安全大模型智驱网络和数据安全效能跃迁
网络·人工智能·安全·网络安全
彩讯股份3006341 小时前
打造多模态交互新范式|彩讯股份中标2025年中国移动和留言平台AI智能体研发项目
人工智能
思通数科大数据舆情1 小时前
工业安全零事故的智能守护者:一体化AI智能安防平台
人工智能·安全·目标检测·计算机视觉·目标跟踪·数据挖掘·知识图谱
AI360labs_atyun2 小时前
2025 高考:AI 都在哪些地方发挥了作用
人工智能·科技·ai·高考
Yxh181377845543 小时前
短视频矩阵系统技术saas源头6年开发构架
人工智能·矩阵
m0_634448893 小时前
图上合成:用于大型语言模型持续预训练的知识合成数据生成
人工智能·语言模型·自然语言处理
张较瘦_4 小时前
[论文阅读] 人工智能 | 利用负信号蒸馏:用REDI框架提升LLM推理能力
论文阅读·人工智能
1296004525 小时前
机器学习的可解释性
人工智能·深度学习·自然语言处理·transformer
何中应5 小时前
第一个人工智能(AI)问答Demo
java·人工智能·语言模型
InternLM5 小时前
论文分类打榜赛Baseline(2):InternLM昇腾硬件微调实践
人工智能·分类·大模型·internlm·书生大模型