Phind-70B-运行速度提高4倍的同时,缩小了与GPT-4 Turbo在代码质量上的差距

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

近日,科技界迎来了一个激动人心的消息:Phind-70B模型正式发布,这是目前为止最大、性能最强的模型。Phind-70B能够以每秒高达80个token的速度运行,为用户在技术话题上提供高质量的答案,极大地缩短了等待时间,提升了开发者的整体用户体验。

该模型是在CodeLlama-70B的基础上,通过对额外500亿token进行微调而来,带来了显著的性能提升,并支持高达32K token的上下文窗口。

在人类评估标准HumanEval上,Phind-70B以82.3%的高分超越了最新的GPT-4 Turbo(gpt-4-0125-preview)的81.1%。而在Meta的CRUXEval数据集上,尽管Phind-70B以59%的得分略低于GPT-4报告的62%,但在实际工作负载中的表现说明了Phind-70B在代码生成领域与GPT-4 Turbo处于同一质量水平,甚至在某些任务上表现更佳。Phind-70B展现出的主动性也超过了GPT-4 Turbo,在生成详细代码示例方面表现出更少的犹豫。

得益于在NVIDIA的H100 GPU上运行TensorRT-LLM库的优化,Phind-70B的运行速度是GPT-4 Turbo的四倍,达到每秒80个以上的token。该团队正在努力进一步提高Phind-70B的推理速度。

Phind-70B现已向公众免费开放试用,并无需登录。用户可以通过订阅Phind Pro获得更高的使用限制。

Phind团队对开源社区的热爱促使他们计划在未来几周内发布Phind-34B模型的权重,并计划及时公开Phind-70B的权重。

此外,Phind团队特别感谢他们的云服务合作伙伴SF Compute和AWS,在训练和部署Phind-70B方面提供了巨大的帮助。Meta和NVIDIA的支持也对项目的成功发挥了关键作用。

有趣的是,在Phind-70B的训练过程中,一块NVIDIA的H100 GPU因过热而"熔化",这一趣事也成为了该项目一个难忘的插曲。

https://www.phind.com/

相关推荐
北海道浪子21 小时前
[免费送$1000]ClaudeCode、Codex等AI模型在开发中的使用
前端·人工智能·后端
福客AI1 天前
电商智能客服机器人:客服的服务革新之路
人工智能·机器人
CoderIsArt1 天前
CORDIC三角计算技术
人工智能·算法·机器学习
taxunjishu1 天前
Ethernet/ip 转 Modbus RTU 驱动,罗克韦尔 PLC 与华为逆变器打造光伏电站智能监控典范
人工智能·物联网·自动化·区块链
Alex艾力的IT数字空间1 天前
基于PyTorch和CuPy的GPU并行化遗传算法实现
数据结构·人工智能·pytorch·python·深度学习·算法·机器学习
却道天凉_好个秋1 天前
OpenCV(十三):通道的分离与合并
人工智能·opencv·计算机视觉
七宝大爷1 天前
NVIDIA Blackwell Ultra GB300深度解析:AI芯片性能的新巅峰
人工智能·gpu·gb300
鲸鱼在dn1 天前
大语言模型的后训练与“灾难性遗忘”问题——李宏毅2025大模型第六讲笔记
人工智能·笔记·语言模型
滑水滑成滑头1 天前
**标题:发散创新:智能交通系统的深度探究与实现**摘要:本文将详细
java·人工智能·python
海云安1 天前
海云安入选安全牛《企业级AI大模型落地实战技术应用指南(2025版)》优秀案例
人工智能·安全