Phind-70B-运行速度提高4倍的同时,缩小了与GPT-4 Turbo在代码质量上的差距

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

近日,科技界迎来了一个激动人心的消息:Phind-70B模型正式发布,这是目前为止最大、性能最强的模型。Phind-70B能够以每秒高达80个token的速度运行,为用户在技术话题上提供高质量的答案,极大地缩短了等待时间,提升了开发者的整体用户体验。

该模型是在CodeLlama-70B的基础上,通过对额外500亿token进行微调而来,带来了显著的性能提升,并支持高达32K token的上下文窗口。

在人类评估标准HumanEval上,Phind-70B以82.3%的高分超越了最新的GPT-4 Turbo(gpt-4-0125-preview)的81.1%。而在Meta的CRUXEval数据集上,尽管Phind-70B以59%的得分略低于GPT-4报告的62%,但在实际工作负载中的表现说明了Phind-70B在代码生成领域与GPT-4 Turbo处于同一质量水平,甚至在某些任务上表现更佳。Phind-70B展现出的主动性也超过了GPT-4 Turbo,在生成详细代码示例方面表现出更少的犹豫。

得益于在NVIDIA的H100 GPU上运行TensorRT-LLM库的优化,Phind-70B的运行速度是GPT-4 Turbo的四倍,达到每秒80个以上的token。该团队正在努力进一步提高Phind-70B的推理速度。

Phind-70B现已向公众免费开放试用,并无需登录。用户可以通过订阅Phind Pro获得更高的使用限制。

Phind团队对开源社区的热爱促使他们计划在未来几周内发布Phind-34B模型的权重,并计划及时公开Phind-70B的权重。

此外,Phind团队特别感谢他们的云服务合作伙伴SF Compute和AWS,在训练和部署Phind-70B方面提供了巨大的帮助。Meta和NVIDIA的支持也对项目的成功发挥了关键作用。

有趣的是,在Phind-70B的训练过程中,一块NVIDIA的H100 GPU因过热而"熔化",这一趣事也成为了该项目一个难忘的插曲。

https://www.phind.com/

相关推荐
舒一笑30 分钟前
智能体革命:企业如何构建自主决策的AI代理?
人工智能
丁先生qaq1 小时前
热成像实例分割电力设备数据集(3类,838张)
人工智能·计算机视觉·目标跟踪·数据集
红衣小蛇妖2 小时前
神经网络-Day45
人工智能·深度学习·神经网络
KKKlucifer2 小时前
当AI遇上防火墙:新一代智能安全解决方案全景解析
人工智能
DisonTangor2 小时前
【小红书拥抱开源】小红书开源大规模混合专家模型——dots.llm1
人工智能·计算机视觉·开源·aigc
浠寒AI4 小时前
智能体模式篇(上)- 深入 ReAct:LangGraph构建能自主思考与行动的 AI
人工智能·python
weixin_505154465 小时前
数字孪生在建设智慧城市中可以起到哪些作用或帮助?
大数据·人工智能·智慧城市·数字孪生·数据可视化
Best_Me075 小时前
深度学习模块缝合
人工智能·深度学习
YuTaoShao5 小时前
【论文阅读】YOLOv8在单目下视多车目标检测中的应用
人工智能·yolo·目标检测
算家计算5 小时前
字节开源代码模型——Seed-Coder 本地部署教程,模型自驱动数据筛选,让每行代码都精准落位!
人工智能·开源