每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/
近日，科技界迎来了一个激动人心的消息：Phind-70B模型正式发布，这是目前为止最大、性能最强的模型。Phind-70B能够以每秒高达80个token的速度运行，为用户在技术话题上提供高质量的答案，极大地缩短了等待时间，提升了开发者的整体用户体验。
该模型是在CodeLlama-70B的基础上，通过对额外500亿token进行微调而来，带来了显著的性能提升，并支持高达32K token的上下文窗口。
在人类评估标准HumanEval上，Phind-70B以82.3%的高分超越了最新的GPT-4 Turbo（gpt-4-0125-preview）的81.1%。而在Meta的CRUXEval数据集上，尽管Phind-70B以59%的得分略低于GPT-4报告的62%，但在实际工作负载中的表现说明了Phind-70B在代码生成领域与GPT-4 Turbo处于同一质量水平，甚至在某些任务上表现更佳。Phind-70B展现出的主动性也超过了GPT-4 Turbo，在生成详细代码示例方面表现出更少的犹豫。
得益于在NVIDIA的H100 GPU上运行TensorRT-LLM库的优化，Phind-70B的运行速度是GPT-4 Turbo的四倍，达到每秒80个以上的token。该团队正在努力进一步提高Phind-70B的推理速度。
Phind-70B现已向公众免费开放试用，并无需登录。用户可以通过订阅Phind Pro获得更高的使用限制。
Phind团队对开源社区的热爱促使他们计划在未来几周内发布Phind-34B模型的权重，并计划及时公开Phind-70B的权重。
此外，Phind团队特别感谢他们的云服务合作伙伴SF Compute和AWS，在训练和部署Phind-70B方面提供了巨大的帮助。Meta和NVIDIA的支持也对项目的成功发挥了关键作用。
有趣的是，在Phind-70B的训练过程中，一块NVIDIA的H100 GPU因过热而"熔化"，这一趣事也成为了该项目一个难忘的插曲。