技术栈

gpt-oss-20b

●VON
9 天前
架构·昇腾·昇腾npu·gpt-oss-20b·昇腾训练营
深入昇腾NPU:从架构到算子开发的全栈探索在当今人工智能高速发展的浪潮中,算力已成为推动AI创新的核心驱动力。作为国产AI芯片的代表,华为昇腾NPU(Neural Processing Unit)凭借其创新的达芬奇架构和强大的异构计算能力,正在重塑AI计算的格局。本文将深入探讨昇腾NPU的技术特性,并重点介绍基于CANN(Compute Architecture for Neural Networks)的算子开发实践。
熊文豪
22 天前
昇腾·1024程序员节·昇腾npu·gpt-oss-20b
昇腾NPU部署GPT-OSS-20B混合专家模型:从环境配置到性能优化的完整实践指南本文详细记录了使用GitCode平台的免费昇腾Notebook实例,完成GPT-OSS-20B模型(一个21B参数的混合专家模型,激活参数3.6B)的环境配置、模型部署、性能测试与优化的全过程。通过编写自定义转换脚本将PyTorch模型转换为MindSpore格式,并在昇腾NPU上运行基准测试脚本,进行5次重复测试以获取可靠的数据统计。最终,我们评估了模型在不同场景下的推理速度和吞吐量,并提供了优化建议。整个过程旨在帮助开发者在昇腾NPU上高效部署大型MoE模型。
我是有底线的