LLM时代中的分布式AI深度学习相较传统机器学习模型,对算力有更高的要求。尤其是随着深度学习的飞速发展,模型体量也不断增长。于是,前几年,我们看到了芯片行业的百家争鸣和性能指标的快速提升。正当大家觉得算力问题已经得到较大程度的缓解时,大语言模型(LLM, Large language model)的兴起又带来了前所未有的挑战。当网络模型达到一定量级后(比如参数量达到10B级别),表现出In-context learning,Instruction following和Step-by-step reasoning等涌现能力(Eme