高效训练

山顶夕景4 个月前
性能优化·llm·deepseek·高效训练
【LLM】DeepSeek开源技术汇总一、FlashMLA：MLA解码内核 二、DeepEP：针对MoE和EP的通信库 三、DeepGEMM：FP8 通用矩阵乘法（GEMM）库 四、DualPipe、EPLB：双向管道并行算法 五、3FS：一种高性能分布式文件系统