计算框架

xixixi7777717 天前
机器学习·大模型·编程·编译·芯片·计算框架·技术框架
大模型的运行离不开芯片和搭载在它上面的计算框架运行一个大模型，确实就像运行一个庞大而精密的数字工厂：芯片（硬件）是工厂的机器与动力源，而计算框架（软件）是整个工厂的流水线、控制系统和操作手册。两者深度融合，缺一不可。
smartcat20101 年前
计算框架
TensorRT-LLM高级用法--multi_block_modedecoding phase, 推理1个新token，平时：按照batch样本，按照head，将计算平均分给所有SM；
我是有底线的