技术栈

推理编译

thesky123456
36 分钟前
大模型·tvm·图优化·xla·算子融合·编译期优化·推理编译
27届大模型面试准备(六十七):大模型推理编译与图优化工程——从计算图到高效内核本篇是"工程实战深化"的第 67 篇。前面我们写过推理引擎内核(A59:PagedAttention、调度器、显存管理)、注意力演进与 KV Cache(A36)、推理调度与弹性扩缩容(A66)。它们讨论的都是"运行时(runtime)"如何把已经存在的内核高效地排起来。但还有一个前置关卡经常被面试深挖:这些内核本身从哪来? 为什么同一个 Transformer,用 torch.compile 能比 eager 模式快一倍,用 TensorRT-LLM 又能再快一截?答案在"编译期"——把计算图翻译成对硬
我是有底线的