技术栈

图优化

thesky123456
9 天前
大模型·tvm·图优化·xla·算子融合·编译期优化·推理编译
27届大模型面试准备(六十七):大模型推理编译与图优化工程——从计算图到高效内核本篇是"工程实战深化"的第 67 篇。前面我们写过推理引擎内核(A59:PagedAttention、调度器、显存管理)、注意力演进与 KV Cache(A36)、推理调度与弹性扩缩容(A66)。它们讨论的都是"运行时(runtime)"如何把已经存在的内核高效地排起来。但还有一个前置关卡经常被面试深挖:这些内核本身从哪来? 为什么同一个 Transformer,用 torch.compile 能比 eager 模式快一倍,用 TensorRT-LLM 又能再快一截?答案在"编译期"——把计算图翻译成对硬
ergevv
2 年前
约束·ceres·图优化·信息矩阵·残差·预积分
图优化以及如何将信息矩阵添加到残差变量: 1、预积分量: α 、 θ 、 β 、 b k a 、 b k g \alpha、\theta、\beta、b^a_k、b^g_k α、θ、β、bka、bkg 2、前一次优化后的状态: q k 、 p k 、 v k 、 b k g 、 b k a q_k、p_k、v_k、b^g_k、b^a_k qk、pk、vk、bkg、bka,优化过程 b k g 、 b k a b^g_k、b^a_k bkg、bka设为常数 3、预积分预测的后一次的位姿: q k + 1 p r e 、 p k + 1 p
我是有底线的