技术栈

kv-cache

大江东去浪淘尽千古风流人物
3 天前
网络·深度学习·transformer·slam·位姿估计·kv-cache
【KV-Tracker】Transformer 实时位姿跟踪:KV-Cache 加速多视图几何网络达 27FPS多视图 3D 几何 Transformer(如 DUSt3R、MASt3R、π³)精度惊人,但全连接注意力的 O ( N 2 ) O(N^2) O(N2) 复杂度使其无法实时运行。Imperial College London 的 KV-Tracker 提出了一个无需额外训练的加速方案:在映射阶段缓存全局自注意力的 Key-Value 对,追踪阶段仅编码单帧并查询缓存,实现约 15× 加速和 27 FPS 实时跟踪。在 TUM RGB-D 上 ATE 0.108m,超越 TTT3R(0.132m)和 CU
litble
1 个月前
人工智能·大模型·llm·moe·kv-cache·pre-ln
如何速成LLM以伪装成一个AI研究者(2)——Pre-LN,KV-Cache优化,MoE如何速成LLM以伪装成一个AI研究者(1)——循环,卷积,编解码器,注意力,Transformer免责声明:作者也是伪装的,有错漏属于正常现象,欢迎评论指正。
我是有底线的