技术栈
infra
xier_ran
2 天前
java
·
运维
·
网络
·
infra
【infra之路】Shared Memory 的访问范围:严格限定于单个 SM
Shared Memory 是 SM 私有的,只有分配到该 SM 上的 Block 才能访问。 其他 SM 上的线程无法直接读写任何非本 SM 的 Shared Memory。
xier_ran
12 天前
人工智能
·
状态模式
·
infra
【infra之路】AI 编译器(二):后端优化
在上一篇中,我们聊了前端优化:它在计算图(算子)层面做“减法”——算子融合、常量折叠、CSE、DCE、布局变换,回答的是 “算什么、少算什么” 的问题。
xier_ran
12 天前
人工智能
·
infra
【infra之路】关键词解释GEMM、cuBLAS / cuDNN、Bank Conflict、Tile、Tiling、库 Lowering
xier_ran
22 天前
llm
·
infra
【infra之路】从 KV Cache 到逐层语义:理解 Decoder-Only LLM 的推理过程
本文记录了我学习 AI Infra(以 nano-vllm 为切入点)过程中,围绕 LLM 推理机制产生的几个核心问题及思考。
前端Baymax
1 个月前
ai
·
agent
·
infra
Memory Search索引模型不匹配故障
执行 memory_search 查询时返回错误:所有语义搜索全部失败,历史记忆检索不可用。Embedding 模型配置变更导致存量索引与新期望模型不匹配。 语义搜索需要重建索引以匹配当前模型,类似数据库 schema migration。
非社会人士
4 个月前
强化学习
·
rlhf
·
rl
·
ppo
·
verl
·
infra
RL 系统 Infra 笔记:区分不同模型
强化学习系统(RLHF/PPO)Infra 学习笔记,从 Infra 视角梳理各模块职责、数据流与训练循环,持续更新。
山顶夕景
6 个月前
大模型
·
llm
·
多模态
·
infra
【MLLM】Qwen3.5模型
✦ 基于混合结构,397B总参/17B激活,能力匹配 >1T 参数的 Qwen3-Max; ✦ 原生多模态设计,同量级下多模态任务表现优于 Qwen3-VL; ✦ 覆盖 201 种语言; ✦ 在代码生成、智能体推理与多模态理解方面表现卓越;
我是有底线的