infra

xier_ran2 天前
java·运维·网络·infra
【infra之路】Shared Memory 的访问范围:严格限定于单个 SMShared Memory 是 SM 私有的,只有分配到该 SM 上的 Block 才能访问。 其他 SM 上的线程无法直接读写任何非本 SM 的 Shared Memory。
xier_ran12 天前
人工智能·状态模式·infra
【infra之路】AI 编译器(二):后端优化在上一篇中,我们聊了前端优化:它在计算图(算子)层面做“减法”——算子融合、常量折叠、CSE、DCE、布局变换,回答的是 “算什么、少算什么” 的问题。
xier_ran12 天前
人工智能·infra
【infra之路】关键词解释GEMM、cuBLAS / cuDNN、Bank Conflict、Tile、Tiling、库 Lowering
xier_ran22 天前
llm·infra
【infra之路】从 KV Cache 到逐层语义:理解 Decoder-Only LLM 的推理过程本文记录了我学习 AI Infra(以 nano-vllm 为切入点)过程中,围绕 LLM 推理机制产生的几个核心问题及思考。
前端Baymax1 个月前
ai·agent·infra
Memory Search索引模型不匹配故障执行 memory_search 查询时返回错误:所有语义搜索全部失败,历史记忆检索不可用。Embedding 模型配置变更导致存量索引与新期望模型不匹配。 语义搜索需要重建索引以匹配当前模型,类似数据库 schema migration。
非社会人士4 个月前
强化学习·rlhf·rl·ppo·verl·infra
RL 系统 Infra 笔记:区分不同模型强化学习系统(RLHF/PPO)Infra 学习笔记,从 Infra 视角梳理各模块职责、数据流与训练循环,持续更新。
山顶夕景6 个月前
大模型·llm·多模态·infra
【MLLM】Qwen3.5模型✦ 基于混合结构,397B总参/17B激活,能力匹配 >1T 参数的 Qwen3-Max; ✦ 原生多模态设计,同量级下多模态任务表现优于 Qwen3-VL; ✦ 覆盖 201 种语言; ✦ 在代码生成、智能体推理与多模态理解方面表现卓越;
我是有底线的