ai infra

【原创】海光Z100 DCU适配vLLM实录（二）：W4A16大M Prefill结构重写、GDN融合与长上下文HIP Attention上一篇结束时，海光Z100上的Qwen3.6-27B-AWQ-INT4已经把最影响使用的Decode问题基本处理到可以稳定运行的程度。AWQ是激活感知权重量化（Activation-aware Weight Quantization），它根据模型真实激活分布选择量化尺度，让权重能够以较低比特保存，同时尽量减少精度损失；INT4表示模型权重以4比特整数存储；W4A16表示4比特权重、16比特激活（Weight 4-bit，Activation 16-bit），也就是权重长期保持INT4压缩格式，模型运行时产

从 0 构建 AI Workload Platform（八）：受限执行环境与 Kubernetes本文继续记录 AI Workload Platform 的实际开发。这个项目要构建的是一个可靠运行时和调度平台：用户提交由普通程序或 Agent 组成的多步骤工作流，平台负责依赖调度、状态持久化、重试、取消、恢复、分布式执行和审计。

[NVSentinel] metadata-collector模块调研基于 NVSentinel 文档与 metadata-collector/ 代码的实现分析。文档引用指向 NVIDIA/NVSentinel main 分支。

矩阵转置算子优化-利用padding 解决 bank conflictsm: 硬件层面的计算核心,SM 是调度的基本单位。GPU 的硬件调度器会把你的 Block “分发”给空闲的 SM 去执行 grid: 是 CUDA 编程模型中最高层级的线程组织结构，它代表了一次 Kernel 启动所创建的所有线程的集合。你可以把它理解为整个并行计算任务的“总指挥部”或“任务总表”。 block: 软件层面的任务分组,它是线程协作的基本单位。同一个 Block 里的线程可以互相通信（通过共享内存 SMEM），也可以通过 __syncthreads() 进行同步。 **warp：**GP

OpenAnolis小助手

龙蜥 AI Infra 新力量：T-Head SAIL 软件栈正式开源7月18日，平头哥自研软件栈 T-Head SAIL® 正式开源，向全球开发者开放高效、开放的 AI 算力基础设施核心能力。

长输入短输出场景下的 SGLang 推理性能实测前缀缓存、PD 分离配比与参数调优我们产线上的推理请求,几乎是清一色的"长输入、短输出":几万 token 的资料或上下文喂进去,模型只吐回几百 token 的答案。RAG、长文档问答、代码库分析,本质上都是这个形状。

程序喵大人

C++ 程序员转型 AI Infra 学习路线博主介绍：程序喵大人小喵是个五年经验的 C++ 工程师，最近面了某大厂的 AI Infra 岗位。他以为自己熟练完成的是“会写 CUDA”，于是买了一堆 GPU 架构、算子优化的书，结果面试官问了三个问题，他全答不上来：

ifenxi爱分析

Know-how很快被AI追平，真正的壁垒没多少了在大模型、智能体与AI Coding驱动的企业软件新世界里，旧的竞争壁垒正在迅速消融。专业知识与Knowhow正在被AI重新定义，智能体应用被分钟级生成，传统企业服务厂商的核心价值正面临大考。

百度智能云技术站

Agent 时代下大模型推理系统的架构优化和工程实践本文整理自 2026 年 5 月 14 日 Create2026 百度 AI 开发者大会 - AI Infra 专题论坛，百度智能云主任架构师黎世勇的同名主题演讲。

百度智能云技术站

百度百舸全栈 AI Infra 助力具身模型加速迭代本文整理自 2026 年 5 月 14 日 Create2026 百度 AI 开发者大会 - 具身智能专场，百度智能云主任架构师应茹的同名主题演讲。

百度智能云技术站

Agent Native：重构 AI 云基础设施本文整理自 2026 年 5 月 13 日 Create2026 百度 AI 开发者大会 - 技术与产品主论坛，百度集团副总裁侯震宇的主题演讲《Agent Native：重构 AI 云基础设施》。

Warp源码深度解析（五）：Feature Flag分层发布、热重载Settings与双版本Completer这是 Warp 源码深度解析系列的第五篇（完结篇）。本文聚焦核心基础设施：100+ Feature Flag 的分层发布机制、Diesel+SQLite 持久化、Editor 多缓冲区、双版本 Completer、Settings 热重载与云同步。

NCCL工作流程分析&&NCCL源码解读本文章是笔者在学习NCCL源码时候的感悟和理解，由于源码实在抽象，所以笔者尽量用更直白通俗的语言表达自己的理解。若有错误，望各位大神多多批评指教！该文章会不断更新修改，一些细枝末节也将会不断补充，新的文章未来也会采用链接形式纳入本文章中。

权威指南第四章这一章主要是从memory角度来分析和优化算子的，用transposition的例子分析maxbandwidth rate对性能的影响。

强壮的派大星

AI训练存储系统的架构选型演变：对象存储为后端的文件系统概论存储系统按照抽象级别分类，分为三种：文件存储、对象存储、块存储。此处我们不讨论块存储，只讨论文件存储与对象存储。

CNCC 2025|开源AI基础设施论坛成功举办当前AI技术发展面临算力成本、工具链碎片化及严重依赖CUDA生态等核心挑战，该如何破局？10月25日，在CNCC 2025大会上，由CCF开源发展技术委员会AI Infra工作组发起的“开源AI基础设施论坛”成功举办。多位业内专家聚焦AI Infra开源进展，开源大模型训练和推理技术解析、大模型技术体系开源开放分级评估规范、GPU开源生态建设、云原生Infra Services等各个维度对AI开源基础设施现在、未来的进行了深度探讨。