大模型部署

GPUWorks 私有化大模型推理平台实战：免 K8s 单二进制交付与异构算力统一纳管目录摘要一、为什么需要 GPUWorks？——私有化推理的真实痛点1.1 从"买卡"到"跑起来"之间的鸿沟

Mistral Large 4开源部署账：1T参数52B激活MoE，显存估算与自托管成本临界点怎么算10月29日，Mistral 把自家旗舰 Mistral Large 4（绰号 Le Chonk）的权重正式放上 Hugging Face。这不是一次临时起意的开源：10月6日官方先开了公共预览 API，明确说「weights drop end of this month」，之后用三周时间继续 scaling 强化学习，专攻编码和防御性网络安全两块，再把打磨后的版本连权重一起放出。预览到开源之间只隔 23 天，但官方口径是「收益仍在加速，没有看到饱和迹象」。

私有化部署大模型实战：PanelAI 一键搭建、Token 计费与多用户隔离大模型部署完只是开始，管起来才是难点很多团队做私有化部署时，卡住的环节通常是部署完成之后的管理，并非安装本身。API Key 一分发出去，谁用了多少、哪个部门超额、能不能按量结算，全都说不清。最近实践了一套 PanelAI 的方案，把这几件事串起来了，记录一下思路。

24GB 显存跑 740 亿参数 Agent：Nemotron 3.5 Bolt 本地部署工程拆解 | RiseClaw玄策10 月 15 日，NVIDIA 在官方研究页发布 Nemotron 3.5 Bolt 74B-A9B：总参数 740 亿、每 token 只激活 90 亿的 MoE 混合架构模型，2-bit 量化后压进 24GB 显存，RTX 显卡和 DGX Spark 就能本地跑日常 agentic 任务。agentic 任务流的工程参照可以看 RiseClaw玄策的公开仓库。本文不评产品，只做技术拆解：模型架构怎么设计、22.1GB 的量化权重怎么算出来、24GB 显存预算下 84 TPS 的吞吐怎么达成、本地跑

小易老师AI实战

多模型融合实战：大模型+轻量小模型混合部署2026年大模型工程落地的核心趋势不再是单一超大模型兜底全部业务，而是大小模型混合部署架构。将简单分类、关键词抽取、短文本问答等轻量化任务交给小模型处理，复杂推理、长文本理解、创意生成类任务路由到大模型，实现推理延迟下降、GPU算力成本压缩，同时保障核心业务效果。本文从模型选型、智能路由原理、业务场景适配、实测指标对比、生产部署避坑完整拆解，提供可落地的工程方案。

死磕音视频

自己搭一个“私人版 ChatGPT“：Open WebUI 一条命令部署 + 接入本地/云端模型保姆级教程适合人群：想要一个界面好看、数据存在自己电脑上的 AI 聊天工具的同学；想统一管理多个模型的折腾爱好者。需要会复制粘贴命令，不需要写代码。

一张 A800 80GB，跑通 Qwen-Image-2.1：GPUStack 部署、生成与图像编辑实战Datawhale 社区成员 / AI 算法工程师、架构师2026 年 9 月 20 日，千问团队开源了 Qwen-Image-2.1——一个统一支持文生图与图像编辑的模型。它的视觉生成模块为 7B 参数、32 层 Single-Stream DiT，文本与条件图像编码由 Qwen3-VL-8B 完成。官方将其定位为结构紧凑、兼顾效率与通用性的图像模型。

对比DP8+EP与TP8在DS MoE部署性能MoE的Transformer层执行路径如下：上图是以DP8+EP部署模型的执行流程。一个token进入本地Attention层（完整att）计算后通过路由发送给激活专家所在卡（注意，未必在本地了）做GEMM，最后专家模块返回结果合并输出进入下一层。

知识库增量更新：让“新鲜事”实时可用业务知识每天都在变：新产品上线、政策更新、流程调整。知识库如果不能及时更新，再好用的 RAG 也会“答过时的问题”。

论文复现现场

A100 跑 Qwen3.8-27B，FP8 还是 INT8？显存、速度、精度与微调兼容性怎么选直接结论：在算家云 A100 SXM4 80GB 环境验证 Qwen3.8-27B 时，建议先用 BF16 建立基线，再重点测试 INT8 W8A8。FP8 在 A100 上通常只能走权重-only 兼容路径，不能直接套用 H100 的 FP8 性能结论。

AI 网络安全：攻防的新战线当 AI 越来越强，攻防两端都发生了变化。攻击者用 AI 自动挖掘漏洞、生成钓鱼内容，防守者也开始用 AI 实时识别威胁、自动响应。

冷启动与预热优化大模型服务最尴尬的时刻，往往是“刚启动”的那几分钟——模型要加载、显存要分配，请求全在排队。这个冷启动问题，值得专门优化。

爱上纯净的蓝天

自包含推理一体机四层架构拆解：128G 统一内存、256K 上下文与实测口径现在有一类设备，把推理引擎、计量网关、任务沙箱、智能体编排四层软件预置进一台 1.2 公斤的小机器，通电、接网、登录就能用，不用自己搭环境。这篇文章拆它的分层结构，重点是参数口径和容易踩的坑，所有性能数字都标清来源和边界。

论文复现现场

Llama/Qwen 70B 部署需要几张 RTX 4090？2卡、4卡、8卡显存、量化与 vLLM 选型直接答案：70B/72B 模型用 2 张 RTX 4090 只能主打 4-bit、低并发推理；4 张是量化部署的均衡配置；8 张可以考虑 BF16 或双副本吞吐，但性能不会随卡数线性增长。

11路没有终点

从 0 到 1：华为昇腾部署 Qwen3-30B-A3B 大模型推理服务前置检查命令：⚠️ 官方文档明确：Atlas A2（64GB 单卡）运行 Qwen3-30B-A3B，tensor-parallel-size 至少为 2；如果是 32GB 显存版本则至少 4。910B4 为 64GB，推荐 TP=2 或 TP=4，配合专家并行效果最佳。

MiniMax-H3 : 4卡 H20-3e一套权重部署实践/8卡H200部署优化实测H3-Base 将各模态编码后组织为统一序列，由同一个 Omni Transformer 联合预测视频与音频的潜在表示，再交给各自的 VAE 解码。文字和视觉条件会经过 H3-Encoder，视觉内容还通过 Visual VAE 表示，音频则由 Audio VAE 编码。这使参考素材的类型和长度都可能改变工作量；只验证文本生成，不能覆盖有声视频或混合参考的编码路径。

虎虎(_　_)。゜zｚＺ

FastAPI-lifespan生命周期管理实战先看老写法：看起来没毛病，用的人也不少。但 Starlette 团队废弃它是有道理的：核心问题：startup 和 shutdown 是两个独立函数，但它们要共享的资源和状态只能挂在全局或 app.state 上。

SGLang模型加载过程笔记1.如果dp_size大于1 PP = 2 TP = 2 DP = 1因此会创建：2.如果dp_size大于1 DP Controller 根据轮询、当前请求数或 Token 数，把每个请求交给负载较低的模型副本。

【Audio】Qwen3-TTS-12Hz-1.7B-CustomVoice服务化部署和请求