大模型部署

小易老师AI实战

多模型融合实战：大模型+轻量小模型混合部署2026年大模型工程落地的核心趋势不再是单一超大模型兜底全部业务，而是大小模型混合部署架构。将简单分类、关键词抽取、短文本问答等轻量化任务交给小模型处理，复杂推理、长文本理解、创意生成类任务路由到大模型，实现推理延迟下降、GPU算力成本压缩，同时保障核心业务效果。本文从模型选型、智能路由原理、业务场景适配、实测指标对比、生产部署避坑完整拆解，提供可落地的工程方案。

死磕音视频

自己搭一个“私人版 ChatGPT“：Open WebUI 一条命令部署 + 接入本地/云端模型保姆级教程适合人群：想要一个界面好看、数据存在自己电脑上的 AI 聊天工具的同学；想统一管理多个模型的折腾爱好者。需要会复制粘贴命令，不需要写代码。

一张 A800 80GB，跑通 Qwen-Image-2.1：GPUStack 部署、生成与图像编辑实战Datawhale 社区成员 / AI 算法工程师、架构师2026 年 9 月 20 日，千问团队开源了 Qwen-Image-2.1——一个统一支持文生图与图像编辑的模型。它的视觉生成模块为 7B 参数、32 层 Single-Stream DiT，文本与条件图像编码由 Qwen3-VL-8B 完成。官方将其定位为结构紧凑、兼顾效率与通用性的图像模型。

对比DP8+EP与TP8在DS MoE部署性能MoE的Transformer层执行路径如下：上图是以DP8+EP部署模型的执行流程。一个token进入本地Attention层（完整att）计算后通过路由发送给激活专家所在卡（注意，未必在本地了）做GEMM，最后专家模块返回结果合并输出进入下一层。

知识库增量更新：让“新鲜事”实时可用业务知识每天都在变：新产品上线、政策更新、流程调整。知识库如果不能及时更新，再好用的 RAG 也会“答过时的问题”。

论文复现现场

A100 跑 Qwen3.8-27B，FP8 还是 INT8？显存、速度、精度与微调兼容性怎么选直接结论：在算家云 A100 SXM4 80GB 环境验证 Qwen3.8-27B 时，建议先用 BF16 建立基线，再重点测试 INT8 W8A8。FP8 在 A100 上通常只能走权重-only 兼容路径，不能直接套用 H100 的 FP8 性能结论。

AI 网络安全：攻防的新战线当 AI 越来越强，攻防两端都发生了变化。攻击者用 AI 自动挖掘漏洞、生成钓鱼内容，防守者也开始用 AI 实时识别威胁、自动响应。

冷启动与预热优化大模型服务最尴尬的时刻，往往是“刚启动”的那几分钟——模型要加载、显存要分配，请求全在排队。这个冷启动问题，值得专门优化。

爱上纯净的蓝天

自包含推理一体机四层架构拆解：128G 统一内存、256K 上下文与实测口径现在有一类设备，把推理引擎、计量网关、任务沙箱、智能体编排四层软件预置进一台 1.2 公斤的小机器，通电、接网、登录就能用，不用自己搭环境。这篇文章拆它的分层结构，重点是参数口径和容易踩的坑，所有性能数字都标清来源和边界。

论文复现现场

Llama/Qwen 70B 部署需要几张 RTX 4090？2卡、4卡、8卡显存、量化与 vLLM 选型直接答案：70B/72B 模型用 2 张 RTX 4090 只能主打 4-bit、低并发推理；4 张是量化部署的均衡配置；8 张可以考虑 BF16 或双副本吞吐，但性能不会随卡数线性增长。

11路没有终点

从 0 到 1：华为昇腾部署 Qwen3-30B-A3B 大模型推理服务前置检查命令：⚠️ 官方文档明确：Atlas A2（64GB 单卡）运行 Qwen3-30B-A3B，tensor-parallel-size 至少为 2；如果是 32GB 显存版本则至少 4。910B4 为 64GB，推荐 TP=2 或 TP=4，配合专家并行效果最佳。

MiniMax-H3 : 4卡 H20-3e一套权重部署实践/8卡H200部署优化实测H3-Base 将各模态编码后组织为统一序列，由同一个 Omni Transformer 联合预测视频与音频的潜在表示，再交给各自的 VAE 解码。文字和视觉条件会经过 H3-Encoder，视觉内容还通过 Visual VAE 表示，音频则由 Audio VAE 编码。这使参考素材的类型和长度都可能改变工作量；只验证文本生成，不能覆盖有声视频或混合参考的编码路径。

虎虎(_　_)。゜zｚＺ

FastAPI-lifespan生命周期管理实战先看老写法：看起来没毛病，用的人也不少。但 Starlette 团队废弃它是有道理的：核心问题：startup 和 shutdown 是两个独立函数，但它们要共享的资源和状态只能挂在全局或 app.state 上。

SGLang模型加载过程笔记1.如果dp_size大于1 PP = 2 TP = 2 DP = 1因此会创建：2.如果dp_size大于1 DP Controller 根据轮询、当前请求数或 Token 数，把每个请求交给负载较低的模型副本。

【Audio】Qwen3-TTS-12Hz-1.7B-CustomVoice服务化部署和请求

装了一周环境，还没跑起来一个模型一个工程师的依赖地狱求生手记一　那个让我失眠三晚的周五下午事情是这样的。领导说下周要给客户做一场私有化部署的演示，让我把 Qwen-7B 先跑起来。我看了看那台服务器：单卡 RTX 4090，Ubuntu 22.04，驱动 525，觉得挺稳的。我以为最多两天，毕竟 Qwen-7B 已经是开源社区验证过无数遍的模型。

MiniMax-M3 on A800：部署、Bug 修复与压测完整复盘参考链接：环境变量：系列文章：

DeepSeek V4本地部署实战:联想ThinkStation P7+商红科技全流程交付解析2026年1月,DeepSeek V4正式版发布,以671B参数总规模、MoE架构激活37B参数的创新设计,让企业本地部署AI大模型不再是遥不可及的梦想。但一个现实问题摆在面前:如何选择一台既能跑通DeepSeek V4,又不至于让预算爆表的AI工作站?

GLM-5.2-NVFP4 在 8×A800 上部署实战（下）上篇讲了为什么 A800 跑不了 GLM-5.2，以及如何打补丁、修 API 漂移。本篇进入实操：构建镜像、启动、验证、踩坑和性能数据。配套开源仓库：glm52-nvfp4-a800-vllm-deploy（Gitee）。