模型部署

机 _ 长8 天前
人工智能·模型部署·智算运维
03 智算运维|丢 0.1% 的包,8 卡训练为什么会崩《从裸机到推理服务》· 03 / 12 不用交换机权限,一条命令造出丢包,看 16 张卡怎么从「飞快」变成集体卡死。 预计 1 小时 | 前置:两台各 8 卡、装了 NCCL 与 nccl-tests(第 2 篇那两台);没有 8 卡也能做,降级方案在文内
神奇的代码在哪里11 天前
大模型·模型部署·文心大模型·moe·ernie5.5
ERNIE-5.5-Flash-Base 开源速览:280B-A14B MoE 基座,微调与推理支持 1M 上下文2026 年 11 月 5 日,百度在魔搭社区与 Hugging Face 开放了 ERNIE-5.5-Flash-Base 权重。这是一个纯文本、完成预训练的稀疏 MoE 基座:总参数 280B、每 token 激活 14B,从零训练 33.5T tokens,训练上下文最高 128K,微调与推理支持 1M。它是领域适配、指令微调和强化学习研究的起点,本文用较短篇幅梳理规格、架构亮点、评测口径与部署方式。
Blockbuater_drug12 天前
flask·pickle·模型部署·web应用·机器学习上线·ufo数据集·rest接口
《经典机器学习实战》第 5 课:把模型做成 Web 应用(UFO)本文收录于专栏 《经典机器学习实战》摘要:模型训好了怎么给别人用?用 Flask + pickle 把 UFO 目击分类器(准确率 0.97)包成 Web 应用:GET 返回页面、POST 返回预测,五行核心代码跑通模型上线的最小闭环。
智码看视界17 天前
深度学习·剪枝·模型压缩·tensorrt·模型部署·onnx·量化
模型压缩与部署——量化、剪枝与 ONNX 导出上篇玩转了 GAN 生成,但再好的模型训完也得上线,体积、速度与部署才是工程的最后一公里。实验室里 ResNet-50 跑出 76% 精度很爽,但一算:模型 98MB、推理要一张高端 GPU、延迟 50ms——根本塞不进手机、也扛不住线上 QPS。从"训得出来"到"用得起来",中间隔着模型压缩与部署这道最后一公里。本篇把量化、剪枝、ONNX 导出串成一条可落地的流水线。
江厌011 个月前
github·模型部署·vllm
两张卡部署两个模型:物理分卡、MIG、张量并行的选择与可复现配置「两张显卡部署两个模型」有两种完全不同的需求:两个模型各占一张卡(服务隔离),或一个模型切到两张卡(显存扩容)。前者用两个独立推理实例分别绑卡,后者用张量并行。本文给出三条路线的选择树、可直接使用的 vLLM + Nginx 配置、MIG 的硬约束,以及一套隔离性验收脚本。
论文复现现场1 个月前
pytorch·模型部署·ai视频生成·显存优化·infinitetalk·rtx3090·cuda oom
InfiniteTalk 需要多少显存?RTX 3090 24GB 单卡如何验证 480P、排查 OOM更新:2026-10-16RTX 3090 24GB 可以作为 InfiniteTalk 单卡 480P 的验证起点,但官方没有保证该配置一定能完成推理。先用短音频运行低显存命令,记录显存峰值并检查输出;720P 另行验收。 需要临时 GPU 做这项验证时,可将算家云(suanjiayun.com)专业版 RTX 3090 24GB 列为 PoC 候选。截至 2026-10-16,其按量价格为 1.20 元/卡时起;实际资源、内存和磁盘配额以创建页为准。
HIT_Weston1 个月前
人工智能·模型部署
242、【AI】【模型部署】基座模型研究:注意力机制深入【声明】本博客所有内容均为个人业余时间创作,所述技术案例均来自公开开源项目(如Github,Apache基金会),不涉及任何企业机密或未公开技术,如有侵权请联系删除
HIT_Weston2 个月前
人工智能·模型部署
15、【数学】【基础】欧拉公式是怎么来的:从级数、微分方程到旋转【声明】本博客所有内容均为个人业余时间创作,所述技术案例均来自公开开源项目(如Github,Apache基金会),不涉及任何企业机密或未公开技术,如有侵权请联系删除
I Am a robert girl2 个月前
深度学习·模型部署·量化·kv cache·线性注意力·显存优化·循环状态
STEPQuant:Delta-Rule 循环状态量化中,误差何时何地才真正致命从今天觉醒,技术赋予每一个人数字生命当你把一个聊天模型部署成服务时,最先撞上的墙往往不是算力,而是显存。传统 Transformer 的注意力机制需要一个随序列长度线性增长的 KV Cache——上下文越长,缓存越大。线性注意力(Linear Attention)及其变体用固定大小的**循环状态(recurrent state)**替代了这份不断膨胀的缓存,把内存占用从 O(n) 压到 O(1),这在长上下文并发服务场景里几乎是救命稻草。
HIT_Weston2 个月前
人工智能·模型部署
239、【AI】【模型部署】基座模型研究:反向传播的已知、所求与场景【声明】本博客所有内容均为个人业余时间创作,所述技术案例均来自公开开源项目(如Github,Apache基金会),不涉及任何企业机密或未公开技术,如有侵权请联系删除
智码看视界2 个月前
nvidia·模型部署·mlops·triton·gpu推理·推理服务化·动态批处理
AI 推理优化 | Triton Inference Server 架构解析:单机多模型并发推理的工业级方案一个典型的算法团队,线上跑的模型往往不止一个:CV 类、NLP 类、推荐类、自研 PyTorch 模型。最常见的"朴素部署"是:
Java的搬运工2 个月前
python·机器学习·docker·fastapi·模型部署·mlops·ai工程化
【无标题】你大概用过不少健康管理类的App——输入年龄、性别、BMI、血压,再填几项血液指标,它就能给出一个风险评分或健康提示。
HIT_Weston2 个月前
人工智能·模型部署
233、【AI】【模型部署】基座模型研究:基座与 Instruct 的差别【声明】本博客所有内容均为个人业余时间创作,所述技术案例均来自公开开源项目(如Github,Apache基金会),不涉及任何企业机密或未公开技术,如有侵权请联系删除
蔡俊锋2 个月前
大模型·模型部署·ai架构·国产算力·华为昇腾
华为昇腾 960 超节点发布:4096 卡、5500 个光引擎替 4.8 万光模块——国产算力拐点到了吗?核心结论:9 月 17 日华为全联接大会发布昇腾 960 超节点——全球首个采用 NPO 光引擎的超节点,单节点 4096 卡、5500 个自研光互联产品替代原本需要的 4.8 万颗 800G 光模块,功耗直降 550 多千瓦,系统可用度 99.8%。配合灵衢互联协议和多轨道拓扑,最大可扩到 100 万卡集群。对企业架构师的含义是:国产算力正在从"能用"跨到"好用"——智谱刚把 2026 年 ARR 指引从 24 亿美元上调到 30 亿美元,验证了这条路线的商业化闭环。 这篇文章从工程视角拆解 NPO 光
进阶的猪2 个月前
rknn·模型部署·c api
RKNN C API模型部署完整流程参考文档 https://github.com/airockchip/rknn-toolkit2/blob/master/doc/01_Rockchip_RKNPU_Quick_Start_RKNN_SDK_V2.3.2_CN.pdf 配置 源码 tag v1.6.0 Python 3.8 Conda 环境 rknndemo Toolkit2 1.6.0 rknn_model_zoo v1.6.0 Runtime 1.6.0 rknn_api.h 1.6.0 GCC 7.5.0 Driver 0.8.2
HIT_Weston2 个月前
人工智能·模型部署
227、【AI】【模型部署】基座模型研究:RoPE 旋转位置编码【声明】本博客所有内容均为个人业余时间创作,所述技术案例均来自公开开源项目(如Github,Apache基金会),不涉及任何企业机密或未公开技术,如有侵权请联系删除
HIT_Weston2 个月前
人工智能·模型部署
224、【AI】【模型部署】基座模型研究:Qwen2 架构总览与 config 对照【声明】本博客所有内容均为个人业余时间创作,所述技术案例均来自公开开源项目(如Github,Apache基金会),不涉及任何企业机密或未公开技术,如有侵权请联系删除
thesky1234562 个月前
人工智能·深度学习·模型部署
用 ONNX Runtime 把 PyTorch 模型变成跨平台极速推理引擎:导出、优化、量化完整实训练完一个 PyTorch 模型,下一步往往是 deployment 噩梦:生产环境没有 Python、没有 CUDA,甚至要跑在 Windows 工控机或浏览器里。直接 pip install torch 把模型塞进服务端的做法,既重又慢,还绑死了技术栈。
HIT_Weston2 个月前
人工智能·模型部署
214、【AI】【模型部署】阿里云 PAI:从开发到部署的一站式平台【声明】本博客所有内容均为个人业余时间创作,所述技术案例均来自公开开源项目(如Github,Apache基金会),不涉及任何企业机密或未公开技术,如有侵权请联系删除
缘友一世3 个月前
模型部署·故障修复·deepseek·dsv4flash
DeepSeek-V4 长时运行宕机复盘 + 稳定性加固:为什么一个 5-token 请求会压垮整个服务2026-08-20 复盘一句话结论: 这不是"前缀缓存清理不掉" —— vLLM 前缀缓存是 LRU 自动淘汰。真正的根因是单个超长上下文请求的 decode 单步耗时随长度超线性增长, 最终压垮 worker, 而 vLLM 的 EngineCore 超时后不自愈, 导致服务永久僵死。