pytorch

Smoothcloud润云

PyTorch推理服务模型热切换与失败回滚实战：降低版本更新中断在GPU算力平台完成推理部署后，模型仍会持续更新。如果直接覆盖正在使用的权重文件，服务可能读到不完整内容；如果停止旧进程再启动新进程，又会产生不可用窗口。更稳妥的方法是先加载候选版本、完成健康检查，再原子切换流量，并保留快速回滚入口。

第 22 课：Conditional 1D U-Net——Diffusion Policy 怎样理解一整段未来动作？上一课我们已经完成了 Diffusion Policy 最重要的一段数学基础：从前向加噪的概率模型出发，理解网络如何预测噪声，以及 DDPM 如何逐步生成动作。

26.网络模型的保存与读取model_save.pymodel_load.pymodel_save.pystate_dict: 将模型参数保存为Python字典格式仅保存模型参数加载时需要先重建模型结构再加载参数

【从零开始大模型开发与微调:基于PyTorch与ChatGLM】(开源大模型ChatGLM高级定制化应用实战)在前一面我们介绍了ChatGLM的基本内容,并介绍了ChatGLM的一些常用应用,例如使用ChatGLM完成一些基本的场景问答以及特定信息抽取等.除此之外,ChatGLM还可以完成一些更高级的任务和应用,例如通过提供的文档完成基于特定领域文档内容的知识问答等.不同类型的本地知识库可能对应不同的应用场景.例如,在问答系统中,可以使用维基百科或其他在线百科全书作为本地知识库,以便回答用户的常见问题.在客服对话系统中,可以使用公司内部的产品文档或常见问题解答作为本地知识库,以便回答用户关于产品的问题.在聊天机器

Smoothcloud润云

PyTorch大模型权重加载与启动耗时优化实战：定位磁盘、内存与显存瓶颈在GPU算力平台进行大模型训练或推理部署时，模型可能几十秒甚至数分钟都停留在“加载权重”，GPU利用率却接近零。此时更换高性能显卡不一定有效，因为瓶颈往往位于文件读取、反序列化、CPU内存复制或权重分片方式。

GitHub今日热榜 | 2026-10-12：pytorch 上升四位前三名连续两天一模一样，rea、AnyPS5、artcraft 的名次没动，单日增量却全线下滑：rea 从 25,793 回落到 25,599，AnyPS5 从 5,805 降到 3,952，artcraft 从 3,222 降到 2,957。头部不是更热，是在高位横盘。唯一向上爬的是 pytorch：昨天第十，今天第六，单日增量从 84 涨到 315，接近四倍，是五个持续上榜项目里排名和增量双升的唯一一个。跌出榜单的五席全部只待了一天，昨天新进的 context-mode、skills、flutte

论文复现现场

YOLO26 单卡 RTX 4090 24GB 训练教程：自定义数据集、显存优化与云 GPU 部署摘要： YOLO26 如何使用自己的数据集训练？单张 RTX 4090 24GB 显存够不够？本文基于 Ultralytics YOLO26，介绍从 CUDA/PyTorch 环境配置、数据集标注、data.yaml 编写，到模型训练、mAP 验证、CUDA OOM 优化及断点续训的完整流程。同时结合算家云 RTX 4090 云 GPU，介绍青春版 Air 与专业版 Pro 的价格、功能差异和适用场景，帮助没有本地高性能显卡的开发者选择合适的训练方案。

第一部分：ACT 阶段总结——从 Behavior Cloning 到完整的 Transformer Action Policy经过第 1～19 课，我们已经从最简单的神经网络训练，逐步走到了第一个完整的机器人操作学习模型：ACT（Action Chunking with Transformers）。

PyTorch强化学习实战（28）——遗传算法在强化学习中的应用我们已经学习了进化策略 (Evolution Strategies, ES) 这一黑盒优化方法在强化学习 (Reinforcement Learning, RL) 中的应用，黑盒优化方法在大规模 RL 问题中具有适用性，并能与价值迭代和策略梯度方法竞争。尽管存在时间较长，这类方法在某些情境下仍然更具效率。具体而言，本节将介绍另一类黑盒优化方法：遗传算法。

Smoothcloud润云

PyTorch推理服务动态批处理实战：兼顾吞吐与延迟在GPU算力平台进行推理部署时，逐请求执行往往无法充分利用GPU；直接等待固定大批次，又会让低流量请求延迟过高。动态批处理通过“最大批量+短等待窗口”收集请求，在吞吐和响应时间之间取得平衡。本文用PyTorch和异步队列搭建最小实现，并给出压测与回退方法。

Smoothcloud润云

PyTorch推理请求超时与取消处理实战在GPU算力平台进行推理部署时，客户端超时并不代表服务器已经停止计算。如果请求断开后后台任务仍继续排队、预处理和占用GPU，流量高峰会出现“用户已放弃，算力仍被消耗”的情况。本文从超时分层、队列截止时间、取消标记和结果回收入手，构建可控的PyTorch推理链路。

Python打卡第36天@浙大疏锦行0102030405060708091011121314151617181920212223

程序猿阿森

混合精度详解：FP16 vs BF16，Loss Scaling 与 PyTorch 实战随着模型规模越来越大，FP32 全精度训练越来越吃力：显存不够、速度慢、成本高。混合精度通过“低精度计算 + 高精度存储”的方式，在几乎不损失模型精度的前提下，大幅降低显存占用、提升训练速度。今天就来详细聊聊这项技术。

Είναι η κοπέλα

模型量化完全指南：GGUF、GPTQ、AWQ 怎么选同一份权重，为什么发布页上挂着一串 Q4_K_M、Q8_0、AWQ 后缀？4bit 省下的是什么、丢掉的又是什么？前几篇里这些词反复出现，这一篇集中说清：量化的本质（显存为什么能除以二、除以四）、GGUF / GPTQ / AWQ 三套体系各自的适用范围，以及选档位的真实标准——不是"谁压得最狠"，而是"你的显存配哪一档最划算"。

根据时戳从pytorch trace中获取kernel信息需要使用https://ui.perfetto.dev/打开trace信息的json文件。trace_pro.py

【从零开始大模型开发与微调:基于PyTorch与ChatGLM】(开源大模型ChatGLM使用详解)近几年,大模型技术的发展速度越来越快,但对于很多刚接触这一领域的开发者来说,真正的难点往往不是“知道有哪些模型”,而是如何把一个开源大模型真正跑起来、用起来,并进一步完成自己的应用开发.从环境配置、模型下载,到推理调用、参数设置、对话交互,再到后续的微调与部署,每一步都会遇到不少实际问题.在众多开源大模型中,ChatGLM 对中文场景支持较好,同时具备较完整的开源生态,非常适合作为学习大模型开发的入门对象.因此,本篇将围绕 ChatGLM 的实际使用展开,结合PyTorch,从模型获取、环境搭建、加载运

电池热管理仿真的AI加速：用Python+PINN物理信息神经网络替代传统CFD的可行性探索🔍 你认为PINN在电池热管理领域的近期最可能落地场景是什么？A. 单体/模组级温度场快速预测（设计优化迭代）

Είναι η κοπέλα

llama.cpp 与 GGUF 格式：本地大模型的“裸引擎“本篇拆到"发动机"层：llama.cpp 是什么、GGUF 为什么成为本地模型的主流容器格式、Windows/Linux 怎么获取、llama-cli 怎么跑模型、llama-server 怎么起 OpenAI 兼容服务。适合想搞懂底层、想榨性能、想把自己应用接到轻量级推理服务上的人。读完你会：拿到 llama.cpp 可执行文件、跑通第一个 .gguf 模型、理解 Q4_K_M/Q8_0 量化档位、用 curl 调通 8080 端口的 /v1/chat/completions。

头发够用的程序员

TensorRT 自定义算子插件实战（三）：手搓 2×2 最大池化 customMaxpool承接《TensorRT 自定义算子插件实战》系列前两篇：第一篇 customScaledTanh（单输入、逐元素、带参）、第二篇 customGatedTanh（双输入、融合、带参）。本篇实现第三个形态、也是真正拉开差距的一个：customMaxpool——一个 2×2 核、stride=1、无参数的窗口算子。它的难点不再是"多输入"，而是两个全新问题：算子没有参数（参数机制整个被砍掉）、输出尺寸发生变化（不再等于输入）。这三个算子加起来，正好覆盖了自定义插件的三大典型形态。

for_ever_love__

PyTorch 张量与 autograd——自动求导怎么工作承上：上一篇《神经网络与反向传播原理》我们手推了每一个梯度，写得很爽也很累。本篇：本篇把它交给 PyTorch：Tensor、requires_grad、backward 自动求导。