模型量化

Windows Copilot+ PC本地AI开发：2026年NPU编程与模型部署实战指南对 Windows 开发者而言，Copilot+ PC 不再只是“能跑 AI 的电脑”，而是 2026 年端侧智能应用的基础设施。NPU 以极低功耗提供持续推理能力，使隐私敏感、低延迟或离线场景成为可能。然而，NPU 并非 GPU 的替代品——其架构专为 INT8/FP16 量化模型优化，对动态形状、自定义算子支持有限。盲目移植云端模型往往导致性能倒退甚至运行失败。本文聚焦可落地的 NPU 开发范式，将硬件算力转化为可靠的应用能力。

24GB 显存跑 740 亿参数 Agent：Nemotron 3.5 Bolt 本地部署工程拆解 | RiseClaw玄策10 月 15 日，NVIDIA 在官方研究页发布 Nemotron 3.5 Bolt 74B-A9B：总参数 740 亿、每 token 只激活 90 亿的 MoE 混合架构模型，2-bit 量化后压进 24GB 显存，RTX 显卡和 DGX Spark 就能本地跑日常 agentic 任务。agentic 任务流的工程参照可以看 RiseClaw玄策的公开仓库。本文不评产品，只做技术拆解：模型架构怎么设计、22.1GB 的量化权重怎么算出来、24GB 显存预算下 84 TPS 的吞吐怎么达成、本地跑

120B 模型单卡跑起来？拆解 Nemotron 3.5 的压缩三板斧与本地智能体部署▍深耕领域 AI Agent 架构设计 Harness 插件开发 Context Engineering 多智能体协同 & RAG ▍技术底座 Python TypeScript · Cordis 插件 MCP & Skills · FastAPI Docker ▍工程能力专注 Agent 运行时与 Harness 插件开发、长上下文与流式交互优化、LLM 全链路工程化落地

transformers 升级后加载旧权重报错：三处不兼容如何逐一验证本文摘要：升级后加载旧权重报错，配置、定义与张量的失败混杂，难以归因。将一次加载拆成三层逐段验证，让中断位置直接指出不兼容所在。仅凭单一仓库来源，不给出版本级结论，需回仓库核对实现。

爱听歌的周童鞋

MIT 6.5940 | TinyML 与高效 AI 计算 | Fall 2026 | 笔记 | Lecture 1：Introduction学习 MIT 韩松教授讲授的 MIT 6.5940: Tiny ML and Efficient AI Computing 课程，本篇文章记录第一讲：概述的学习内容，和大家一起分享交流😄

论文复现现场

A100 跑 Qwen3.8-27B，FP8 还是 INT8？显存、速度、精度与微调兼容性怎么选直接结论：在算家云 A100 SXM4 80GB 环境验证 Qwen3.8-27B 时，建议先用 BF16 建立基线，再重点测试 INT8 W8A8。FP8 在 A100 上通常只能走权重-only 兼容路径，不能直接套用 H100 的 FP8 性能结论。

论文复现现场

RTX 3090 如何跑 13B 级大模型推理？4-bit AWQ、vLLM 部署与并发调优实战更新时间：2026 年 9 月 20 日适用环境：Linux、NVIDIA RTX 3090 24GB、Docker、CUDA 驱动

智码看视界

Apodex-1.1-mini 部署实测：Int4 量化 18GB 单卡跑通 Agent Team，35B 开源逼近 1T KimiApodex AI（前身 MiroMind）于 2026 年 8 月 24 日发布 Apodex 1.1 模型家族，并同步开源 35B 参数的 Apodex-1.1-mini 权重（Hugging Face：apodex/Apodex-1.1-mini，来源：Apodex 官方公告 / Hugging Face 模型卡）。

weixin_44021329

大模型训练、微调、对齐、推理、量化、优化、数据集等本文汇总了大模型从预训练、持续预训练、后训练微调、RLHF对齐、主动学习、注意力优化、KV缓存、量化、归一化、数据集范式、评测体系等知识。

27届大模型面试准备（十九）：模型量化全攻略——INT8/INT4、GPTQ、AWQ、SmoothQuant 与 KV Cache 量化上一篇《LoRA 与 PEFT 全攻略》讲的是"怎么用最少的可训练参数把模型调好"，属于训练侧省显存。这一篇转到部署侧的省显存主线——量化（Quantization）。它和第十五篇《高效推理全攻略》是一对：那篇讲的是"调度和算子怎么快"，这篇讲的是"数字表示怎么小"。量化几乎是所有推理面试的必问题，因为它同时牵扯数值分析、硬件指令集和工程权衡三层。本文按"为什么要量化 → 量化的数学 → PTQ 三大流派（GPTQ / AWQ / SmoothQuant）→ QAT → KV Cache 量化 → 落地选

带娃的IT创业者

单比特奇迹：如何在本地设备运行 4B 图像生成模型？在生成式 AI 爆发的今天，每一次技术的飞跃似乎都伴随着硬件门槛的提升。当我们谈论最新的图像生成模型时，往往绕不开昂贵的显存需求。H100、A100 这些企业级显卡对于普通开发者而言遥不可及，即便是消费级旗舰 RTX 4090，在面对动辄几十亿参数的大模型时，也常常捉襟见肘。这种“算力焦虑”成为了阻碍 AI 技术普及的高墙。

时光飞逝的日子

基于 RISC-V 架构的边缘 AI 推理引擎优化设计关键词：RISC-V、边缘 AI、推理引擎、向量扩展、模型量化、低功耗优化摘要：针对嵌入式边缘设备算力弱、内存稀缺、功耗受限的行业痛点，依托RISC-V开源指令集模块化、可定制的核心优势，设计一款支持INT8/FP16混合精度推理的轻量化边缘AI推理引擎。结合RVV向量扩展指令级优化、模型量化压缩算法、自适应内存调度策略，全方位优化CNN模型端侧推理效率，在极低精度损耗的前提下，大幅降低推理延迟与设备功耗，可高效落地于工业视觉检测、智能家居感知、端侧智能监控等主流边缘场景。

人工智能【第47篇】深度学习优化：模型压缩与加速技术作者的话：随着深度学习模型越来越庞大（GPT-4有万亿级参数），如何在资源受限的设备上部署这些模型成为一个巨大挑战。模型压缩与加速技术能够在保持模型精度的同时，显著减小模型体积和提升推理速度。本文将深入解析这些技术的原理、方法和实战技巧！

时光飞逝的日子

嵌入式大模型部署：从 LLaMA-3 到 Qwen-1.5，在 RK3588 上实现本地 AI 推理（含模型量化教程）目前多数嵌入式AI场景仍采用云端推理+端侧采集的架构，这种方案在实际落地中存在诸多短板：网络传输延迟不可控、设备依赖网络、用户数据上传存在隐私风险、大规模部署流量成本高昂。

GPTQ大模型量化端到端实战：校准、压缩与部署评估通用流程数据准备 → 模型量化 → 效果评估 → 性能测试 → 部署测试。校准数据的处理思路：多数据源融合，针对不同业务场景进行数据配比优化。

人工智能培训

具身智能如何在保证安全的前提下高效探索学习？具身智能的核心的是通过物理实体与环境的交互获取认知、优化行为，其探索学习本质是“试错—反馈—迭代”的循环。但物理交互的不可逆性（如机器人碰撞损坏、误触危险设备），使得“安全”与“高效”成为核心矛盾——过度强调安全会导致探索保守、学习低效，盲目追求高效则可能引发安全事故。结合当前技术研究成果，需从安全边界构建、学习范式优化、技术协同支撑三个层面系统设计，实现二者动态平衡，让具身智能既能“大胆探索”，也能“守住底线”。

AI核心知识52——大语言模型之Model Quantization（简洁且通俗易懂版）模型量化 (Model Quantization) 是大语言模型落地应用中最实用、最接地气的技术。如果说预训练和微调是在打造一个“天才大脑”，那么量化就是给这个大脑做“瘦身手术”。

【芯芯相印】什么是算法定点化？算法定点化（Algorithm Quantization）是将模型中32位/64位浮点数参数与计算过程转换为8位（或更低）整数的技术，核心价值在于降低算力消耗、减少内存占用、加速推理速度，是边缘设备部署与大模型轻量化的关键技术之一。本文从原理入手，结合PyTorch实战代码，详解定点化的实现流程、精度优化方法与工程实践要点，帮助开发者快速落地定点化模型。

大模型量化技术基础知识学习量化的主要优势包括：静态量化特别适用于以下场景：其中：x：原始浮点数q：量化后的整数scale：缩放因子

使用Ollama在消费级硬件上运行大模型：从环境配置到企业级实战目录摘要1 技术原理与架构设计1.1 Ollama架构设计理念1.2 核心算法实现1.3 性能特性分析