技术栈
大模型量化方案
a flying bird
2026-01-02 9:31
null
https://zhuanlan.zhihu.com/p/6281447174
大模型量化概述
量化感知训练:
大模型量化感知训练技术原理:LLM-QAT
大模型量化感知微调技术原理:QLoRA
训练后量化:
大模型量化技术原理:GPTQ、LLM.int8()
大模型量化技术原理:SmoothQuant
大模型量化技术原理:AWQ、AutoAWQ
大模型量化技术原理:SpQR
大模型量化技术原理:ZeroQuant系列
大模型量化技术原理:FP8
大模型量化技术原理:FP6
大模型量化技术原理:KIVI、IntactKV、KVQuant
大模型量化技术原理:Atom、QuaRot
大模型量化技术原理:QoQ量化及QServe推理服务系统
大模型量化技术原理:FP4
大模型量化技术原理:总结
大模型
量化
上一篇:
bash前面的(base)实现的原理
下一篇:
技能学习的隐形陷阱:理论过载(Theory Overload)与高效学习框架
相关推荐
console.log('npc')
2 小时前
Grill-Me 技能使用教程
前端
·
大模型
·
产品
·
skill
·
需求
2601_96694965
3 小时前
如何判断盘中最新价相对昨日收盘涨跌幅,并实时触发止盈止损条件单:QuantDash Python 实战
开发语言
·
python
·
量化策略
·
量化
·
quantdash
guwentian
3 小时前
不用显卡也能跑大模型?GGUF 量化与 llama.cpp 本地推理实战
大模型
·
token
·
gguf
thesky123456
4 小时前
27届大模型面试准备(五十九):大模型推理引擎内核深度剖析——PagedAttention、调度器与显存管理
大模型
·
vllm
·
flashattention
·
推理引擎
·
pagedattention
·
连续批处理
·
显存管理
SelectDB技术团队
5 小时前
Apache Doris 在内容 AI 生产链路中的实践:从内容打标到可追溯数据链路
大数据
·
人工智能
·
大模型
·
向量检索
·
混合搜索
·
ai 打标
·
内容分析
像风一样自由2020
5 小时前
14.什么时候用pgvector什么时候单独部署Milvus
postgresql
·
大模型
·
微调
·
milvus
xier_ran
17 小时前
【infra之路】AWQ 详解:激活感知权重保护,让 W4A16 量化精度超越 GPTQ
线性代数
·
算法
·
机器学习
·
量化
·
infra
像风一样自由2020
1 天前
13.pgvector入门用PostgreSQL直接实现向量检
人工智能
·
postgresql
·
大模型
·
rag
·
智能体
liuyunshengsir
1 天前
基于海光DCU的AI音乐翻唱全流程落地实战
人工智能
·
大模型
·
音频
·
dcu
小七-七牛开发者
1 天前
Agent 小知识 | Skill 的设计与生命周期:从工具接口到能力模块
ai
·
大模型
·
agent
·
token
·
工作流
·
claudecode
·
ai coding
热门推荐
01
国内可直接用、免费额度/永久免费的大模型API清单(含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等)
02
GitHub 镜像站点
03
2026 国产 AI 大模型横评:DeepSeek、通义千问、Kimi、文心一言、星火、豆包谁更能打?
04
历年考研数学一、数学二、数学三真题试卷及答案PDF
05
微信历史版本含下载地址( Windows PC | 安卓 | MAC )及设置微信不更新
06
AI 编程 IDE 全景解析 2026:Agent 全面接管开发链路
07
Agnes AI 免费 API 接入指南:文本、生图、生视频,一套接口全免费
08
VSCode+CodeX扩展,无法启动
09
如何新建文件夹? 电脑新建文件夹的4种方法
10
2026年7月AI圈大地震:GPT-5.6被政府限制、Claude入驻Slack、Anthropic自研芯片