技术栈

quantization

紫雾凌寒
1 个月前
人工智能·深度学习·自然语言处理·bert·模型压缩·量化·quantization
什么是量化?BERT 模型压缩的秘密武器在自然语言处理(NLP)领域,BERT(Bidirectional Encoder Representations from Transformers) 模型自问世以来,便如同一颗璀璨的明星,迅速成为研究和应用的焦点。它凭借着强大的语言理解能力和卓越的性能表现,在多个 NLP 任务中取得了领先成绩,为整个领域带来了革命性的变化。
Yongqiang Cheng
3 个月前
quantization·llama.cpp·ggml
llama.cpp GGML Quantization Type什么神仙妖魔,不过是他们禁锢异族命运的枷锁!GGUF https://huggingface.co/docs/hub/gguf
伊织code
10 个月前
llama·量化·autogptq·quantization·awq·quanto·aqlm
Llama - 量化本文翻译整理自: https://llama.meta.com/docs/how-to-guides/quantization/
爱听歌的周童鞋
2 年前
pytorch·模型量化·yolov7量化·quantization
TensorRT量化实战课YOLOv7量化:YOLOv7-PTQ量化(一)手写 AI 推出的全新 TensorRT 模型量化实战课程,链接。记录下个人学习笔记,仅供自己参考。该实战课程主要基于手写 AI 的 Latte 老师所出的 TensorRT下的模型量化,在其课程的基础上,所整理出的一些实战应用。