quantization

紫雾凌寒2 个月前
人工智能·深度学习·自然语言处理·bert·模型压缩·量化·quantization
什么是量化？BERT 模型压缩的秘密武器在自然语言处理（NLP）领域，BERT（Bidirectional Encoder Representations from Transformers） 模型自问世以来，便如同一颗璀璨的明星，迅速成为研究和应用的焦点。它凭借着强大的语言理解能力和卓越的性能表现，在多个 NLP 任务中取得了领先成绩，为整个领域带来了革命性的变化。
Yongqiang Cheng4 个月前
quantization·llama.cpp·ggml
llama.cpp GGML Quantization Type什么神仙妖魔，不过是他们禁锢异族命运的枷锁！GGUF https://huggingface.co/docs/hub/gguf
伊织code10 个月前
llama·量化·autogptq·quantization·awq·quanto·aqlm
Llama - 量化本文翻译整理自： https://llama.meta.com/docs/how-to-guides/quantization/
爱听歌的周童鞋2 年前
pytorch·模型量化·yolov7量化·quantization
TensorRT量化实战课YOLOv7量化：YOLOv7-PTQ量化(一)手写 AI 推出的全新 TensorRT 模型量化实战课程，链接。记录下个人学习笔记，仅供自己参考。该实战课程主要基于手写 AI 的 Latte 老师所出的 TensorRT下的模型量化，在其课程的基础上，所整理出的一些实战应用。