技术栈
ggml
Hoper.J
2 个月前
模型量化
·
gptq
·
awq
·
gguf
·
ggml
GPTQ vs AWQ vs GGUF(GGML) 速览和 GGUF 文件命名规范
简单介绍一下四者的区别。参考链接:GPTQ - 2210.17323 | AWQ - 2306.00978 | GGML | GGUF - docs | What is GGUF and GGML?
HuggingFace
3 个月前
hugging face
·
ggml
ggml 简介
ggml 是一个用 C 和 C++ 编写、专注于 Transformer 架构模型推理的机器学习库。该项目完全开源,处于活跃的开发阶段,开发社区也在不断壮大。ggml 和 PyTorch、TensorFlow 等机器学习库比较相似,但由于目前处于开发的早期阶段,一些底层设计仍在不断改进中。