ggml

Yongqiang Cheng1 个月前
quantization·llama.cpp·ggml
llama.cpp GGML Quantization Type什么神仙妖魔，不过是他们禁锢异族命运的枷锁！GGUF https://huggingface.co/docs/hub/gguf
Yongqiang Cheng2 个月前
llama.cpp·ggml·whisper.cpp·georgi gerganov
Georgi Gerganov - ggml - llama.cpp - whisper.cpphttps://github.com/ggerganov https://ggerganov.com/
Hoper.J5 个月前
模型量化·gptq·awq·gguf·ggml
GPTQ vs AWQ vs GGUF（GGML） 速览和 GGUF 文件命名规范简单介绍一下四者的区别。参考链接：GPTQ - 2210.17323 | AWQ - 2306.00978 | GGML | GGUF - docs | What is GGUF and GGML?
HuggingFace6 个月前
hugging face·ggml
ggml 简介ggml 是一个用 C 和 C++ 编写、专注于 Transformer 架构模型推理的机器学习库。该项目完全开源，处于活跃的开发阶段，开发社区也在不断壮大。ggml 和 PyTorch、TensorFlow 等机器学习库比较相似，但由于目前处于开发的早期阶段，一些底层设计仍在不断改进中。