技术栈
gptq
Hoper.J
2 个月前
模型量化
·
gptq
·
awq
·
gguf
·
ggml
GPTQ vs AWQ vs GGUF(GGML) 速览和 GGUF 文件命名规范
简单介绍一下四者的区别。参考链接:GPTQ - 2210.17323 | AWQ - 2306.00978 | GGML | GGUF - docs | What is GGUF and GGML?
神奇的代码在哪里
2 个月前
人工智能
·
大模型
·
gptq
·
minicpm
·
端侧大模型
MiniCPM3-4B | 笔记本电脑运行端侧大模型OpenBMB/MiniCPM3-4B-GPTQ-Int4量化版 | PyCharm环境
2024年9月5日,面壁智能发布了MiniCPM3-4B,面壁的测试结果声称MiniCPM3-4B表现超越 Phi-3.5-mini-instruct 和 GPT-3.5-Turbo-0125,并且能够比肩 Llama3.1-8B-Instruct、Qwen2-7B-Instruct、GLM-4-9B-Chat 等多个 7B-9B 参数量的模型。
engchina
1 年前
oobabooga
·
gptq
·
awq
·
llama.cpp
·
exl2
本地部署 text-generation-webui
一直喜欢用 FastChat 本地部署大语言模型,今天试一试 text-generation-webui 这个项目。