gguf

GPUStack15 天前
大模型·huggingface·modelscope·genai·gguf
制作并量化GGUF模型上传到HuggingFace和ModelScopellama.cpp 是 Ollama、LMStudio 和其他很多热门项目的底层实现，也是 GPUStack 所支持的推理引擎之一，它提供了 GGUF 模型文件格式。GGUF (General Gaussian U-Net Format) 是一种用于存储模型以进行推理的文件格式，旨在针对推理进行优化，可以快速加载和运行模型。
Hoper.J1 个月前
人工智能·python·llm·llama·模型量化·gguf·模型本地部署
从加载到对话：使用 Llama-cpp-python 本地运行量化 LLM 大模型（GGUF）（无需显卡）使用 Llama-cpp-python 在本地加载具有 70 亿参数的 LLM 大语言模型，通过这篇文章你将学会用代码创建属于自己的 GPT。 建议阅读完 19a 的「前言」和「模型下载」部分后再进行本文的阅读。
Hoper.J2 个月前
模型量化·gptq·awq·gguf·ggml
GPTQ vs AWQ vs GGUF（GGML） 速览和 GGUF 文件命名规范简单介绍一下四者的区别。参考链接：GPTQ - 2210.17323 | AWQ - 2306.00978 | GGML | GGUF - docs | What is GGUF and GGML?
SpikeKing3 个月前
llama·huggingface·ollama·llama.cpp·大模型部署·gguf·instruct
LLM - 使用 HuggingFace + Ollama 部署最新大模型 (GGUF 格式 与 Llama 3.1)欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://spike.blog.csdn.net/article/details/141028040
伊织code4 个月前
大模型·微调·sft·llama·gguf·unsloth
Unsloth 微调 Llama 3本文参考： https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp 改编自：https://blog.csdn.net/qq_38628046/article/details/138906504
ituff6 个月前
ai·生成式ai·gguf
大模型预训练结果到底是什么？近日参加一个线下 AI 交流会议，会上有个非本行业的老师提问：“大家说的训练好的大模型到底是什么？是像 Word 软件一样可以直接使用的程序吗？” 这个问题看似简单，却一下把我问住了。的确，我们这些身处 AI 领域的人，每天都在谈论“预训练”、“微调”、“大模型”，却很少停下来思考，这些专业术语对于圈外人来说意味着什么。