ollama 导入GGUF模型文件

GGUF模型导入

1 编写Modelfile文件

1:创建一个文本文件,建议改名为模型名,扩展名为Modelfile。 比如你下载的模型文件名是llama-8b.gguf,那这个文件名就叫llama-8b.modelfile

2:用记事本编辑文件添加模型文件地址:FROM ./llama-8b.gguf

3: 在命令行中执行指令转换模型 ollama create llama-8b -f llama-8b.modelfile

完成转换的模型会提示success

  1. 测试一下。命令行输入ollama run llama-8b "hi who are u?"看有没有回复

这啥模型。回复的都是些啥啊。。

打开ui交互界面,看看模型选择,也有了

相关推荐
Lethehong7 分钟前
昇腾Atlas 800T平台下Qwen-14B大语言模型的SGLang适配与性能实测
人工智能·语言模型·sglang·昇腾npu
杜子不疼.8 分钟前
Spring AI 与向量数据库:构建企业级 RAG 智能问答系统
数据库·人工智能·spring
ayingmeizi16310 分钟前
AI CRM赋能全链路数字化如何重塑医械企业渠道竞争力?
人工智能
————A12 分钟前
从 RAG 召回失败到故障链推理
人工智能·rag
Chase_______1 小时前
AI提效指南:Nano Banana 生成精美PPT与漫画
人工智能·powerpoint
雨大王5121 小时前
汽车产业供应链优化的可行策略及案例分析
人工智能·机器学习
禁默1 小时前
在昇腾 NPU上压测 Qwen1.5-MoE:AtomGit 云端部署全记录
大模型·ascend·昇腾npu·atlas 800t
梁辰兴1 小时前
三星自研GPU剑指AI芯片霸权,2027年能否撼动英伟达?
人工智能·gpu·芯片·电子·ai芯片·三星·梁辰兴
吴佳浩8 小时前
Python入门指南(七) - YOLO检测API进阶实战
人工智能·后端·python
tap.AI8 小时前
RAG系列(二)数据准备与向量索引
开发语言·人工智能