ollama 导入GGUF模型文件

GGUF模型导入

1 编写Modelfile文件

1:创建一个文本文件,建议改名为模型名,扩展名为Modelfile。 比如你下载的模型文件名是llama-8b.gguf,那这个文件名就叫llama-8b.modelfile

2:用记事本编辑文件添加模型文件地址:FROM ./llama-8b.gguf

3: 在命令行中执行指令转换模型 ollama create llama-8b -f llama-8b.modelfile

完成转换的模型会提示success

  1. 测试一下。命令行输入ollama run llama-8b "hi who are u?"看有没有回复

这啥模型。回复的都是些啥啊。。

打开ui交互界面,看看模型选择,也有了

相关推荐
人工智能AI技术6 分钟前
GitHub Copilot免费替代方案:大学生如何用CodeGeeX+通义灵码搭建AI编程环境
人工智能
Chunyyyen7 分钟前
【第三十四周】视觉RAG01
人工智能·chatgpt
是枚小菜鸡儿吖8 分钟前
CANN 算子开发黑科技:AI 自动生成高性能 Kernel 代码
人工智能·科技
hqyjzsb15 分钟前
盲目用AI提效?当心陷入“工具奴”陷阱,效率不增反降
人工智能·学习·职场和发展·创业创新·学习方法·业界资讯·远程工作
Eloudy22 分钟前
用 Python 直写 CUDA Kernel的技术,CuTile、TileLang、Triton 与 PyTorch 的深度融合实践
人工智能·pytorch
神的泪水23 分钟前
CANN 实战全景篇:从零构建 LLM 推理引擎(基于 CANN 原生栈)
人工智能
yuanyuan2o224 分钟前
【深度学习】全连接、卷积神经网络
人工智能·深度学习·cnn
八零后琐话28 分钟前
干货:Claude最新大招Cowork避坑!
人工智能
汗流浃背了吧,老弟!1 小时前
BPE 词表构建与编解码(英雄联盟-托儿索语料)
人工智能·深度学习