llama-Factory不宜直接挂接Ollama的大模型

前言

llama-Factory尝试使用Ollama本地安装的大模型。

一、在Ollama中安装QWen

安装qwen:0.5b

安装完成了:

同理安装qwen2.5:0.5b

安装完毕后,再用ollama list进行查看:

我们在chatbox中进行查看:

说明这两个大模型,已经通过Ollama安装到了本地。

二、试图在llama-Factory中挂接Ollama中的大模型

Llama-Factory起初启动的页面是这样,这两个框中是空的:

我们可以在Model Path当中填入Ollama中models的路径,具体如下:

如上图,我们惊奇的发现,随着有些models路径的填入,左侧模型下拉列表也出现了,

我们可以选择模型了。

于是,我选择了Qwen2.5:0.5B,如下图:

选择自带的数据集尝试微调:

会发现一堆错误,模型Load失败,如下图:

难道是llama-factory不适合从Ollama上加载模型么?

(或者说Ollama已经加载了模型,再用llama-factory来加载,是否造成了冲突)

错误的原因主要是:llama-Factory加载的模型需要是huggingface的,从魔搭社区下载比较合适。

相关推荐
leeyi2 分钟前
ADK 入门:不写图,也能搭 Agent
aigc·agent·ai编程
Oo9205 分钟前
LLM 分词与嵌入:从文本到向量,模型如何"读懂"你的输入
人工智能
Databend1 小时前
在 AWS 中国峰会逛了一天,我在 Databend 展台看到了 Agent 数据基础设施的新思路
数据库·人工智能·agent
米小虾2 小时前
从 Prompt 到 Loop:2026 年 AI 工程师必须掌握的 Loop Engineering 实战指南
人工智能·agent
Bigger2 小时前
我写了一个AI图像视频生成工具,免费API+本地部署,分享给大家
人工智能·图像识别·音视频开发
神奇小汤圆2 小时前
LLM 记忆系统:从 Markdown 知识库到 Self-Governing Repo
人工智能
程序员cxuan2 小时前
GPT-5.6 还不发布?不过大家可以先看看 Codex 的白皮书。
人工智能·后端·程序员
槑有老呆2 小时前
Token 与 Embedding:大模型理解语言的起点
agent
七牛开发者2 小时前
MCP 到底是什么?为什么 Agent 都想接上它
算法·aigc·agent
黑暗森林观察者2 小时前
Gemini 3.5 Flash 把"操作电脑"塞进了模型——AI从"能说"到"能动手"
人工智能·gemini