llama-Factory不宜直接挂接Ollama的大模型

前言

llama-Factory尝试使用Ollama本地安装的大模型。

一、在Ollama中安装QWen

安装qwen:0.5b

安装完成了:

同理安装qwen2.5:0.5b

安装完毕后,再用ollama list进行查看:

我们在chatbox中进行查看:

说明这两个大模型,已经通过Ollama安装到了本地。

二、试图在llama-Factory中挂接Ollama中的大模型

Llama-Factory起初启动的页面是这样,这两个框中是空的:

我们可以在Model Path当中填入Ollama中models的路径,具体如下:

如上图,我们惊奇的发现,随着有些models路径的填入,左侧模型下拉列表也出现了,

我们可以选择模型了。

于是,我选择了Qwen2.5:0.5B,如下图:

选择自带的数据集尝试微调:

会发现一堆错误,模型Load失败,如下图:

难道是llama-factory不适合从Ollama上加载模型么?

(或者说Ollama已经加载了模型,再用llama-factory来加载,是否造成了冲突)

错误的原因主要是:llama-Factory加载的模型需要是huggingface的,从魔搭社区下载比较合适。

相关推荐
飞哥数智坊2 分钟前
深夜1点被粉丝问懵?10分钟打造“AI分身”接管公众号答疑,亲测好用!
人工智能
Gsen28194 分钟前
AI大模型从0到1记录学习 大模型技术之机器学习 day27-day60
人工智能·学习·机器学习
四川兔兔6 分钟前
pytorch 之 nn 库与调试
人工智能·pytorch·python
終不似少年遊*17 分钟前
机器学习方法实现数独矩阵识别器
人工智能·python·opencv·机器学习·计算机视觉·矩阵
技术程序猿华锋37 分钟前
重新定义 AI 协同:三款开源 MCP 工具开启智能体从“聊天”到“操控”
人工智能·开源
「、皓子~1 小时前
AI创作系列(2):UniApp跨端开发实战 - 海狸IM移动端完全由AI编写
开发语言·人工智能·uni-app·开源·vue·开源软件·ai编程
Sui_Network1 小时前
WAYE.ai 为Sui 上 AI 的下一个时代赋能
大数据·前端·人工智能·物联网·游戏
BAOYUCompany1 小时前
暴雨亮相2025中关村论坛数字金融与金融安全大会
大数据·人工智能
ZHOU_WUYI1 小时前
pocketflow库实现guardrail
agent·pocketflow
星火飞码iFlyCode2 小时前
【无标题】
java·前端·人工智能·算法