llama-Factory不宜直接挂接Ollama的大模型

前言

llama-Factory尝试使用Ollama本地安装的大模型。

一、在Ollama中安装QWen

安装qwen:0.5b

安装完成了:

同理安装qwen2.5:0.5b

安装完毕后,再用ollama list进行查看:

我们在chatbox中进行查看:

说明这两个大模型,已经通过Ollama安装到了本地。

二、试图在llama-Factory中挂接Ollama中的大模型

Llama-Factory起初启动的页面是这样,这两个框中是空的:

我们可以在Model Path当中填入Ollama中models的路径,具体如下:

如上图,我们惊奇的发现,随着有些models路径的填入,左侧模型下拉列表也出现了,

我们可以选择模型了。

于是,我选择了Qwen2.5:0.5B,如下图:

选择自带的数据集尝试微调:

会发现一堆错误,模型Load失败,如下图:

难道是llama-factory不适合从Ollama上加载模型么?

(或者说Ollama已经加载了模型,再用llama-factory来加载,是否造成了冲突)

错误的原因主要是:llama-Factory加载的模型需要是huggingface的,从魔搭社区下载比较合适。

相关推荐
可乐奶茶sky几秒前
AI Agent 学习
人工智能·学习
TsingtaoAI几秒前
3D高斯泼溅技术发展及其在具身智能领域的应用综述
人工智能·算法·ai·具身智能·高斯泼溅
神奇小汤圆8 分钟前
面试官:Agent意图识别怎么做?95%的人一句话就把自己送走了
人工智能
兜客互动24 分钟前
2026年AI关键词拓展挖掘软件,高效助力内容创作精准获流
人工智能·python
AI的探索之旅28 分钟前
AI辅助原理图评审:电源去耦、BOOT引脚、VCAP——19项逐一核查,遗漏?不存在的
人工智能·vscode·嵌入式硬件
武子康36 分钟前
Kimi K3 2.8T:开放权重不等于本地可跑 超稀疏 MoE、百万上下文与真实部署边界
人工智能
老刘说AI1 小时前
AI服务核心: 高并发原理与性能监控调优
人工智能·神经网络·langchain·llama·持续部署
GeekArch1 小时前
第24讲:Vibe模式代码风格控制——适配Keil/STM32工程规范
人工智能·stm32·单片机·嵌入式硬件·mcu·决策树·ai编程
二川bro1 小时前
从提示工程→Loop循环→Graph图架构,2026AI开发者终极演进路线
人工智能