llama-Factory不宜直接挂接Ollama的大模型

前言

llama-Factory尝试使用Ollama本地安装的大模型。

一、在Ollama中安装QWen

安装qwen:0.5b

安装完成了:

同理安装qwen2.5:0.5b

安装完毕后,再用ollama list进行查看:

我们在chatbox中进行查看:

说明这两个大模型,已经通过Ollama安装到了本地。

二、试图在llama-Factory中挂接Ollama中的大模型

Llama-Factory起初启动的页面是这样,这两个框中是空的:

我们可以在Model Path当中填入Ollama中models的路径,具体如下:

如上图,我们惊奇的发现,随着有些models路径的填入,左侧模型下拉列表也出现了,

我们可以选择模型了。

于是,我选择了Qwen2.5:0.5B,如下图:

选择自带的数据集尝试微调:

会发现一堆错误,模型Load失败,如下图:

难道是llama-factory不适合从Ollama上加载模型么?

(或者说Ollama已经加载了模型,再用llama-factory来加载,是否造成了冲突)

错误的原因主要是:llama-Factory加载的模型需要是huggingface的,从魔搭社区下载比较合适。

相关推荐
阿弱2 小时前
从Plan-Execute到混合PEV:一个运维诊断Agent的架构演进实录
llm·agent
烬羽2 小时前
Worker 里的推理引擎:消息怎么来,Token 怎么回
人工智能·llm·deepseek
Being--2 小时前
搭建OsgEarth验证GIS数据发布服务的Agent
gis·agent·osgearth·ai落地
2601_957879332 小时前
没有视频团队的跨境电商,如何利用AI建立短视频内容生产体系?
大数据·人工智能
Yao.Li2 小时前
踩坑 5090 编译构建 Paddle 源码
人工智能·深度学习·飞桨·paddle
Canace2 小时前
给 Claude 一个链接,它真的读了原文吗
前端·人工智能·ai编程
星火10242 小时前
【LangChain4j系列01】LangChain4j 快速入门与核心概念
java·人工智能
阿宇的技术日志2 小时前
美团图灵 Agent 评测文章学习:从 “打分“ 到 “基建“,Agent 评测的认知升级
人工智能·agent 评测
武子康2 小时前
GPT-Live 与 GPT-Realtime:产品模型和公开 API 不应混写
人工智能·chatgpt·agent
zhongerzixunshi2 小时前
健全创新激励机制,激活企业发展内生动力
大数据·人工智能