本地模型编译使用

下载 Qwen2.5-0.5B-Instruct-Q5_0.gguf

Qwen2.5-0.5B-Instruct-Q5_0.gguf

编写 Modelfile 配置文件

在你的 .gguf 模型文件所在目录,创建一个名为 Modelfile 的文本文件(注意:没有任何后缀名),然后用文本编辑器打开它

F:\ollamamodels>type nul > Modelfile

python 复制代码
FROM ./Qwen2.5-0.5B-Instruct-Q5_0.gguf

PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER repeat_penalty 1.05
PARAMETER top_k 20

SYSTEM """You are Qwen, created by Alibaba Cloud. You are a helpful assistant."""

关键点说明:

FROM ./Qwen2.5-0.5B-Instruct-Q5_0.gguf: 这行指定了要导入的模型文件。路径可以是相对于 Modelfile 的相对路径(如示例所示),也可以是绝对路径。

PARAMETER: 这些参数控制模型生成文本的随机性和多样性,你可以根据自己的需求调整。

SYSTEM: 设置系统提示词,定义模型的基本人设

第二步:导入模型到 Ollama

打开终端(Terminal)或命令提示符(CMD),首先使用 cd 命令切换到你的 Modelfile 和 .gguf 文件所在的目录。

然后执行以下命令来创建模型

lua 复制代码
ollama create qwen2.5-0.5b-instruct -f Modelfile

这个命令会根据 Modelfile 的配置,将 .gguf 文件导入并创建一个名为 qwen2.5-0.5b-instruct 的Ollama模型

第三步:运行模型

导入成功后,就可以像运行其他 Ollama 模型一样,直接运行它了

arduino 复制代码
ollama run qwen2.5-0.5b-instruct

查看本地有的模型

复制代码
ollama list

使用指定的显卡

arduino 复制代码
set CUDA_VISIBLE_DEVICES=0,1 && ollama run qwen2.5-0.5b-instruct

ollama ps
显示使用的是CPU, 因为内存不足

更完整的模板

上面的 Modelfile 是一个基础版本。如果你希望模型支持聊天模板或工具调用等高级功能,可以参考官方的文档,在 Modelfile 中添加更复杂的 TEMPLATE 指令

配置win10 开机启动模型

arduino 复制代码
操作步骤:使用 Windows 任务计划程序
这种方式比把快捷方式放进"启动"文件夹更稳定,也能更好地控制延迟启动等条件。

打开任务计划程序:按 Win + R 键,输入 taskschd.msc,然后回车。

创建任务:在右侧的操作面板中,点击 "创建任务..."。

设置常规属性:

在"常规"选项卡中,给任务起个名字,比如 OllamaAutoStart。

为了确保它能顺利运行,可以勾选 "使用最高权限运行"。

设置触发条件:

切换到"触发器"选项卡,点击 "新建..."。

在"开始任务"下拉菜单中,选择 "登录时",然后点击"确定"。

设置执行动作:

切换到"操作"选项卡,点击 "新建..."。

"操作"选择 "启动程序"。

在"程序或脚本"框中,填写 ollama 的完整路径,通常是 ollama.exe。你可以先找到它(默认在 C:\Users\你的用户名\AppData\Local\Programs\Ollama\),然后复制地址过来。

在"添加参数"框中,填写 run 你的模型名,比如 run qwen2.5-0.5b-instruct。

如果你的系统环境变量没有配置好,这里填完整路径最稳妥。例如,程序填D:\ollama\ollama.exe,参数填 run qwen2.5-0.5b-instruct。

我们带指定GPU 填 cmd /c "set CUDA_VISIBLE_DEVICES=0,1 && run qwen2.5-0.5b-instruct"

cmd /c 的作用是启动一个新的命令行窗口来执行后面的命令。这个方法的优点是只影响这一个任务,不会改变系统全局设置

设置其他条件(重要):

可以切换到"条件"选项卡,取消勾选 "只有在计算机使用交流电源时才启动此任务" 之类的选项,以免笔记本用电池时任务不执行。

保存任务:点击"确定"完成创建。

💡 其他方式
专用管理工具:也可以试试第三方开源工具如 Ollama Manager,它提供了图形界面来管理服务和模型的自动启动,操作会更直观一些

使用效果

相关推荐
智联视频超融合平台3 小时前
视频 AI 的误报之战,正在从调参数卷到改架构
人工智能·大模型·边缘计算·视频监控·安防
水如烟3 小时前
孤能子视角:智能的边界不在算法强弱,在可形式化性——从概率法到因果推理,选择池的边界一直在那里
人工智能
万里侯5 小时前
日志聚类之后别把 noise 扔掉:降噪应该改变视图,不抹掉证据
人工智能·微服务·ai·容器·k8s
澹锦汐5 小时前
纯前端秋日银杏与枫叶落叶色板智能聚类器:基于 K-Means 色彩量化与直方图自动配方提取
前端·人工智能·ai·语言模型·vue·react·k-means
71777712 小时前
国内 AI 研发效能工具怎么选:2026 年基于公开信息的选型框架与 Gitee 实践
人工智能·gitee
Csvn13 小时前
换供应商要改一遍代码?把模型接入收进一层网关(C04)
人工智能·aigc·agent
孟健13 小时前
开源AutoClip切直播:1小时48分出19段,整月API只花0.08元
人工智能·开源·aigc
翰墨之道13 小时前
AI日报:豆包工作ARR超20亿,GPT-6.2跑分与实测割裂
人工智能·gpt·数据挖掘
Maynor99614 小时前
Trymodel 使用介绍:一个平台同时用 Claude、GPT、Gemini 和 Grok
人工智能·gpt·ai·程序员·教程·claude·语音