本地模型编译使用

下载 Qwen2.5-0.5B-Instruct-Q5_0.gguf

Qwen2.5-0.5B-Instruct-Q5_0.gguf

编写 Modelfile 配置文件

在你的 .gguf 模型文件所在目录，创建一个名为 Modelfile 的文本文件（注意：没有任何后缀名），然后用文本编辑器打开它

F:\ollamamodels>type nul > Modelfile

FROM ./Qwen2.5-0.5B-Instruct-Q5_0.gguf

PARAMETER temperature 0.7
PARAMETER top_p 0.8
PARAMETER repeat_penalty 1.05
PARAMETER top_k 20

SYSTEM """You are Qwen, created by Alibaba Cloud. You are a helpful assistant."""

关键点说明：

FROM ./Qwen2.5-0.5B-Instruct-Q5_0.gguf: 这行指定了要导入的模型文件。路径可以是相对于 Modelfile 的相对路径（如示例所示），也可以是绝对路径。

PARAMETER: 这些参数控制模型生成文本的随机性和多样性，你可以根据自己的需求调整。

SYSTEM: 设置系统提示词，定义模型的基本人设

第二步：导入模型到 Ollama

打开终端（Terminal）或命令提示符（CMD），首先使用 cd 命令切换到你的 Modelfile 和 .gguf 文件所在的目录。

然后执行以下命令来创建模型

ollama create qwen2.5-0.5b-instruct -f Modelfile

这个命令会根据 Modelfile 的配置，将 .gguf 文件导入并创建一个名为 qwen2.5-0.5b-instruct 的Ollama模型

第三步：运行模型

导入成功后，就可以像运行其他 Ollama 模型一样，直接运行它了

ollama run qwen2.5-0.5b-instruct

查看本地有的模型

ollama list

使用指定的显卡

set CUDA_VISIBLE_DEVICES=0,1 && ollama run qwen2.5-0.5b-instruct

ollama ps
显示使用的是CPU, 因为内存不足

更完整的模板

上面的 Modelfile 是一个基础版本。如果你希望模型支持聊天模板或工具调用等高级功能，可以参考官方的文档，在 Modelfile 中添加更复杂的 TEMPLATE 指令

配置win10 开机启动模型

操作步骤：使用 Windows 任务计划程序
这种方式比把快捷方式放进"启动"文件夹更稳定，也能更好地控制延迟启动等条件。

打开任务计划程序：按 Win + R 键，输入 taskschd.msc，然后回车。

创建任务：在右侧的操作面板中，点击 "创建任务..."。

设置常规属性：

在"常规"选项卡中，给任务起个名字，比如 OllamaAutoStart。

为了确保它能顺利运行，可以勾选 "使用最高权限运行"。

设置触发条件：

切换到"触发器"选项卡，点击 "新建..."。

在"开始任务"下拉菜单中，选择 "登录时"，然后点击"确定"。

设置执行动作：

切换到"操作"选项卡，点击 "新建..."。

"操作"选择 "启动程序"。

在"程序或脚本"框中，填写 ollama 的完整路径，通常是 ollama.exe。你可以先找到它（默认在 C:\Users\你的用户名\AppData\Local\Programs\Ollama\），然后复制地址过来。

在"添加参数"框中，填写 run 你的模型名，比如 run qwen2.5-0.5b-instruct。

如果你的系统环境变量没有配置好，这里填完整路径最稳妥。例如，程序填D:\ollama\ollama.exe，参数填 run qwen2.5-0.5b-instruct。

我们带指定GPU 填 cmd /c "set CUDA_VISIBLE_DEVICES=0,1 && run qwen2.5-0.5b-instruct"

cmd /c 的作用是启动一个新的命令行窗口来执行后面的命令。这个方法的优点是只影响这一个任务，不会改变系统全局设置

设置其他条件（重要）：

可以切换到"条件"选项卡，取消勾选 "只有在计算机使用交流电源时才启动此任务" 之类的选项，以免笔记本用电池时任务不执行。

保存任务：点击"确定"完成创建。

💡 其他方式
专用管理工具：也可以试试第三方开源工具如 Ollama Manager，它提供了图形界面来管理服务和模型的自动启动，操作会更直观一些

使用效果