Intel笔记本也能部署大模型(利用Ultra系列gpu通过优化版ollama实现)

很多小伙伴是不是也想尝试一下用自己的笔记本私有化部署一个大模型,百度上搜了一些教程,发现ollama是最省事的,然后一顿操作,确实可以了,但是很慢,而且发现如下图所示,为什么这个NPU和GPU都没有用,其实是版本装错了, Ollama 默认配置没有启用你的 Intel Arc GPU 和 NPU,加上模型 / 系统适配问题导致资源没利用起来,今天教大家怎么充分利用GPU。

文章目录

  • [1.下载Ollama 英特尔优化版](#1.下载Ollama 英特尔优化版)
  • [2. 运行ollama](#2. 运行ollama)
  • [3. 下载大模型](#3. 下载大模型)
  • [4. 测试效果](#4. 测试效果)

1.下载Ollama 英特尔优化版

下载 Ollama 英特尔 Windows 优化版。

然后,将 zip 文件解压到一个文件夹中。

2. 运行ollama

打开刚才解压后的文件夹,在文件夹上面的路径中输入cmd,然后敲回车,就会出现一个cmd命令行目录。

在命令提示符中运行 start-ollama.bat 即可启动 Ollama Serve。随后会弹出一个窗口,如下所示

3. 下载大模型

在ollama官网中找到要下载的网站,最大显存可以对标自己笔记本内存*0.8。

模型网站:https://ollama.com/search

目前来看推荐qwen3,点开之后选择对应的版本,这里可以先下载一个4b的看看效果,如下图所示

接下来通过在相同的命令提示符(非弹出的窗口)中运行 ollama run qwen3:4b(可以将当前模型替换为你需要的模型),即可在 Intel GPUs 上使用 Ollama 运行 LLMs:

4. 测试效果

安装完大模型之后,可以随便问一个问题,这时候可以看到,GPU已经100%了,说明已经不是单纯靠cpu了,一定充分利用intel自带的GPU了。

相关推荐
优爱蛋白1 小时前
B细胞细胞因子:免疫系统的“信使军团“与疾病治疗的新前沿
人工智能·经验分享·健康医疗
陈奕昆1 小时前
n8n实战营Day1课时3:高频节点解析+Webhook表单同步Excel实操
人工智能·python·n8n
Eric.Lee20211 小时前
物理引擎MuJoCo 项目介绍
人工智能·机器人·仿真·robot·物理引擎·mujoco
AI大模型学徒1 小时前
大模型应用开发(四)_调用大模型分析图片
人工智能·深度学习·ai·大模型·deepseek
可涵不会debug1 小时前
《“慧眼识障“:基于Rokid AI眼镜的智能维修记录自动归档系统开发实战》
人工智能
xieyan08111 小时前
什么情况下使用强化学习
人工智能
腾飞开源1 小时前
04_Spring AI 干货笔记之对话客户端 API
人工智能·元数据·检索增强生成·spring ai·chatclient·对话记忆·流式api
执笔论英雄1 小时前
【RL】Slime异步原理(单例设计模式)6
人工智能·设计模式
da_vinci_x1 小时前
PS 结构参考 + Firefly:零建模量产 2.5D 等轴游戏资产
人工智能·游戏·设计模式·prompt·aigc·技术美术·游戏美术