Intel笔记本也能部署大模型(利用Ultra系列gpu通过优化版ollama实现)

很多小伙伴是不是也想尝试一下用自己的笔记本私有化部署一个大模型,百度上搜了一些教程,发现ollama是最省事的,然后一顿操作,确实可以了,但是很慢,而且发现如下图所示,为什么这个NPU和GPU都没有用,其实是版本装错了, Ollama 默认配置没有启用你的 Intel Arc GPU 和 NPU,加上模型 / 系统适配问题导致资源没利用起来,今天教大家怎么充分利用GPU。

文章目录

  • [1.下载Ollama 英特尔优化版](#1.下载Ollama 英特尔优化版)
  • [2. 运行ollama](#2. 运行ollama)
  • [3. 下载大模型](#3. 下载大模型)
  • [4. 测试效果](#4. 测试效果)

1.下载Ollama 英特尔优化版

下载 Ollama 英特尔 Windows 优化版。

然后,将 zip 文件解压到一个文件夹中。

2. 运行ollama

打开刚才解压后的文件夹,在文件夹上面的路径中输入cmd,然后敲回车,就会出现一个cmd命令行目录。

在命令提示符中运行 start-ollama.bat 即可启动 Ollama Serve。随后会弹出一个窗口,如下所示

3. 下载大模型

在ollama官网中找到要下载的网站,最大显存可以对标自己笔记本内存*0.8。

模型网站:https://ollama.com/search

目前来看推荐qwen3,点开之后选择对应的版本,这里可以先下载一个4b的看看效果,如下图所示

接下来通过在相同的命令提示符(非弹出的窗口)中运行 ollama run qwen3:4b(可以将当前模型替换为你需要的模型),即可在 Intel GPUs 上使用 Ollama 运行 LLMs:

4. 测试效果

安装完大模型之后,可以随便问一个问题,这时候可以看到,GPU已经100%了,说明已经不是单纯靠cpu了,一定充分利用intel自带的GPU了。

相关推荐
鲨莎分不晴5 分钟前
【前沿技术】Offline RL 全解:当强化学习失去“试错”的权利
人工智能·算法·机器学习
工业机器视觉设计和实现19 分钟前
lenet改vgg成功后,我们再改为最简单的resnet
人工智能
jiayong2325 分钟前
Spring AI Alibaba 深度解析(三):实战示例与最佳实践
java·人工智能·spring
北邮刘老师41 分钟前
【智能体互联协议解析】需要“智能体名字系统”(ANS)吗?
网络·人工智能·大模型·智能体·智能体互联网
梁辰兴1 小时前
AI解码千年甲骨文,指尖触碰的文明觉醒!
人工智能·ai·ai+·文明·甲骨文·ai赋能·梁辰兴
阿里云大数据AI技术1 小时前
# Hologres Dynamic Table:高效增量刷新,构建实时统一数仓的核心利器
人工智能·数据分析
JxWang052 小时前
pandas计算某列每行带有分隔符的数据中包含特定值的次数
人工智能
能源系统预测和优化研究2 小时前
创新点解读:基于非线性二次分解的Ridge-RF-XGBoost时间序列预测(附代码实现)
人工智能·深度学习·算法
执笔论英雄2 小时前
【RL】ROLL下载模型流程
人工智能·算法·机器学习
لا معنى له2 小时前
目标分割介绍及最新模型----学习笔记
人工智能·笔记·深度学习·学习·机器学习·计算机视觉