Intel笔记本也能部署大模型(利用Ultra系列gpu通过优化版ollama实现)

很多小伙伴是不是也想尝试一下用自己的笔记本私有化部署一个大模型,百度上搜了一些教程,发现ollama是最省事的,然后一顿操作,确实可以了,但是很慢,而且发现如下图所示,为什么这个NPU和GPU都没有用,其实是版本装错了, Ollama 默认配置没有启用你的 Intel Arc GPU 和 NPU,加上模型 / 系统适配问题导致资源没利用起来,今天教大家怎么充分利用GPU。

文章目录

  • [1.下载Ollama 英特尔优化版](#1.下载Ollama 英特尔优化版)
  • [2. 运行ollama](#2. 运行ollama)
  • [3. 下载大模型](#3. 下载大模型)
  • [4. 测试效果](#4. 测试效果)

1.下载Ollama 英特尔优化版

下载 Ollama 英特尔 Windows 优化版。

然后,将 zip 文件解压到一个文件夹中。

2. 运行ollama

打开刚才解压后的文件夹,在文件夹上面的路径中输入cmd,然后敲回车,就会出现一个cmd命令行目录。

在命令提示符中运行 start-ollama.bat 即可启动 Ollama Serve。随后会弹出一个窗口,如下所示

3. 下载大模型

在ollama官网中找到要下载的网站,最大显存可以对标自己笔记本内存*0.8。

模型网站:https://ollama.com/search

目前来看推荐qwen3,点开之后选择对应的版本,这里可以先下载一个4b的看看效果,如下图所示

接下来通过在相同的命令提示符(非弹出的窗口)中运行 ollama run qwen3:4b(可以将当前模型替换为你需要的模型),即可在 Intel GPUs 上使用 Ollama 运行 LLMs:

4. 测试效果

安装完大模型之后,可以随便问一个问题,这时候可以看到,GPU已经100%了,说明已经不是单纯靠cpu了,一定充分利用intel自带的GPU了。

相关推荐
慢半拍iii16 小时前
CANN算子开发实战:手把手教你基于ops-nn仓库编写Broadcast广播算子
人工智能·计算机网络·ai
User_芊芊君子16 小时前
CANN数学计算基石ops-math深度解析:高性能科学计算与AI模型加速的核心引擎
人工智能·深度学习·神经网络·ai
小白|16 小时前
CANN与联邦学习融合:构建隐私安全的分布式AI推理与训练系统
人工智能·机器学习·自动驾驶
艾莉丝努力练剑16 小时前
hixl vs NCCL:昇腾生态通信库的独特优势分析
运维·c++·人工智能·cann
梦帮科技16 小时前
Node.js配置生成器CLI工具开发实战
前端·人工智能·windows·前端框架·node.js·json
程序员泠零澪回家种桔子16 小时前
Spring AI框架全方位详解
java·人工智能·后端·spring·ai·架构
Echo_NGC223716 小时前
【FFmpeg 使用指南】Part 3:码率控制策略与质量评估体系
人工智能·ffmpeg·视频·码率
纤纡.16 小时前
PyTorch 入门精讲:从框架选择到 MNIST 手写数字识别实战
人工智能·pytorch·python
大大大反派16 小时前
CANN 生态中的自动化部署引擎:深入 `mindx-sdk` 项目构建端到端 AI 应用
运维·人工智能·自动化
程序猿追16 小时前
深度解读 AIR (AI Runtime):揭秘 CANN 极致算力编排与调度的核心引擎
人工智能