MacOS 10.15上能跑大语言模型吗?

MacOS 10.15上能跑大语言模型吗?

MacOS 10.15.7(发布于2020年9月)作为已经发布了将近5年的系统版本能够运行当今流行的大语言模型吗?这篇文章简要介绍了在MacOS 10.15上通过Ollama运行deepseek-r1模型的过程。

下载安装Ollama

Ollama是一个开源工具,可以帮助我们在本地快速部署和运行大语言模型。访问Ollama官网,可以看到它支持三大主流操作系统Windows、Linux和Mac。macOS需要macOS 11 Big Sur或更高版本。
忽略这个提示下载后,发现可以正常安装Ollama 0.6.5版本在MacOS 10.15上(实践出真知啊)。安装后运行Ollama会引导我们去进一步安装Ollama的命令行。

命令行工具安装完成后,就可以在终端里使用 ollama 命令了。

运行大语言模型

打开终端输入下面的命令

ollama run deepseek-r1:14b

这条命令会下载并运行大约9GB左右的deekseep-r1 14b的大模型。下载完成后,在ollama命令行中输入文字就可以向deepseek提出各种问题了。于是我敲下了我的问题 1加1等于几

接着电脑进入了近乎无响应的状态,鼠标和键盘响应速度非常慢,CPU占用率非常高。我就这样让deepseek肆意的跑了20多分钟,最终在屏幕上得到了四五个汉字输出,看起来deepseek还在努力的工作,但我已经无法忍受了。调出任务管理器杀掉了ollama进程,电脑恢复正常。

是不是我的问题太复杂了,导致deepseek需要消耗很多的资源?于是我简化了我的问题,直接把这个算式 1+1=? 给到deepseek。用电脑计算器是可以瞬间得到正确答案的,但deepseek好像还是把问题想复杂了,在苦苦等待N分钟后,电脑死机了。

难道这台产于2012年的Macbook Pro真的没法运行大语言模型吗?突然想到deepseek还有参数量更小的模型。于是输入下面的命令去下载并运行最小参数量的deepseek-r1模型。

ollama run deepseek-r1:1.5b

同样的问题给到deepseek,这一次很快得到了deepseek的答复。

看来只要选择合适的模型,MacOS 10.15也是能跑起来大语言模型的。

引申出的问题

  • 如何挑选合适的大模型呢?

    Ollama的library页面 能找到它支持的所有模型,这么多模型该如何挑选呢?通过进一步的调研,我了解到不同的大模型对硬件资源(显存、内存、CPU)的需求是不同的。不同的模型有不同的特性,有些模型还会依赖特定的CPU,比如AMD的GAIA。选择合适的大模型也是有学问的呢。

  • 为什么我手头的Macbook Pro 2012运行不了deepseek-r1:14b呢?什么电脑能运行14b的模型呢?

    Macbook Pro 2012 硬件手册中查到硬件配置:4核CPU、集成显卡和Nvidia显卡(1GB显存)智能切换、 8GB内存。和近几年的苹果电脑比确实有很大的差距。Macbook Pro 2022 可以轻松运行14b的deepseek-r1,硬件配置:8核CPU、10核GPU、16核神经网络引擎、24GB内存。估计2025年的电脑运行大模型应该有更好的效果。

  • 本地电脑运行起来的大模型有什么用呢?

    deepseek、chatgpt等等都可以在网页里运行,有什么必要在本地电脑运行大模型呢?后续再讲吧 : - )

相关推荐
ThinkPet9 分钟前
【AI】大模型知识入门扫盲以及SpringAi快速入门
java·人工智能·ai·大模型·rag·springai·mcp
汽车仪器仪表相关领域10 分钟前
双组分精准快检,汽修年检利器:MEXA-324M汽车尾气测量仪项目实战全解
大数据·人工智能·功能测试·测试工具·算法·机器学习·压力测试
renhongxia110 分钟前
从文本到仿真:多智能体大型语言模型(LLM)自动化化学工艺设计工作流程
人工智能·语言模型·自动化
AI工具指南22 分钟前
实测教程:三种主流AI生成PPT工作流详解
人工智能·ppt
DO_Community23 分钟前
技术解码:Character.ai 如何实现大模型实时推理性能 2 倍提升
人工智能·算法·llm·aigc·moe·aiter
Kakaxiii24 分钟前
【2024ACL】Mind Map :知识图谱激发大型语言模型中的思维图谱
人工智能·语言模型·知识图谱
leo__52025 分钟前
基于A星算法的MATLAB路径规划实现
人工智能·算法·matlab
AAD5558889929 分钟前
基于YOLO11的自然景观多类别目标检测系统 山脉海洋湖泊森林建筑物桥梁道路农田沙漠海滩等多种景观元素检测识别
人工智能·目标检测·计算机视觉
数据分享者30 分钟前
新闻文本智能识别数据集:40587条高质量标注数据推动自然语言处理技术发展-新闻信息提取、舆情分析、媒体内容理解-机器学习模型训练-智能分类系统
人工智能·自然语言处理·数据挖掘·easyui·新闻文本
___波子 Pro Max.32 分钟前
LLM大语言模型定义与核心特征解析
人工智能·语言模型·自然语言处理