【大模型 AI 学习】大模型 AI 部署硬件配置方案(本地硬件配置 | 在线GPU)

最近想部署一个开源深度学习项目,但是小编的笔记本电脑是8G的集成显存,且没有GPU,性能肯定是不够的。于是小编在小po站上粗浅了解了一下当前: 1. 大模型 AI本地硬件配置和 2. 云上申请GPU算力的两种方式。简单记录一下:

参考视频:
1. 本地部署配置 ------【大模型】个人学习大模型技术需要什么样的电脑配置?
2. 云服务器配置------GPU租用简易指南 for R308

1. 大模型本地部署硬件配置
  1. 如果需求主要是部署本地大模型进行推理和微调、简单调试和复现 推荐:
    显卡:2080ti ,显卡显存11G,价格2200,推理时GPU显存占用10G,高效微调时GPU显存占用7G,达到INT4量化精度。支持多轮对话、调试、复现。

  2. 如果需求是部署本地大模型进行较多调整(包含较多参数和数据)、大量调试、科研 推荐:
    显卡:3090双卡 ,显卡显存48G,价格8500*2,推理时GPU显存占用30G,高效微调时GPU显存占用22G,达到全精度。

2. 云服务器方式

如果没有实验室提供经费,又觉3090、4090价格较高,可以使用在线云服务器GPU,比如阿里的autoDL

(1)选区、选GPU,按用量来进行计费。每个GPU服务器会配置一定的CPU、内存

(2)选择自己所需的系统、软件的镜像

(3)选择无卡模式开机,不消耗GPU用量,计费0.1yuan/小时,可以进行代码修改操作。需要跑模型的时候再以正常模式打开。此外,有20G的免费数据空间,可以上传需要的数据。

(4)平台提供了jupter note book快捷软件工具、终端,可以输入Python代码,读取存储数据、跑模型代码指令等。

通过简单调研,小编发现自己平时没有科研需求,主要想空闲时间跑一些有意思的大模型 AI项目,做一些微调。考虑性价比,小编更倾向在线的GPU服务器的方案。

相关推荐
王哈哈^_^44 分钟前
【数据集】【YOLO】【VOC】目标检测数据集,查找数据集,yolo目标检测算法详细实战训练步骤!
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·pyqt
是瑶瑶子啦1 小时前
【深度学习】论文笔记:空间变换网络(Spatial Transformer Networks)
论文阅读·人工智能·深度学习·视觉检测·空间变换
wangyue42 小时前
c# 深度模型入门
深度学习
川石课堂软件测试3 小时前
性能测试|docker容器下搭建JMeter+Grafana+Influxdb监控可视化平台
运维·javascript·深度学习·jmeter·docker·容器·grafana
985小水博一枚呀3 小时前
【深度学习滑坡制图|论文解读3】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer
985小水博一枚呀3 小时前
【深度学习滑坡制图|论文解读2】基于融合CNN-Transformer网络和深度迁移学习的遥感影像滑坡制图方法
人工智能·深度学习·神经网络·cnn·transformer·迁移学习
深度学习实战训练营4 小时前
基于CNN-RNN的影像报告生成
人工智能·深度学习
孙同学要努力11 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
昔我往昔12 小时前
阿里云文本内容安全处理
安全·阿里云·云计算
鱼满满记13 小时前
1.6K+ Star!GenAIScript:一个可自动化的GenAI脚本环境
人工智能·ai·github