【大模型 AI 学习】大模型 AI 部署硬件配置方案(本地硬件配置 | 在线GPU)

最近想部署一个开源深度学习项目,但是小编的笔记本电脑是8G的集成显存,且没有GPU,性能肯定是不够的。于是小编在小po站上粗浅了解了一下当前: 1. 大模型 AI本地硬件配置和 2. 云上申请GPU算力的两种方式。简单记录一下:

参考视频:
1. 本地部署配置 ------【大模型】个人学习大模型技术需要什么样的电脑配置?
2. 云服务器配置------GPU租用简易指南 for R308

1. 大模型本地部署硬件配置
  1. 如果需求主要是部署本地大模型进行推理和微调、简单调试和复现 推荐:
    显卡:2080ti ,显卡显存11G,价格2200,推理时GPU显存占用10G,高效微调时GPU显存占用7G,达到INT4量化精度。支持多轮对话、调试、复现。

  2. 如果需求是部署本地大模型进行较多调整(包含较多参数和数据)、大量调试、科研 推荐:
    显卡:3090双卡 ,显卡显存48G,价格8500*2,推理时GPU显存占用30G,高效微调时GPU显存占用22G,达到全精度。

2. 云服务器方式

如果没有实验室提供经费,又觉3090、4090价格较高,可以使用在线云服务器GPU,比如阿里的autoDL

(1)选区、选GPU,按用量来进行计费。每个GPU服务器会配置一定的CPU、内存

(2)选择自己所需的系统、软件的镜像

(3)选择无卡模式开机,不消耗GPU用量,计费0.1yuan/小时,可以进行代码修改操作。需要跑模型的时候再以正常模式打开。此外,有20G的免费数据空间,可以上传需要的数据。

(4)平台提供了jupter note book快捷软件工具、终端,可以输入Python代码,读取存储数据、跑模型代码指令等。

通过简单调研,小编发现自己平时没有科研需求,主要想空闲时间跑一些有意思的大模型 AI项目,做一些微调。考虑性价比,小编更倾向在线的GPU服务器的方案。

相关推荐
years_GG34 分钟前
【Git多人开发与协作之团队的环境搭建】
spring boot·深度学习·vue·github·团队开发·个人开发
不灭蚊香1 小时前
神经网络归一化方法总结
深度学习·神经网络·in·归一化·gn·ln·bn
酱香编程,风雨兼程1 小时前
深度学习——多层感知机的从零开始实现和简洁实现
人工智能·深度学习
GOTXX2 小时前
基于深度学习的手势识别算法
人工智能·深度学习·算法·机器学习·数据挖掘·卷积神经网络
Jurio.2 小时前
【论文笔记】Large Brain Model (LaBraM, ICLR 2024)
大数据·论文阅读·人工智能·深度学习·数据挖掘
梦幻加菲猫2 小时前
加菲工具 - 好用免费的在线工具集合
ai·工具·导航·网站导航
黄昏_3 小时前
在Springboot项目中实现将文件上传至阿里云 OSS
java·spring boot·后端·阿里云
阡之尘埃4 小时前
Python数据分析案例65——基于深度学习的音频文件分类(音频文件特征提取和模型构建)
python·深度学习·分类·数据分析·数据可视化·音频文件
牙牙要健康5 小时前
【深度学习】【RKNN】【C++】模型转化、环境搭建以及模型部署的详细教程
c++·人工智能·深度学习
TsingtaoAI5 小时前
数据挖掘/深度学习-高校实训解决方案
人工智能·深度学习·数据挖掘·实训平台·ai实训课程·高校ai实训·高校实训