ai(三)环境资源管理

1.查看电脑资源

首先是硬件资源,电脑硬件资源决定了这台电脑上能进行哪些开发操作,硬件不行,可买硬件改装或者直接用云部署和训练,或者先进行简单的小模型的调用和开发,不进行复杂的训练和微调。

在硬件的基础上,再进行软件的配置安装。

1.硬件资源检查 (有的是双显卡的,可问ai资源检查命令,看看显卡配置)

查看CPU信息

lscpu

cat /proc/cpuinfo | grep "model name" | head -1

查看内存

free -h

cat /proc/meminfo | grep MemTotal

查看磁盘空间

df -h

查看GPU信息(如果有)

nvidia-smi

lspci | grep -i nvidia

把数据直接复制丢给ai,让ai回复目前硬件条件能进行哪些ai开发操作

2.软件检查

检查Python(推荐3.10以上)和pip

python --version

pip --version

检查conda环境和torch

conda --version

conda info --envs

conda list | grep -E "(torch|tensorflow|transformers)"

##缺什么直接问ai进行下载,推荐下载anconda后,用conda命令下载torch|tensorflow|transformers等,兼容性更好。

2.不同conda虚拟环境下,库的安装

根据之前ai给你的推荐的开发操作和项目,可创建多个/一个虚拟环境,不同环境下,根据需求进行库的安装:

如果你只需要加载模型推理:

需要:transformers, sentencepiece, accelerate

如果你需要训练模型:

需要:transformers, datasets, metrics, torch, accelerate

如果你只需要使用预训练模型:

需要:transformers, sentencepiece(可能不需要datasets, metrics)

或者,直接简单一点,基础安装,然后缺啥补啥

第一步:基础安装

pip install transformers sentencepiece

第二步:运行代码,看报错信息

python your_script.py

第三步:根据报错补充安装

如果报错缺少accelerate:pip install accelerate

如果报错缺少datasets:pip install datasets

3.模型选择,下载,部署(推荐modelscope)

3.1 先根据需求确定模型的系列,可上网搜索或者询问ai,推荐

一般是直接选择Qwen系列就行,但是也可以从Tiny系列的小模型开始练手。

3.2 选定后缀格式,估算内存占比

01 GGUF​------CPU推理、低资源环境(大部分新手的选择,因为硬件条件不够)

02 PyTorch(.bin)​------GPU训练、完整功能

03 Safetensors​------安全推理、快速加载

04 ONNX​------生产部署、跨平台

选定后根据官网教程下载即可。

交互方式有三种:命令行对话交互,网页交互,openAI交互。

相关推荐
英辰朗迪AI获客14 分钟前
英辰朗迪GEO知识库第188期:动态渲染站点在AI搜索里成了隐形人
人工智能
硅谷秋水25 分钟前
MorphMimic 方法分析
人工智能·机器学习·计算机视觉·机器人
MobotStone1 小时前
AI 能不能越用越会用?从“改答案”到“改进自己”,读懂 RSI
人工智能·算法
jay神1 小时前
基于 YOLOv8 的传送带异物检测系统(Web 版)
前端·人工智能·深度学习·yolo·计算机视觉·计算机毕业设计
复杂网络与机器学习1 小时前
Meta 重写 K-Means:25 轮压成 2 轮,GPU 快 45 倍
人工智能·算法·数据挖掘
ONEYAC唯样2 小时前
YXC扬兴科技小型化有源晶振OT4JI-111-24M,提升红外热成像稳定性
人工智能·python·pygame
小宋10212 小时前
AI 爬虫把大学图书馆站点拖垮:按行为指纹给爬虫分类、按类发配额、用边缘缓存分层,以带宽成本结构和真实用户 P95 延迟定档
人工智能·爬虫·分类
碧海银沙音频科技研究院2 小时前
BP寻呼机原理
人工智能·嵌入式硬件
万俟淋曦2 小时前
[ROS 系列学习教程] 建模与仿真 - 使用 ros_control 控制六轴串联机械臂
人工智能·ai·机器人·ros·机械臂·robotics·具身智能
IT_陈寒2 小时前
Vue开发者必知:5个让你效率翻倍的隐藏技巧
前端·人工智能·后端