1.查看电脑资源
首先是硬件资源,电脑硬件资源决定了这台电脑上能进行哪些开发操作,硬件不行,可买硬件改装或者直接用云部署和训练,或者先进行简单的小模型的调用和开发,不进行复杂的训练和微调。
在硬件的基础上,再进行软件的配置安装。
1.硬件资源检查 (有的是双显卡的,可问ai资源检查命令,看看显卡配置)
查看CPU信息
lscpu
cat /proc/cpuinfo | grep "model name" | head -1
查看内存
free -h
cat /proc/meminfo | grep MemTotal
查看磁盘空间
df -h
查看GPU信息(如果有)
nvidia-smi
lspci | grep -i nvidia
把数据直接复制丢给ai,让ai回复目前硬件条件能进行哪些ai开发操作
2.软件检查
检查Python(推荐3.10以上)和pip
python --version
pip --version
检查conda环境和torch
conda --version
conda info --envs
conda list | grep -E "(torch|tensorflow|transformers)"
##缺什么直接问ai进行下载,推荐下载anconda后,用conda命令下载torch|tensorflow|transformers等,兼容性更好。
2.不同conda虚拟环境下,库的安装
根据之前ai给你的推荐的开发操作和项目,可创建多个/一个虚拟环境,不同环境下,根据需求进行库的安装:
如果你只需要加载模型推理:
需要:transformers, sentencepiece, accelerate
如果你需要训练模型:
需要:transformers, datasets, metrics, torch, accelerate
如果你只需要使用预训练模型:
需要:transformers, sentencepiece(可能不需要datasets, metrics)
或者,直接简单一点,基础安装,然后缺啥补啥
第一步:基础安装
pip install transformers sentencepiece
第二步:运行代码,看报错信息
python your_script.py
第三步:根据报错补充安装
如果报错缺少accelerate:pip install accelerate
如果报错缺少datasets:pip install datasets
3.模型选择,下载,部署(推荐modelscope)
3.1 先根据需求确定模型的系列,可上网搜索或者询问ai,推荐
一般是直接选择Qwen系列就行,但是也可以从Tiny系列的小模型开始练手。

3.2 选定后缀格式,估算内存占比
01 GGUF------CPU推理、低资源环境(大部分新手的选择,因为硬件条件不够)

02 PyTorch(.bin)------GPU训练、完整功能

03 Safetensors------安全推理、快速加载

04 ONNX------生产部署、跨平台

选定后根据官网教程下载即可。
交互方式有三种:命令行对话交互,网页交互,openAI交互。