# 微调需要准备哪些环境配置?

微调需要准备哪些环境配置?

如果没有 GPU,即便是微调较小的大语言模型(LLMs),过程也会比较慢。如果你已经有了现成的 GPU,那就可以直接开工了。不过,并不是所有人都能负担得起 GPU------ 这种情况下,你可以使用云服务平台来跟随本实操系列课程运行代码,比如 Google Colab(免费版提供 Tesla T4 GPU,含 15GB 内存)和 runpod.io(付费服务)。

Google Colab 配置

Google Colab 的默认环境已经包含了将用到的大部分库,只需要额外安装三个库:datasets、bitsandbytes和trl,操作非常简单。

Runpod.io 配置

RunPod 的 Jupyter Notebook 模板只预装了两个库:numpy和torch,因此你需要手动安装所有其他必要的包。

可选库

还有几个可选库:ollama、unsloth、xformers和gguf。 用于转换和部署微调后的模型。根据你在这些步骤中选择的方案不同,可能需要安装其中一个或多个库。

相关推荐
云道轩1 天前
DeepSeek补全IBM MQ 9.4 REST API 执行命令的PPT
deepseek·ibm mq
算家计算2 天前
DeepSeek R2因芯片问题再次延迟发布!千亿级大模型训练的算力之困
人工智能·芯片·deepseek
AI大模型3 天前
手把手教你本地部署DeepSeek:解锁私有化AI的无限可能
程序员·llm·deepseek
量子位3 天前
被曝蒸馏DeepSeek还造假!欧版OpenAI塌房了
openai·deepseek
Spider_Man4 天前
和AI畅聊不掉线:本地部署LLM聊天界面全攻略
javascript·llm·deepseek
Chaos_Wang_6 天前
ShadowKV 机制深度解析:高吞吐长上下文 LLM 推理的 KV 缓存“影子”方案
人工智能·语言模型·自然语言处理·chatgpt·deepseek
玄明Hanko6 天前
DeepSeek是不是名不副实?
人工智能·deepseek
知了一笑6 天前
AI编程:代码多,效果好?
人工智能·大模型·kimi·千问·deepseek
北'辰7 天前
DeepSeek智能考试系统智能体
前端·后端·架构·开源·github·deepseek