Mac训练大模型:MLX-LM框架LoRA训练Qwen3并集成SwanLab进行可视化

MLX LM 是由 Apple 机器学习研究团队开发的开源 Python 软件包,专门用于在 Apple Silicon(M1、M2、M3 等芯片)上高效运行和微调大型语言模型(LLM)。它基于 MLX 框架,充分利用 Apple 的统一内存架构和 Metal 性能着色器(Metal Performance Shaders)来优化性能,特别适合在 Mac 设备上本地运行和开发 AI 模型。

你可以使用 MLX LM 快速进行模型训练,同时使用SwanLab进行实验跟踪与可视化。

1. 环境安装

bash 复制代码
pip install mlx-lm swanlab

2. Lora微调

使用mlx-lm训练LLM的流程非常简单,案例可以在 mlx-lm/examples 中找到。

下面主要以Lora微调为例,这是一个用Qwen3-0.6B模型进行Lora微调的MLX-LM配置文件:

yaml 复制代码
model: "Qwen/Qwen3-0.6B"
train: true
fine_tune_type: lora
optimizer: adamw
data: "mlx-community/WikiSQL"
seed: 0
num_layers: 16
batch_size: 4
iters: 1000
val_batches: 25
learning_rate: 1e-5
steps_per_report: 10
steps_per_eval: 200
resume_adapter_file: null
adapter_path: "adapters"
save_every: 100
test: false
test_batches: 100
max_seq_length: 2048
grad_checkpoint: false
lora_parameters:
  keys: ["self_attn.q_proj", "self_attn.v_proj"]
  rank: 8
  scale: 20.0
  dropout: 0.0

将这个配置文件保存到本地,文件名用qwen3_sft.yaml

然后使用下面的命令,就可以启动训练,并将训练过程记录到SwanLab上:

bash 复制代码
mlx_lm.lora --config qwen3_sft.yaml --report-to swanlab --project-name MLX-LM

3. 可视化效果

相关推荐
GIS数据转换器13 小时前
2025无人机在农业生态中的应用实践
大数据·网络·人工智能·安全·无人机
syso_稻草人14 小时前
基于 ComfyUI + Wan2.2 animate实现 AI 视频人物换衣:完整工作流解析与资源整合(附一键包)
人工智能·音视频
qq_4369621814 小时前
AI+BI工具全景指南:重构企业数据决策效能
人工智能·重构
sali-tec14 小时前
C# 基于halcon的视觉工作流-章48-短路断路
开发语言·图像处理·人工智能·算法·计算机视觉
cuicuiniu52114 小时前
浩辰CAD 看图王 推出「图小智AI客服」,重构设计服务新体验
人工智能·cad·cad看图·cad看图软件·cad看图王
SSO_Crown14 小时前
2025年HR 数字化转型:从工具应用到组织能力重构的深度变革
人工智能·重构
无风听海14 小时前
神经网络之单词的语义表示
人工智能·深度学习·神经网络
我叫侯小科15 小时前
YOLOv4:目标检测界的 “集大成者”
人工智能·yolo·目标检测
小姐姐味道15 小时前
AI应用时代:多读论文勤尝试,少做讨论少分享,是活下去的关键
人工智能·程序员·开源
星期天要睡觉15 小时前
大模型(Large Language Model, LLM)——什么是大模型,大模型的基本原理、架构、流程
人工智能·python·ai·语言模型