Mac训练大模型:MLX-LM框架LoRA训练Qwen3并集成SwanLab进行可视化

MLX LM 是由 Apple 机器学习研究团队开发的开源 Python 软件包,专门用于在 Apple Silicon(M1、M2、M3 等芯片)上高效运行和微调大型语言模型(LLM)。它基于 MLX 框架,充分利用 Apple 的统一内存架构和 Metal 性能着色器(Metal Performance Shaders)来优化性能,特别适合在 Mac 设备上本地运行和开发 AI 模型。

你可以使用 MLX LM 快速进行模型训练,同时使用SwanLab进行实验跟踪与可视化。

1. 环境安装

bash 复制代码
pip install mlx-lm swanlab

2. Lora微调

使用mlx-lm训练LLM的流程非常简单,案例可以在 mlx-lm/examples 中找到。

下面主要以Lora微调为例,这是一个用Qwen3-0.6B模型进行Lora微调的MLX-LM配置文件:

yaml 复制代码
model: "Qwen/Qwen3-0.6B"
train: true
fine_tune_type: lora
optimizer: adamw
data: "mlx-community/WikiSQL"
seed: 0
num_layers: 16
batch_size: 4
iters: 1000
val_batches: 25
learning_rate: 1e-5
steps_per_report: 10
steps_per_eval: 200
resume_adapter_file: null
adapter_path: "adapters"
save_every: 100
test: false
test_batches: 100
max_seq_length: 2048
grad_checkpoint: false
lora_parameters:
  keys: ["self_attn.q_proj", "self_attn.v_proj"]
  rank: 8
  scale: 20.0
  dropout: 0.0

将这个配置文件保存到本地,文件名用qwen3_sft.yaml。

然后使用下面的命令,就可以启动训练,并将训练过程记录到SwanLab上:

bash 复制代码
mlx_lm.lora --config qwen3_sft.yaml --report-to swanlab --project-name MLX-LM

3. 可视化效果

相关推荐
墨林陌17 小时前
AI 热点日报(2026-11-20):苹果自研 AI 智能体曝光,Anthropic 上市首日大涨,智能体支付落地
人工智能
AAA修煤气灶刘哥17 小时前
32 GB 内存跑起 1800 亿参数模型,代价是什么?
人工智能·后端·架构
玩美数据17 小时前
海外市场数据分析驱动下的产业趋势演变与竞争格局深度解读
大数据·人工智能
oil欧哟17 小时前
Oil Studio 的产品思路与日常使用方式:在 Mac 上录口播演示,并接入 AI Agent 精剪与自动录屏
人工智能·macos
意念回复18 小时前
从 RNN 到 GQA:自注意力与多头注意力机制全解析
人工智能·rnn·深度学习
Flynn Liang18 小时前
AI Agent 分层记忆体系实战:用 Redis 五类结构构建可淘汰、可追溯的长短期记忆
数据库·人工智能·redis
CyrusYiVPP18 小时前
新用户第二周还剩几个?pandas做留存率cohort分析,数据分析实战第6期
人工智能·python
谙弆悕博士18 小时前
多智能体架构详解:网状去中心化架构(Mesh对等P2P)
人工智能·架构·去中心化·p2p·多智能体·智能体·langgraph
九卷1 天前
本体(Ontology)是什么?在 AI 中,本体的作用到底是什么?.md
大模型·agent
吴佳浩1 天前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu