mac:大模型系列测试

0 MAC

前几天经过学生优惠以及国补17K入手了mac studio,然后这两天亲自测试其模型行运用能力如何,是否支持微调、推理速度等能力。下面进入正文。

1 mac 与 unsloth

按照下面的进行安装以及测试,是可以跑通文章里面的代码。训练速度也是很快的。

注意:一定要切换分支!python版本不要太高!

mac安装unsloth_mac unsloth-CSDN博客

下载模型:我下载速度好慢!

python 复制代码
from modelscope import snapshot_download
model_dir = snapshot_download('LLM-Research/Llama-3.2-3B-Instruct')

训练一下看看如何:跑通没有障碍,后面的文章我会继续介绍unsloth~

推理测试

文件名称换成自己的即可!

python 复制代码
from mlx_lm import load, stream_generate

repo = "/Users/****/.cache/modelscope/hub/models/LLM-Research/Llama-3.2-3B-Instruct"
model, tokenizer = load(repo)

prompt = "你会做什么,请用100字回答"

messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True
)

for response in stream_generate(model, tokenizer, prompt, max_tokens=512):
    print(response.text, end="", flush=True)
print()

结果:我可以提供信息、答案和建议。我们可以在许多领域交流,如教育、科技、娱乐、生活tips等。您有什么问题或想讨论的主题?我会尽力帮助您。

2 总结

可以看到,经过mac可以满足微调以及推理测试,后面我会继续使用unsloth测试mac的能力。内容包含:获取文本数据、拉取大模型、使用不同的策略进行微调、对齐等过程!

相关推荐
峙峙峙4 分钟前
线性代数--AI数学基础复习
人工智能·线性代数
weiwuxian9 分钟前
揭开智能体的神秘面纱:原来你不是"超级AI"!
人工智能
Codebee10 分钟前
“自举开发“范式:OneCode如何用低代码重构自身工具链
java·人工智能·架构
说私域21 分钟前
基于开源AI智能名片链动2+1模式的S2B2C商城小程序:门店私域流量与视频号直播融合的生态创新研究
人工智能·小程序·开源
Ronin-Lotus24 分钟前
深度学习篇---Yolov系列
人工智能·深度学习
静心问道1 小时前
GoT:超越思维链:语言模型中的有效思维图推理
人工智能·计算机视觉·语言模型
aneasystone本尊1 小时前
学习 Claude Code 的工具使用(三)
人工智能
szxinmai主板定制专家1 小时前
【精密测量】基于ARM+FPGA的多路光栅信号采集方案
服务器·arm开发·人工智能·嵌入式硬件·fpga开发
T__TIII1 小时前
Dify 自定义插件
人工智能·github
瓜子三百克2 小时前
CALayer的异步处理
macos·ios·cocoa