mac:大模型系列测试

0 MAC

前几天经过学生优惠以及国补17K入手了mac studio,然后这两天亲自测试其模型行运用能力如何,是否支持微调、推理速度等能力。下面进入正文。

1 mac 与 unsloth

按照下面的进行安装以及测试,是可以跑通文章里面的代码。训练速度也是很快的。

注意:一定要切换分支!python版本不要太高!

mac安装unsloth_mac unsloth-CSDN博客

下载模型:我下载速度好慢!

python 复制代码
from modelscope import snapshot_download
model_dir = snapshot_download('LLM-Research/Llama-3.2-3B-Instruct')

训练一下看看如何:跑通没有障碍,后面的文章我会继续介绍unsloth~

推理测试

文件名称换成自己的即可!

python 复制代码
from mlx_lm import load, stream_generate

repo = "/Users/****/.cache/modelscope/hub/models/LLM-Research/Llama-3.2-3B-Instruct"
model, tokenizer = load(repo)

prompt = "你会做什么,请用100字回答"

messages = [{"role": "user", "content": prompt}]
prompt = tokenizer.apply_chat_template(
    messages, add_generation_prompt=True
)

for response in stream_generate(model, tokenizer, prompt, max_tokens=512):
    print(response.text, end="", flush=True)
print()

结果:我可以提供信息、答案和建议。我们可以在许多领域交流,如教育、科技、娱乐、生活tips等。您有什么问题或想讨论的主题?我会尽力帮助您。

2 总结

可以看到,经过mac可以满足微调以及推理测试,后面我会继续使用unsloth测试mac的能力。内容包含:获取文本数据、拉取大模型、使用不同的策略进行微调、对齐等过程!

相关推荐
诗酒当趁年华35 分钟前
【NLP实践】三、LLM搭建中文知识库:提供RestfulAPI服务
人工智能·自然语言处理
SHIPKING3933 小时前
【机器学习&深度学习】制作数据集
人工智能
岁忧7 小时前
macOS配置 GO语言环境
开发语言·macos·golang
Ronin-Lotus8 小时前
深度学习篇---剪裁&缩放
图像处理·人工智能·缩放·剪裁
cpsvps8 小时前
3D芯片香港集成:技术突破与产业机遇全景分析
人工智能·3d
国科安芯9 小时前
抗辐照芯片在低轨卫星星座CAN总线通讯及供电系统的应用探讨
运维·网络·人工智能·单片机·自动化
AKAMAI9 小时前
利用DataStream和TrafficPeak实现大数据可观察性
人工智能·云原生·云计算
Ai墨芯1119 小时前
深度学习水论文:特征提取
人工智能·深度学习
无名工程师9 小时前
神经网络知识讨论
人工智能·神经网络
nbsaas-boot10 小时前
AI时代,我们更需要自己的开发方式与平台
人工智能