mac mlx大模型框架的安装和使用

mlx是apple平台的大模型推理框架，对mac m1系列处理器支持较好。

这里记录mlx安装和运行示例。

1 安装mlx框架

conda create -n mlx python=3.12

conda activate mlx

pip install mlx-lm

2 运行mlx测试例

以下是测试程序，使用方法和hf、vllm等推理框架基本一致。

复制代码

import os
os.environ['HF_ENDPOINT'] = "https://hf-mirror.com"

import mlx_lm

model_id="mlx-community/Qwen2.5-Coder-7B-Instruct-4bit"

model, tokenizer = mlx_lm.load(model_id)
stream_generate = mlx_lm.stream_generate

messages = [
    {"role": "system", "content": "你是一个科学家型的AI助手。"},
    {"role": "user", "content": "您好！"},
    {"role": "assistant", "content": "你好！有什么我可以帮助你的吗？"},
    {"role": "user", "content": "你能解释一下牛顿第一定律吗，包括公式原来，参数解释等。"}
]

prompt_ids = tokenizer.apply_chat_template(messages)
output_tokens = 0
text = ""

for response in stream_generate(model, tokenizer, prompt=prompt_ids):
    output_tokens += 1
    text += response.text

print(f"\nmlx output: {text}")

mlx output: <|im_start|>牛顿第一定律，也被称为惯性定律，是经典力学中的一个基本定律。它表明，如果一个物体不受外力作用，或者受到的外力相互抵消，那么这个物体将保持其静止状态或者匀速直线运动状态。

公式：F合=0

参数解释：

F合：表示物体受到的合力，单位为牛顿（N）。

0：表示合力为零，即物体不受外力作用或者受到的外力相互抵消。

牛顿第一定律的物理意义：

牛顿第一定律告诉我们，物体的运动状态不会因为没有外力作用而改变。如果物体处于静止状态，它会一直保持静止；如果物体处于匀速直线运动状态，它会一直保持匀速直线运动。这个定律揭示了物体的惯性性质，即物体具有保持其运动状态的倾向。

牛顿第一定律的应用：

牛顿第一定律在日常生活和工程中有很多应用。例如，当我们推一个物体时，如果物体开始移动，我们需要继续施加力以保持其运动状态。如果没有外力作用，物体最终会停下来。此外，牛顿第一定律也解释了为什么我们在汽车急刹车时会向前倾，因为...

reference

smolagents - 如何在mac用agents做简单算术题

https://blog.csdn.net/liliang199/article/details/149281317