mlx是apple平台的大模型推理框架，对mac m1系列处理器支持较好。
这里记录mlx安装和运行示例。
1 安装mlx框架
conda create -n mlx python=3.12
conda activate mlx
pip install mlx-lm
2 运行mlx测试例
以下是测试程序，使用方法和hf、vllm等推理框架基本一致。
import os
os.environ['HF_ENDPOINT'] = "https://hf-mirror.com"
import mlx_lm
model_id="mlx-community/Qwen2.5-Coder-7B-Instruct-4bit"
model, tokenizer = mlx_lm.load(model_id)
stream_generate = mlx_lm.stream_generate
messages = [
{"role": "system", "content": "你是一个科学家型的AI助手。"},
{"role": "user", "content": "您好！"},
{"role": "assistant", "content": "你好！有什么我可以帮助你的吗？"},
{"role": "user", "content": "你能解释一下牛顿第一定律吗，包括公式原来，参数解释等。"}
]
prompt_ids = tokenizer.apply_chat_template(messages)
output_tokens = 0
text = ""
for response in stream_generate(model, tokenizer, prompt=prompt_ids):
output_tokens += 1
text += response.text
print(f"\nmlx output: {text}")mlx output: <|im_start|>牛顿第一定律，也被称为惯性定律，是经典力学中的一个基本定律。它表明，如果一个物体不受外力作用，或者受到的外力相互抵消，那么这个物体将保持其静止状态或者匀速直线运动状态。
公式：F合=0
参数解释：
F合：表示物体受到的合力，单位为牛顿（N）。
0：表示合力为零，即物体不受外力作用或者受到的外力相互抵消。
牛顿第一定律的物理意义：
牛顿第一定律告诉我们，物体的运动状态不会因为没有外力作用而改变。如果物体处于静止状态，它会一直保持静止；如果物体处于匀速直线运动状态，它会一直保持匀速直线运动。这个定律揭示了物体的惯性性质，即物体具有保持其运动状态的倾向。
牛顿第一定律的应用：
牛顿第一定律在日常生活和工程中有很多应用。例如，当我们推一个物体时，如果物体开始移动，我们需要继续施加力以保持其运动状态。如果没有外力作用，物体最终会停下来。此外，牛顿第一定律也解释了为什么我们在汽车急刹车时会向前倾，因为...
reference
smolagents - 如何在mac用agents做简单算术题