在LMStudio中使用microsoft_Fara-7B 模型（未实践）

skywalk81632026-03-15 18:39

刚看到microsoft_Fara-7B 模型，说是可以在windows机器上，自己打开网页等操作。

Fara-7B 是微软推出的首款专为计算机使用场景设计的智能体小型语言模型（SLM）。凭借仅70亿的参数规模，Fara-7B 成为一款超轻量的计算机使用智能体（CUA），在同尺寸模型中实现了最先进的性能，并且能够与更大规模、资源消耗更高的智能体系统相媲美。

repo：microsoft/fara: Fara-7B: An Efficient Agentic Model for Computer Use

在LMStudio中使用microsoft_Fara-7B

下载大型语言模型

在 LM Studio 中发现并下载受支持的大型语言模型

但是我的windows下LMStudio没有看到GPU，cpu也不符合要求，所以没法推理.....

有条件的话可以用VLLM推理一下试试吧。

魔搭模型：

Fara-7B · 模型库

microsoft_Fara-7B-GGUF · 模型库

手册写的使用方式

下载源代码并安装

复制代码

# 1. Clone repository
git clone https://github.com/microsoft/fara.git
cd fara

# 2. Setup environment
python3 -m venv .venv 
source .venv/bin/activate
pip install -e .
playwright install

VLLM启动推理

复制代码

vllm serve "microsoft/Fara-7B" --port 5000 --dtype auto

迭代查询

复制代码

fara-cli --task "whats the weather in new york now"

大略看了下，好像有人说需要H100显卡，这个要求有点高啊！

不过按理说8G左右的内存或者显存应该也可以跑的，以后有空试试。