在LMStudio中使用microsoft_Fara-7B 模型(未实践)

刚看到microsoft_Fara-7B 模型,说是可以在windows机器上,自己打开网页等操作。

Fara-7B 是微软推出的首款专为计算机使用场景设计的智能体小型语言模型(SLM)。凭借仅70亿的参数规模,Fara-7B 成为一款超轻量的计算机使用智能体(CUA),在同尺寸模型中实现了最先进的性能,并且能够与更大规模、资源消耗更高的智能体系统相媲美。

repo:microsoft/fara: Fara-7B: An Efficient Agentic Model for Computer Use

在LMStudio中使用microsoft_Fara-7B

下载大型语言模型

在 LM Studio 中发现并下载受支持的大型语言模型

但是我的windows下LMStudio没有看到GPU,cpu也不符合要求,所以没法推理.....

有条件的话可以用VLLM推理一下试试吧。

魔搭模型:

Fara-7B · 模型库

microsoft_Fara-7B-GGUF · 模型库

手册写的使用方式

下载源代码并安装

复制代码
# 1. Clone repository
git clone https://github.com/microsoft/fara.git
cd fara

# 2. Setup environment
python3 -m venv .venv 
source .venv/bin/activate
pip install -e .
playwright install

VLLM启动推理

复制代码
vllm serve "microsoft/Fara-7B" --port 5000 --dtype auto 

迭代查询

复制代码
fara-cli --task "whats the weather in new york now"

大略看了下,好像有人说需要H100显卡,这个要求有点高啊!

不过按理说8G左右的内存或者显存应该也可以跑的,以后有空试试。

相关推荐
吴佳浩5 小时前
我把 HAMi 摆回一台双卡机器上跑了一遍:GPU 编排的性能账,到底记在谁头上
人工智能·gpu
forest_099 小时前
《AI 编程 Harness 实战手册》04|审批这道门:点了一百次“允许”,还剩多少作用?
人工智能·算法·prompt·agi
火山引擎开发者社区10 小时前
当 RPA 遇上 Agent:MUA 混合执行 Workflow 深度拆解
人工智能
严肃小白兔10 小时前
第 10/24 期:深度神经网络的自动求导机制与梯度验证
人工智能·神经网络·dnn
火山引擎开发者社区10 小时前
定档12.16-12.18!FORCE原动力大会上海见!
人工智能
努力的MM12311 小时前
CAIE 二级和阿里云大模型 ACP 怎么选?企业 AI 工程与云平台开发能力对比
人工智能
老金带你玩AI11 小时前
Kling Image 4.0来了!8K和组图直出,电商人的提效神器?
人工智能
孟健11 小时前
用 unslop 拯救 AI 生成网页的塑料感,7 分钟重构落地实测
前端·人工智能·ai编程
stormzhangV11 小时前
Google 重返第一梯队
人工智能·google·aigc