Fara-微软电脑助手模型本地实践

微软推出的 Fara 系列模型，是一个专为电脑操作设计的 AI 智能体。它不同于只能聊天的传统 AI，Fara 能像人一样看屏幕、使用鼠标和键盘，直接在电脑上帮你完成各种网页任务。

Fara-7B 仅有 70亿（7B）参数，设计极其精巧，能直接在个人设备上本地运行，无需依赖云端服务器。这带来了两大优势：极低延迟（处理速度快）和隐私保护（所有数据留在本地）。

虽然体积小巧，但性能毫不妥协。在网页任务基准测试 WebVoyager 中，Fara-7B 取得了 73.5% 的成功率，超越了作为智能体配置时的 GPT-4o（65.1%）。效率也同样出色，平均仅用 16步完成任务，优于同类模型需要的 41步。

模型下载

首先我们需要先下载模型。国内我是去modelscope找和下载。地址如下：

Fara-7B

不过由于本人的电脑显卡内存不够，只有8G。最后选择的是8位的量化版本。相关链接如下：

microsoft_Fara-7B-GGUF

microsoft_Fara-7B-Q8_0.gguf

mmproj-microsoft_Fara-7B-bf16.gguf

CUDA环境安装

本人用的是windows操作系统，需要用到WSL2。安装方式网上挺多的，可自行搜索。

WSL安装好后，在安装个ubantu镜像，找个相对新点的。接着需要安装cuda环境。

查看显卡支持的CUDA版本。输入下述命令：

复制代码

nvidia-smi`
`

接下来进入ubantu，安装PyTorch。由于PyTorch没有13.1。我选了最解决的13.0。

复制代码

pip3 install torch torchvision --index-url https://download.pytorch.org/whl/cu130`
`#执行下述指令验证`
`python -c "`
`import torch`
`print('='*20, 'PyTorch 安装验证', '='*20)`
`# 1. 检查导入与版本`
`print(f'[1/4] PyTorch 版本:` `{torch.__version__}')`
`# 2. 检查 CUDA 支持`
`cuda_available = torch.cuda.is_available()`
`print(f'[2/4] CUDA 是否可用:` `{cuda_available}')`
`print('='*57)`
`"`
`

接下来安装nvcc

复制代码

wget https://developer.download.nvidia.com/compute/cuda/13.0.1/local_installers/cuda-repo-ubuntu2404-13-0-local_13.0.1-580.82.07-1_amd64.deb`

`sudo dpkg -i cuda-repo-ubuntu2404-13-0-local_13.0.1-580.82.07-1_amd64.deb`

`sudo cp /var/cuda-repo-ubuntu2404-13-0-local/cuda-*-keyring.gpg /usr/share/keyrings/`

`sudo apt update`

`sudo apt install cuda-toolkit-13-0 -y`

`# 永久添加 PATH`
`echo 'export PATH=/usr/local/cuda-13.0/bin:$PATH' >> ~/.bashrc`
`echo 'export LD_LIBRARY_PATH=/usr/local/cuda-13.0/lib64:$LD_LIBRARY_PATH' >> ~/.bashrc`
`source ~/.bashrc`

`# 验证`
`nvcc --version`
`

模型引擎安装

由于我用的模型是GGUF格式的，vllm不行，得用llama.cpp。

./build/bin/llama-server 命令可以启动一个openAI接口格式的Web服务。

-m 参数用于指定使用的文本类大模型，-mmproj 参数用于指定多模态大模型。

复制代码

git clone https://github.com/ggerganov/llama.cpp`

`cd llama.cpp `

`mkdir -p build &&` `cd build`
`cmake .. -DGGML_CUDA=ON`
`cmake --build . --config Release -j $(nproc)`

`cd ~/llama.cpp`
`./build/bin/llama-server \`
`    --host 0.0.0.0 \`
`    --port 5000` `\`
`    -m {你的模型目录}/microsoft_Fara-7B-Q8_0.gguf \`
`    --mmproj {你的模型目录}/mmproj-microsoft_Fara-7B-bf16.gguf \`
`    --n-gpu-layers 30` `\`
`    --ctx-size 8192`
`

跑起来后8G直接干满。

客户端安装

使用的客户端是官方推荐的magentic-lite。

安装命令如下：

复制代码

# 安装uv(如果没有的话)`
`curl -LsSf https://astral.sh/uv/install.sh | sh`

`# Create a project directory`
`mkdir magentic-lite && cd magentic-lite`

`# Create and activate a virtual environment`
`uv venv --python=3.12 --seed .venv`
`source .venv/bin/activate`

`# Install the latest 0.2.x release from PyPI`
`uv pip install "magentic_ui>=0.2.0"`
`

安装后，根据提示配置下大模型接口的web服务就好。默认是http://localhost:5000/v1。

效果图如下，还是有点慢：