极客时间：使用Autogen Builder和本地LLM（Microsoft Phi3模型）在Mac上创建本地AI代理

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！订阅：https://rengongzhineng.io/

AI技术已经取得了长足的进步，现在通过微软、谷歌和OpenAI等公司发布的各种新AI代理框架，创建自己的AI代理比以往任何时候都更容易。借助AutoGen Builder（AutoGen | AutoGen）和强大的本地LLM（如Microsoft Phi3），你可以直接在Mac上构建和部署AI解决方案。让我们一起来实现吧------以下是逐步指南。

步骤1：安装AutoGen Builder

在之前的帖子中，我们玩过微软的AutoGen。AutoGen Builder是一个无代码环境，用户可以轻松创建工作流、模型和代理。运行以下命令进行安装：

复制代码

pip install autogenstudio

安装完成后，在终端运行其Web UI：

复制代码

autogenstudio ui --port 8082

界面相当简洁。

步骤2：使用Ollama运行本地LLM

使用以下命令运行本地LLM非常简单：

复制代码

ollama run phi3

起初，我对我的M1 MacBook过于自信，尝试运行谷歌的Gemma 2 9B，结果在工作流测试期间我的Mac崩溃了。因此，我不得不切换到体积更小的Phi 3 Mini（2.3GB）。

步骤3：运行LiteLLM和Gunicorn

AutoGen原生支持OpenAI和Gemini的LLM模型，但不支持Phi3。因此，我们需要使用LiteLLM和Gunicorn作为代理，提供符合OpenAI标准的API供AutoGen调用。安装过程非常简单：

复制代码

pip install litellm --upgrade

我遇到了以下错误：

复制代码

❯ litellm --model ollama/gemma2
Traceback (most recent call last):
  File "/Users/nedved/.pyenv/versions/3.9.16/lib/python3.9/site-packages/litellm/proxy/proxy_server.py", line 53, in <module>
    import backoff
ModuleNotFoundError: No module named 'backoff'

处理这个错误的过程中，发现还需要安装一些额外的依赖，包括backoff：

复制代码