极客时间:使用Autogen Builder和本地LLM(Microsoft Phi3模型)在Mac上创建本地AI代理

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗?订阅我们的简报,深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同,从行业内部的深度分析和实用指南中受益。不要错过这个机会,成为AI领域的领跑者。点击订阅,与未来同行! 订阅:https://rengongzhineng.io/

AI技术已经取得了长足的进步,现在通过微软、谷歌和OpenAI等公司发布的各种新AI代理框架,创建自己的AI代理比以往任何时候都更容易。借助AutoGen Builder(AutoGen | AutoGen)和强大的本地LLM(如Microsoft Phi3),你可以直接在Mac上构建和部署AI解决方案。让我们一起来实现吧------以下是逐步指南。

步骤1:安装AutoGen Builder

在之前的帖子中,我们玩过微软的AutoGen。AutoGen Builder是一个无代码环境,用户可以轻松创建工作流、模型和代理。运行以下命令进行安装:

pip install autogenstudio

安装完成后,在终端运行其Web UI:

autogenstudio ui --port 8082

界面相当简洁。

步骤2:使用Ollama运行本地LLM

使用以下命令运行本地LLM非常简单:

ollama run phi3

起初,我对我的M1 MacBook过于自信,尝试运行谷歌的Gemma 2 9B,结果在工作流测试期间我的Mac崩溃了。因此,我不得不切换到体积更小的Phi 3 Mini(2.3GB)。

步骤3:运行LiteLLM和Gunicorn

AutoGen原生支持OpenAI和Gemini的LLM模型,但不支持Phi3。因此,我们需要使用LiteLLM和Gunicorn作为代理,提供符合OpenAI标准的API供AutoGen调用。安装过程非常简单:

pip install litellm --upgrade

我遇到了以下错误:

❯ litellm --model ollama/gemma2
Traceback (most recent call last):
  File "/Users/nedved/.pyenv/versions/3.9.16/lib/python3.9/site-packages/litellm/proxy/proxy_server.py", line 53, in <module>
    import backoff
ModuleNotFoundError: No module named 'backoff'

处理这个错误的过程中,发现还需要安装一些额外的依赖,包括backoff:

pip install 'litellm[proxy]'

然后运行:

litellm --model ollama/phi3

你会看到代理运行在http://0.0.0.0:4000

步骤4:配置AutoGen Builder

首先,我们需要创建测试工作流。

工作流将使用代理"local_assistant"。

然后,我们将"local_assistant"代理配置为使用我们的本地LLM Phi3(实际上我命名为local_gemma2,忘了改成local_phi3)。

接下来,创建模型。对于"API key",输入"NotRequired",因为我们调用的是本地LLM Phi3。点击"Test Model",如果一切正常,你会看到"Model tested successfully"。

最后,进入AutoGen Builder的"Playground"运行测试。你会看到来自本地Phi3的回复。

AutoGen Builder使用起来非常简单。下一步更有趣的是创建一个具有自己技能的自定义代理。将会非常有趣。敬请期待!

动手试试吧,玩得开心。

相关推荐
askah66442 分钟前
解决mfc100u.dll缺失问题,轻松恢复系统稳定
windows·经验分享·游戏·microsoft·dll修复
sheng12345678rui8 分钟前
mfc100u.dll是什么?分享几种mfc100u.dll丢失的解决方法
游戏·microsoft·电脑·dll修复工具·1024程序员节
是Winky啊12 分钟前
【论文阅读】WGSR
论文阅读·深度学习·计算机视觉·超分辨率重建
dundunmm16 分钟前
论文阅读:SIMBA: single-cell embedding along with features
论文阅读·人工智能·数据挖掘·embedding·生物信息·多组学细胞数据·单组学
xhyu6117 分钟前
【论文笔记】LLaVA-KD: A Framework of Distilling Multimodal Large Language Models
论文阅读·人工智能·语言模型
数据岛17 分钟前
sklearn中常用数据集简介
人工智能·python·sklearn
黎跃春41 分钟前
智能体来了:构建用于具有结构化输出的内容审核的智能 AI Agent 智能体
人工智能·搜索引擎
美狐美颜sdk1 小时前
从零开始:如何使用第三方视频美颜SDK开发实时直播美颜平台
人工智能·计算机视觉·性能优化·美颜sdk·第三方美颜sdk·美颜api
公子小六1 小时前
在WPF程序中实现PropertyGrid功能
windows·microsoft·c#·.net·wpf
CSDN专家-赖老师(软件之家)1 小时前
养老院管理系统+小程序项目需求分析文档
vue.js·人工智能·小程序·mybatis·springboot