LLM之Agent(三):HuggingGPT根据用户需求自动调用Huggingface合适的模型

​ 浙大和微软亚洲研究院开源的HuggingGPT,又名JARVIS,它可以根据用户的自然语言描述的需求就可以自动分析需要哪些AI模型,然后去Huggingface上直接调用对应的模型,最终给出用户的解决方案。

一、HuggingGPT的工作流程

它的工作流程包括四个阶段:

  • **任务规划:**ChatGPT将用户的需求解析为任务列表,并确定任务之间的执行顺序和资源依赖关系;

  • **模型选择:**ChatGPT根据HuggingFace上托管的各专家模型的描述,为任务分配合适的模型;

  • **任务执行:**混合端点(包括本地推理和HuggingFace推理)上被选定的专家模型根据任务顺序和依赖关系执行分配的任务,并将执行信息和结果给到ChatGPT;

  • **响应生成:**最后,由ChatGPT总结各模型的执行过程日志和推理结果,给出最终的输出。

下表展示了HuggingGPT的具体细节:

不同任务的任务规划评估,如下表所示:

任务规划的格式是: [{"task": task, "id", task_id, "dep": dependency_task_ids, "args": {"text": text, "image": URL, "audio": URL, "video": URL}}],参数的详细解释,如下表所示:

二、HuggingGPT的示例

假设我们有如下请求,来看一下HuggingGPT的完整流程:

请求:请生成一个女孩正在看书的图片,她的姿势与example.jpg中的男孩相同。然后请用你的声音描述新图片。

可以看到HuggingGPT是如何将它拆解为6个子任务,并分别选定模型执行得到最终结果的。

、**** HuggingGPT不同任务的实验效果

参考文献:

[1] https://github.com/microsoft/JARVIS

[2] https://huggingface.co/spaces/microsoft/HuggingGPT

[3] https://arxiv.org/abs/2303.17580

[4] https://twitter.com/DrJimFan/status/1642563455298473986

相关推荐
hunteritself9 小时前
ChatGPT高级语音模式正在向Web网页端推出!
人工智能·gpt·chatgpt·openai·语音识别
Doker 多克12 小时前
Spring AI 框架使用的核心概念
人工智能·spring·chatgpt
曼城周杰伦16 小时前
自然语言处理:第六十二章 KAG 超越GraphRAG的图谱框架
人工智能·pytorch·神经网络·自然语言处理·chatgpt·nlp·gpt-3
爱技术的小伙子19 小时前
【ChatGPT】ChatGPT在多领域知识整合中的应用
chatgpt
学习前端的小z21 小时前
【AIGC】如何准确引导ChatGPT,实现精细化GPTs指令生成
人工智能·gpt·chatgpt·aigc
段传涛1 天前
LLM( Large Language Models)典型应用介绍 1 -ChatGPT Large language models
人工智能·语言模型·chatgpt
起名字真南2 天前
【C++】深入理解 C++ 中的继承进阶:多继承、菱形继承及其解决方案
java·jvm·c++·chatgpt·aigc
爱技术的小伙子2 天前
【ChatGPT】如何通过角色扮演让ChatGPT回答更贴合实际场景
人工智能·chatgpt
在人间负债^2 天前
VRT: 关于视频修复的模型
人工智能·python·学习·机器学习·chatgpt·音视频
AI小欧同学2 天前
【AIGC】ChatGPT提示词Prompt解析:情感分析,分手后还可以做朋友吗?
chatgpt·prompt·aigc