❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦
🚀 快速阅读
- CogVLM 和 CogAgent 是由清华大学与智谱 AI 联合推出的多模态视觉大模型，专注于图形用户界面（GUI）的理解和导航。
- CogAgent 在多个图像理解基准测试中取得了领先成绩，在 GUI 操作数据集上显著超越了现有的模型。
- 模型支持高达 1120×1120 像素的高分辨率图像输入，具备视觉问答、视觉定位和 GUI Agent 等多种能力。
正文（附运行示例）
CogVLM 是什么
CogVLM 是一个强大的开源视觉语言模型（VLM），专注于图形用户界面（GUI）的理解和导航。CogVLM-17B 拥有 100 亿的视觉参数和 70 亿的语言参数，支持 490*490 分辨率的图像理解和多轮对话。
CogAgent 是什么
CogAgent 是基于 CogVLM 改进的开源视觉语言模型，专注于 GUI 图像 Agent 的能力。CogAgent-18B 拥有 110 亿的视觉参数和 70 亿的语言参数，支持 1120*1120 分辨率的图像理解。
CogAgent 的主要功能
CogAgent 是 CogVLM 的改进版本，专注于 GUI 图像 Agent 的能力，具有以下主要功能：
- 高分辨率图像理解：支持 1120*1120 分辨率的图像输入，能够处理复杂的 GUI 界面。
- 视觉问答：能够针对 GUI 截图进行问答，解释网页、PPT、手机软件的功能，解说游戏界面等。
- 视觉定位：能够识别和解释小型 GUI 元素和文本，对于有效的 GUI 交互至关重要。
- GUI Agent 能力：能够在任何图形用户界面截图上，为任何给定任务返回一个计划，下一步行动，以及带有坐标的特定操作。
- 自动化 GUI 操作：能够模拟用户操作，如点击按钮、输入文本和选择菜单，提供自动化 GUI 操作的能力。
- 多模态能力：结合了视觉和语言模态，能在不依赖 API 调用的条件下，实现跨应用、跨网页的功能调用来执行任务。
如何运行 CogVLM 和 CogAgent
首先，我们需要安装依赖项。
bash
# CUDA >= 11.8
pip install -r requirements.txt
python -m spacy download en_core_web_sm所有的推理代码都位于 basic_demo/ 目录下。请在进行进一步操作之前，先切换到这个目录。
CLI (SAT version)
通过以下方式运行 CLI 演示：
bash
# CogAgent
python cli_demo_sat.py --from_pretrained cogagent-chat --version chat --bf16 --stream_chat
python cli_demo_sat.py --from_pretrained cogagent-vqa --version chat_old --bf16 --stream_chat
# CogVLM
python cli_demo_sat.py --from_pretrained cogvlm-chat --version chat_old --bf16 --stream_chat
python cli_demo_sat.py --from_pretrained cogvlm-grounding-generalist --version base --bf16 --stream_chat该程序将自动下载卫星模型并在命令行中进行交互。您可以通过输入指令并按回车来生成回复。输入clear 以清除对话历史，输入stop 以停止程序。
CLI (Huggingface version)
通过以下方式运行 CLI 演示：
bash
# CogAgent
python cli_demo_hf.py --from_pretrained THUDM/cogagent-chat-hf --bf16
python cli_demo_hf.py --from_pretrained THUDM/cogagent-vqa-hf --bf16
# CogVLM
python cli_demo_hf.py --from_pretrained THUDM/cogvlm-chat-hf --bf16
python cli_demo_hf.py --from_pretrained THUDM/cogvlm-grounding-generalist --bf16资源
- CogVLM 技术文档：https://zhipu-ai.feishu.cn/wiki/LXQIwqo1OiIVTykMh9Lc3w1Fn7g
- CogVLM 论文：https://arxiv.org/abs/2311.03079
- CogAgent 论文：https://arxiv.org/abs/2312.08914
- CogVLM 在线体验：http://36.103.203.44:7861
❤️ 如果你也关注大模型与 AI 的发展现状，且对大模型应用开发非常感兴趣，我会快速跟你分享最新的感兴趣的 AI 应用和热点信息，也会不定期分享自己的想法和开源实例，欢迎关注我哦！
🥦 微信公众号｜搜一搜：蚝油菜花 🥦