[@你] 您有新的模型申请加入群聊

前言

刚刚过去的2023年，是一场大语言模型的盛宴，从 ChatGPT 面市的第一声号角，越来越多的聊天机器人纷至沓来。大语言模型的宇宙里，有的专注于语言能力的提升，让自己的星光更加耀眼；而有的模型不断拓展各类插件，让越来越多的行星环绕在自己身边。

如此多的模型，让大家的屏幕里充斥着各类新闻报道、技术解读，很难有充足的精力和时间去了解和追踪他们最新的动态。此情形让人们不禁想起十年前互联网上微信、飞信、米聊、QQ 等即时通讯工具之争，设想一下，如果当时存在一个工具或框架，能让那些手机内存并不充裕的用户体验到这些通讯工具的各项功能，真正实现自主选择，这是否会让商业战争的味道更轻一点？

如今的大语言模型时代，对于个人用户的具体场景，怎么样去选择一款自己最为心仪的语言模型，着实是一个头疼的问题。一些AI发烧友会参考诸如 OpenCompass 的开源评测框架，根据评测结果研判出模型各维度的能力得分，作为选择的依据；而也有不少"自己动手，丰衣足食"的用户在浏览器的不同标签页疯狂切换，对于同一个问题向不同的语言模型索取答案，获得自己的主观评价。

我们一直在好奇和探索：有没有一个工具让我可以使用所有的聊天机器人，并轻便快速地感受到他们的"聊天"能力，并进行直观地对比？ 这个想法的实现有两个点：

一是要创造一个容器，装进所有的模型，并且可以轻松地扩展，在有新模型面世时，可以快速地"加入群聊"。

二是要创造一个场景，可以同时观察到模型的输出，对比模型的能力。

基于这两个点，我们最近开源了 OpenAOE - LLM Group Chat Framework（LLM-GCF）: chat with multiple LLMs at the same time，一个前沿的大语言模型群聊框架。它内置支持了 OpenAI, Google, Anthropic, Minimax, 科大讯飞和 InternLM 的聊天模型，并支持同时跟多个模型对话。正如俗语所言："一剑寒霜十四州", OpenAOE 涵盖了目前市面上主流的大语言模型。

（文章的最后有福利哟~）

什么是 OpenAOE

用一张动图来展示：

Lisa **有两个姐姐，每个姐姐都有两个姐妹，请问 **Lisa **家里一个有几个孩子？

一个问题同时跟三个模型聊天，时间管理大师都直呼内行（开个玩笑）。最直观的感受是，三个模型在输出速度和长短上不一样。外行看热闹，内行看门道，仔细研究会发现三个模型的逻辑思路、计算方式和结构化都不一样，这或许给模型研究者和提示词工程师们提供了一种新的模型体验场景和调试方式 ？

功能介绍

接入模型

目前 OpenAOE 已支持了 OpenAI 的 GPT-3.5 和 GPT-4，上海人工智能实验室出品的 InternLM2 模型，以及来自Google, Anthropic, Minimax 和科大讯飞的模型。只需要简单配置对应模型的接入凭证（如 apikey，token等），就可以直接和众多模型进行对话了。

除了已接入的模型外，扩展模型列表的方式也很简单，OpenAOE 整合了常见的模型请求结构，支持流式和非流式输出请求，提供统一的标准化接口，您只需在配置文件里加入新模型的配置，即可邀请新朋友加入群聊。

对话模式

我们目前支持串行和并行（俗称群聊）两种模式。在输入框输入 # 快捷键即可轻松切换。

Serial Mode：串行模式，选择其中一个模型，一对一聊天。在聊天过程中，还可以随时切换到其他模型，在一个串行会话里，共享历史聊天记录（当然也可以清除当前聊天和历史聊天记录）。

Parallel Mode：并行模式， 一对多对话，直观地对比哪个大模型回答的更好。

你觉得金庸小说里，哪个角色武功最厉害？（不一定是主角）

安装使用

说了这么多，想必大家也开始好奇怎么安装 OpenAOE 吧？

为了尽可能的提供开箱即用的环境，降低部署难度，我们提供了三种部署方式供大家选择：pip, docker和源代码。

基于 pip

需要 python 版本 >= 3.9

pip install -U openaoe
openaoe -f /path/to/your/config-template.yaml

基于docker

需要有 docker 运行时环境。

docker run -p 10099:10099 -v /path/to/your/config-template.yaml:/app/config.yaml --name OpenAOE opensealion/openaoe:latest

除了使用我们提供的官方镜像外，我们也开源了用于构建 OpenAOE 的 Dockerfile，大家可以按需取用，构建自己的 OpenAOE。

基于源代码

需要 python 版本 >= 3.9，node 版本 >= 18

当然，如果想体验 OpenAOE 最新的特性，大家也可以 clone/fork 我们的项目，在本地基于源代码运行：

git clone https://github.com/internlm/OpenAOE
cd OpenAOE
pip install -r openaoe/backend/requirements.txt
python -m openaoe.main -f /path/to/your/config-template.yaml

/path/to/your/config-template.yaml 是启动 OpenAOE 必备的文件，其格式可以参考：github.com/InternLM/Op...

福利时间

简单地安装与部署，即可让 OpenAOE 快速成为成为你的"大语言模型判官小助手"。除了目前已经支持的主流大语言模型外，市面上也会有很多大家惯用的模型，也欢迎开发者合并到框架中，成为 OpenAOE 的贡献者，参与到生态中来。

福利时间到！

即日起，

无论是作为用户，在 官网repo 下提有效的 issue；

还是作为开发者，让OpenAOE的功能更完善、界面更美观、模型更丰富，提出 PR 并被接受,

都可以获得无限次数（有 RPM 限制）的接入凭证使用权!

最后的最后，

女生们先生们，请点Star： github.com/InternLM/Op...

Ladies and Gentlemen, Please Star： github.com/InternLM/Op...

Meine Damen und Herrn，Bitte Star: github.com/InternLM/Op...

（重要的事情说三遍）