1.背景与目的
JoyAgent-JDGenie 是最近新开源的一款多Agent的产品,对于通用类问题可以做到开箱即用。而对于用户需要定制的场景功能,也支持配置子智能体或者类似MCP工具来辅助开发。此外JoyAgent-JDGenie相对比较轻量,无需依赖任何平台。
这次想对JoyAgent-JDGenie 进行综合测试,使用通用类问题从官网和本地部署的JoyAgent来进行测试,看看整体效果如何。
测试地址:autobots.jd.com/genie 开源代码:github.com/jd-opensour...
2.测评用例 1.从官网autobots.jd.com/genie 进行一个美食店推荐 2.本地部署服务,做一个北京到阿尔山的旅行规划,检验开箱即用的能力
总关注点: 1.整体规划用时 2.交互的体验感 3.结果生成的效果 4.本地部署的复杂度
3 详细测评 3.1 美食店推荐问题:我想去北京什刹海玩,帮我推荐以什刹海为中心,三站地铁范围人均100元的烧烤店
问题解析:这个问题需要agent识别的关键要素:北京什刹海,地铁线路有什么,三站地铁的范围,人均100元,烧烤店
实际结果: a.一开始的思维链如下图,joyagent可以快速且准确解析任务
b.交互的界面 在右侧有个工作空间,浏览器是展示查询的浏览器内容,实时跟随是展示实时查询的结果,并动态生成markdown。 整体交互的界面干净整洁,功能区划分清晰,这个交互使用感很好
c.最后的结果 大约用时4分钟,完成了我所有要求,包含查询和生成文档。 在工作空间的文件可以查看全部结果,对于结果的保存很人性化提供了三种方案,直接转化Joyspace,下载md文件和复制功能,满足我日常所需,这个细节我很满意。
结果的生成确认让我眼前一亮,首先推荐的店铺结果符合我的要求,三站地铁,人均100,烧烤,其次整个生成的文档不仅做了总览还很贴心的对每个区域的店铺做了详解,可以让我更好的做选择,体验感更加优秀。
3.2 旅行规划joyagent说是开箱即用,所以我本地部署一版本,实测本地效果如何。 3.2.1 安装依赖和环境 a.通过运行sh check_dep_port.sh 命令,可以看到关键依赖是否有缺少,按照引导安装即可
b.在application.yml和env_template 两个文件 配置llm的信息,目前我默认用openai的gpt-4.1模型
c.启动服务,运行 sh Genie_start.sh,就可以成功启动服务了
服务从安装到启动整体来说还很便捷,也没有什么平台依赖。
3.2.2 执行旅行规划任务问题:我是两个人,每人预算5000元,想在7.30号从北京出发,去阿尔山及其周围玩5天,帮我做个旅行规划
问题解析:旅行规划 首先解析关键地址是北京和阿尔山,住宿地址在阿尔山,时间5天包含往返,当地景点查询,酒店查询,路线安排。 扩展功能 应有这几天天气,周边美食介绍,景点介绍。
思考过程展示:
过程日志:
实际结果:
整个规划用时5分多钟,从整个结果来看,基础内容都拆解正确,出发的路线没问题,每天的景点安排正确且合理。 对于扩展内容,提供了详细景点介绍,美食介绍,功能也完备。
- 结论与建议本框架作为全开源轻量级解决方案,在测试中表现卓越: 交互体验高效流畅:规划类测试任务响应迅速,操作路径简洁,工具请求频次合理无冗余; 结果保存智能便捷:支持灵活归档策略,满足多样化管理需求,大幅降低用户操作负担; 部署轻量化开箱即用:本地部署依赖极简,无复杂配置,通用类问题即装即解决; 生成内容完备可靠:基础与扩展信息覆盖全面,输出质量稳定。 虽存在细微优化空间,但瑕不掩瑜,整体性能表现出色,交互层尤为亮眼,为二次开发测试奠定坚实基础。