【GitHub探索】Prompt开发评测平台CozeLoop踩坑体验

接续先前CozeStudio的文章,CozeLoop相对于CozeStudio,更加专注于Prompt Engineering,打磨整个Agent Prompt的效果。因此,本篇文章也分享一下笔者使用CozeLoop的体验,源码可以从这个Repo里面拉取。

CozeLoop也采用DDD的范式,但和CozeStudio稍微有区别。CozeLoop分为api、modules和infra三大层,但在modules里面就包含了评测集、评测实验、LLM、trace等模块,每个模块下面就有比较清晰的app、domain、infra的划分了,所以本质上还是符合DDD的范式的。

部署方面比较坑,CozeLoop没有CozeStudio那样开源的效果好,笔者折腾了很久才在本地跑起来服务。主要遇到了几个问题:

  • 主机用mac,但服务需要部署在linux/amd64的服务中,需要在Dockerfile以及各个安装脚本里面做兼容,比如指定架构platform、取消CGO等,防止指令集不兼容;
  • MySQL缺少默认DB,这个需要查下issue然后新增个sql+替换entrypoint.sh来解决;
  • cozeloop-broker起不来,这个发现是笔者自己的colima核数太少,加大核数调大sleep解决了。

开发方面,CozeLoop先是提供了一个Prompt调试界面,可以看到Prompt的运行结果,也有对比功能看不同模型不同Prompt对同一个问题的效果。然后评测方面,提供了评测集/评估器管理以及实验任务等功能。从评估器角度来看,评估器的Prompt需要有评测input、预期output以及实际output的输入,而被评估的Prompt必须得设置一个变量,引用评测集的input,才能让Prompt了解到每一次要评测哪个输入(也就是说,写一个面向评测的Prompt)。实验的过程也是submit任务,创建任务记录后,每条评测就开始自己在MQ里面Loop,推进结果了。由于注入变量这个事情官方文档讲的也不详细,也踩了一些坑,实际调试的时候,也可以根据每个测试的Trace结果,来判断实验是否按照预期执行。

相关推荐
德育处主任6 小时前
「豆包」加「PromptPilot」等于「优秀员工」
人工智能·llm·aigc
字节跳动安全中心6 小时前
猎影计划:从密流中捕获 Cobalt Strike 的隐秘身影
人工智能·安全·llm
易迟7 小时前
从医学视角深度解析微软医学 Agent 服务 MAI-DxO
大模型·agent
小眼睛FPGA7 小时前
【盘古100Pro+开发板实验例程】FPGA学习 | 基于 UDP 的以太网传输实验例程
科技·单片机·学习·ai·fpga开发·fpga
小眼睛FPGA7 小时前
【盘古100Pro+开发板实验例程】FPGA学习 | HDMI 回环实验
科技·学习·ai·fpga开发·fpga
爱可生开源社区7 小时前
2025 年 7 月《大模型 SQL 能力排行榜》发布
数据库·人工智能·llm
深度学习机器8 小时前
Gemini CLI源码解析:深入工具系统的实现细节
人工智能·llm·agent
陶甜也9 小时前
MCP-Blender插件的安装和使用
前端·ai·blender
聚客AI9 小时前
🛠Agent架构演进史:为什么说LangGraph是下一代引擎?
人工智能·llm·agent