【GitHub探索】Prompt开发评测平台CozeLoop踩坑体验

接续先前CozeStudio的文章,CozeLoop相对于CozeStudio,更加专注于Prompt Engineering,打磨整个Agent Prompt的效果。因此,本篇文章也分享一下笔者使用CozeLoop的体验,源码可以从这个Repo里面拉取。

CozeLoop也采用DDD的范式,但和CozeStudio稍微有区别。CozeLoop分为api、modules和infra三大层,但在modules里面就包含了评测集、评测实验、LLM、trace等模块,每个模块下面就有比较清晰的app、domain、infra的划分了,所以本质上还是符合DDD的范式的。

部署方面比较坑,CozeLoop没有CozeStudio那样开源的效果好,笔者折腾了很久才在本地跑起来服务。主要遇到了几个问题:

  • 主机用mac,但服务需要部署在linux/amd64的服务中,需要在Dockerfile以及各个安装脚本里面做兼容,比如指定架构platform、取消CGO等,防止指令集不兼容;
  • MySQL缺少默认DB,这个需要查下issue然后新增个sql+替换entrypoint.sh来解决;
  • cozeloop-broker起不来,这个发现是笔者自己的colima核数太少,加大核数调大sleep解决了。

开发方面,CozeLoop先是提供了一个Prompt调试界面,可以看到Prompt的运行结果,也有对比功能看不同模型不同Prompt对同一个问题的效果。然后评测方面,提供了评测集/评估器管理以及实验任务等功能。从评估器角度来看,评估器的Prompt需要有评测input、预期output以及实际output的输入,而被评估的Prompt必须得设置一个变量,引用评测集的input,才能让Prompt了解到每一次要评测哪个输入(也就是说,写一个面向评测的Prompt)。实验的过程也是submit任务,创建任务记录后,每条评测就开始自己在MQ里面Loop,推进结果了。由于注入变量这个事情官方文档讲的也不详细,也踩了一些坑,实际调试的时候,也可以根据每个测试的Trace结果,来判断实验是否按照预期执行。

相关推荐
阿里-于怀4 分钟前
携程旅游的 AI 网关落地实践
人工智能·网关·ai·旅游·携程·higress·ai网关
量子位6 小时前
售价2万5!英伟达推出机器人“最强大脑”:AI算力飙升750%配128GB大内存,宇树已经用上了
llm·ai编程
闲不住的李先森6 小时前
AI 应用演进:从基础调用到自主智能体
人工智能·llm·aigc
数巨小码人6 小时前
AI+数据库:国内DBA职业发展与国产化转型实践
数据库·人工智能·ai·dba
vivo互联网技术7 小时前
EMNLP 2025|vivo 等提出 DiMo-GUI:模态分治+动态聚焦,GUI 智能体推理时扩展的新范式
前端·人工智能·agent
聚客AI7 小时前
💬深入解析:向量数据库如何为LLMs添加长期记忆
人工智能·llm·掘金·日新计划
AI大模型7 小时前
如何成为一名成功的AI产品经理:从传统产品到AI产品的转型之路
程序员·llm·agent
AI大模型8 小时前
提示工程已死?恰恰相反,这5个高阶玩法才是拉开差距的关键
程序员·llm·agent
掘金安东尼9 小时前
Claude Code 的“隐藏护城河”:GPT-5 也过不去的优化秘密
人工智能·llm
RainbowSea10 小时前
1. LangChain4J 理论概述
java·langchain·llm