【GitHub探索】Prompt开发评测平台CozeLoop踩坑体验

接续先前CozeStudio的文章,CozeLoop相对于CozeStudio,更加专注于Prompt Engineering,打磨整个Agent Prompt的效果。因此,本篇文章也分享一下笔者使用CozeLoop的体验,源码可以从这个Repo里面拉取。

CozeLoop也采用DDD的范式,但和CozeStudio稍微有区别。CozeLoop分为api、modules和infra三大层,但在modules里面就包含了评测集、评测实验、LLM、trace等模块,每个模块下面就有比较清晰的app、domain、infra的划分了,所以本质上还是符合DDD的范式的。

部署方面比较坑,CozeLoop没有CozeStudio那样开源的效果好,笔者折腾了很久才在本地跑起来服务。主要遇到了几个问题:

  • 主机用mac,但服务需要部署在linux/amd64的服务中,需要在Dockerfile以及各个安装脚本里面做兼容,比如指定架构platform、取消CGO等,防止指令集不兼容;
  • MySQL缺少默认DB,这个需要查下issue然后新增个sql+替换entrypoint.sh来解决;
  • cozeloop-broker起不来,这个发现是笔者自己的colima核数太少,加大核数调大sleep解决了。

开发方面,CozeLoop先是提供了一个Prompt调试界面,可以看到Prompt的运行结果,也有对比功能看不同模型不同Prompt对同一个问题的效果。然后评测方面,提供了评测集/评估器管理以及实验任务等功能。从评估器角度来看,评估器的Prompt需要有评测input、预期output以及实际output的输入,而被评估的Prompt必须得设置一个变量,引用评测集的input,才能让Prompt了解到每一次要评测哪个输入(也就是说,写一个面向评测的Prompt)。实验的过程也是submit任务,创建任务记录后,每条评测就开始自己在MQ里面Loop,推进结果了。由于注入变量这个事情官方文档讲的也不详细,也踩了一些坑,实际调试的时候,也可以根据每个测试的Trace结果,来判断实验是否按照预期执行。

相关推荐
字节跳动数据平台37 分钟前
火山引擎多模态数据湖解决方案,以新一代数据基座迎接AI Agent时代
agent
哥布林学者1 小时前
吴恩达深度学习课程二: 改善深层神经网络 第一周:深度学习的实践(四)其他缓解过拟合的方法
深度学习·ai
数据智能老司机1 小时前
使用 Python 入门 Model Context Protocol(MCP)——深入解析模型上下文协议(MCP)
llm·agent·mcp
常先森1 小时前
【解密源码】 RAGFlow 切分最佳实践-上传与解析全流程
架构·llm·agent
Baihai_IDP2 小时前
对 GPT 5 模型路由机制的深度解析
人工智能·面试·llm
AlfredZhao3 小时前
人机对话的新纪元:自然语言如何重塑数据查询体验
ai·nl2sql·声明式语言·llm 与数据分析
Javatutouhouduan4 小时前
我用ChatGPT,给RabbitMQ加了个连接池
java·spring·rabbitmq·消息中间件·后端开发·java程序员·java八股文
94甘蓝5 小时前
第 12 篇 Dify 入坑记录:database插件连接未关闭
数据库·人工智能·ai·dify·dify插件
lzjava202411 小时前
Spring AI加DeepSeek实现一个Prompt聊天机器人
人工智能·spring·prompt
IT空门:门主11 小时前
ai prompt(提示词)的用法
prompt·学习ai