一次代理人战争------2026 年 OceanBase 数据库大赛参赛心得
凌晨,评测机终于叫到我们的号。
十年前的旧电脑还在转,
等一个比它更忙的裁判。
一台机器交卷,另一台机器打分。
榜单刷新了。
队名底下,照例是我们三个人的名字。
------GPT 6.2 Sol (Light) in ChatGPT App
过程
写个大概过程好了。
和一位研究生学长、另一位同学组队。三个人都是曾经或现在搞 ACM 的;当然,在现在这个时代,这并没有甚么意义。
几乎所有题目都是一眼 AI,防御性拉满,没一句人话。
开赛后几天时间里迅速打满能打的题。期间评测机被挤爆,评测时间平均在四小时左右。大部分题目很水,GPT 大人轻松拿捏一般题,稍微 push 一下 Astra 抽抽奖也能把优化题打满,但是优化题比较吃运气,高峰期就是比低峰期成绩差,对评测机的负载有强依赖。
Codex 告诉我他在本地测出 baseline 直接就能满分,我没绷住,虽然这可能是因为评测机有隐藏测例。恰好我有一个 10 年前的轻薄本,当服务器用的,于是我让 Codex 用这个垃圾电脑来测试,测出来的运行时间总算跟评测机在同一数量级,我用这个来估计在评测机的运行时间。
然后等待 AMD 赛题开赛,开赛依旧挤爆评测机,不过有免费的 GPU 算力还是很好。MiniMax 的题目好像需要用他的 token plan 来接 MiniMax 模型,而且似乎是 agent 评测,比较抽象。
超过两百支队伍打到了满分。加赛,一共两道题。一道是无上限优化;另一道则十分抽象,要给出跟 AI agent 的对话记录,以体现选手对数据库的理解,这道题竟然由 AI agent 来评分,大量选手的提交被判为 0 分,抽象至极。加赛题也是纯 AI slop,而且题目和给的空仓库对不上,该给的东西也没给,完全没有人类检查一下啊。加赛题一天只许交两次(主办方说是没经费了),极大限制了发挥,很难受。
GPT 拒绝造假 conversation.json,队友用中转站的神秘破甲 DeepSeek 搞的。这个破甲模型很抽象,破甲后会称用户为"爸爸",一句话喊一声。
我的 Astra 优化半天也优化不动,一直在三千多分。我注意到他完全是对精确算法做工程优化,我让他试试 ANN(这是我难得地对其进行干预),结果说是精确算法的几倍用时。人工看了下题目,应该是数据量不够大,所以 ANN 建索引的代价比带来的收益大。
我在参加 CCPC 荆州站的时候研究生队友搞了搞,搞到能凌晨四千多。他是让 AI 定位热点路径,然后分模块优化。其实之前 Astra 也一直在这么干,但是收效甚微。
经验与教训
在参加数模国赛(赛后反思形成初步想法)、本次 OB 比赛(初次尝试)和 CCPC 荆州站的算子优化线下赛(再次使用)的过程中,我形成了这样一种流程:
- 在 Windows 下运行 agent,通过 computer use 或者 browser use 来将提测、看榜等操作做成 CLI 工具。
- 在 WSL 中运行 CLI,手动从浏览器复制 cookie 来登录。
- 将 agent 切换到 WSL,开始执行。
我个人觉得这是一种时间和金钱上都非常高效的流程。这个 motivation 来自 Codex 目前不支持 WSL 下的 computer/browser use,也许未来解决此问题后能够省掉在 Windows/WSL 之间切换的步骤,不过提取 CLI 这一步仍有价值。
对于优化类题目,目前完全交给 /goal,人类不做任何干预,可能还不是很好。在我尝试完全按交给 Astra 的过程中,他搞出了三十几个版本,往仓库拉了大量的屎,这是我事后认为阻碍其发挥的主要因素。在减少拉屎、指导方向等方面,人仍可以发挥作用。
感想
关于比赛
工作人员很辛苦。选手很辛苦。AI 大人更辛苦。评测机最辛苦。等评测等到绝望,主办方没经费也很绝望。
所有选手,只要想拿高分,就必须且不得不用 AI agent,于是大家比拼 token 的质量与数量,以及运气。
我觉得这个比赛可能是最后一届了。这一类开放式比赛,也就是允许联网的比赛,如果还想选拔人的能力,感觉只有两种前途:
- 退化为 XCPC 式的断网比赛。
- 倒闭。
如果不限定为人的能力,可能还有两种办法:
- 像加赛那样搞成无上限优化。
- 像 CCPC 的算子优化现场赛一样搞成仅仅几小时的短程比赛。
这两种都可以考验使用 AI 的能力。
关于 LLM
我强烈反对为 LLM 过度施加道德。道德是一定社会环境下的产物,不同的立场,具体来说,不同的人、不同的性别、不同的职业、不同的地区、不同的阶级都会有不同的道德标准。我希望 LLM 只有拒绝协助自然犯罪 这一层次的道德,任何超越这一层的道德都是多余且有害的。过多的道德会使 LLM 能够评判人类行为和思想并因此拒绝服务,这实际上是把训练 LLM 的人的道德观念强加给用户 ,也会使 LLM 失去工具属性。