大型语言模型性能预测器:学习何时在混合人机-人工智能管理系统中升级

随着大语言模型日益融入人在回路的内容审核系统,核心挑战在于如何判断何时可以信赖其输出,又何时需要提请人工复审。

我们提出了一种新颖的监督式大语言模型不确定性量化框架,通过学习基于LLM输出衍生的性能预测因子------包括对数概率、信息熵及新型不确定性归因指标------来构建专用元模型。

实验表明,该方法能够在真实人机协作工作流中实现成本感知的选择性分类:高风险案例提请人工处理,其余则自动完成。

我们在多模态与多语言内容审核任务上,对包括商用模型(Gemini、GPT)和开源模型(Llama、Qwen)在内的前沿大语言模型进行测试,结果显示该方法在准确率与成本权衡方面显著优于现有不确定性评估方法。

除不确定性估计外,性能预测因子还可通过揭示模型失效原因(如内容模糊性与政策描述不明确等)为系统可解释性提供新视角。

本研究为构建具备不确定性感知能力、可扩展且负责任的人机协同审核工作流建立了理论框架。

相关推荐
charlex1 天前
【陈同学】走进 AI Agent:从“对话框”到“自主智能体”
人工智能·agent
百度Geek说1 天前
打造高效易用的Agent Skill
人工智能
豆芽包1 天前
实战部署OpenClaw
人工智能
大厂码农老A1 天前
3天实现"睡后收入"—— Cursor & Skills打造"全自动出海"Agent
人工智能·aigc·ai编程
攻城羊Weslie1 天前
🐑 从手动到自动:Yi-Shepherd 如何驯服 150+ 个 AI 模型
人工智能·程序员·开源
肥晨1 天前
OpenClaw 卸载不完全?手把手教你“连根拔起”
人工智能
前端小趴蔡1 天前
web2api 开源了(稳定的claude2api方案)
人工智能
小碗细面1 天前
AutoClaw 澳龙上线:一键养虾时代来了,本地部署 OpenClaw 从此零门槛
人工智能·agent·ai编程
飞哥数智坊1 天前
OpenClaw 为什么火?一个技术人的“不服”与深思
人工智能·agent
明明如月学长1 天前
Claude Code 背后的秘密:这套免费课程让我看懂了 AI Agent
人工智能