大型语言模型性能预测器:学习何时在混合人机-人工智能管理系统中升级

随着大语言模型日益融入人在回路的内容审核系统,核心挑战在于如何判断何时可以信赖其输出,又何时需要提请人工复审。

我们提出了一种新颖的监督式大语言模型不确定性量化框架,通过学习基于LLM输出衍生的性能预测因子------包括对数概率、信息熵及新型不确定性归因指标------来构建专用元模型。

实验表明,该方法能够在真实人机协作工作流中实现成本感知的选择性分类:高风险案例提请人工处理,其余则自动完成。

我们在多模态与多语言内容审核任务上,对包括商用模型(Gemini、GPT)和开源模型(Llama、Qwen)在内的前沿大语言模型进行测试,结果显示该方法在准确率与成本权衡方面显著优于现有不确定性评估方法。

除不确定性估计外,性能预测因子还可通过揭示模型失效原因(如内容模糊性与政策描述不明确等)为系统可解释性提供新视角。

本研究为构建具备不确定性感知能力、可扩展且负责任的人机协同审核工作流建立了理论框架。

相关推荐
一点一木6 小时前
🚀 2026 年 4 月 GitHub 十大热门项目排行榜 🔥
人工智能·github
淡海水7 小时前
【AI模型】常见问题与解决方案
人工智能·深度学习·机器学习
lilihuigz7 小时前
Tutor LMS 4.0 Beta版全新上线:以学习者为中心的移动优先学习体验
学习·在线教育·lms
HIT_Weston7 小时前
65、【Agent】【OpenCode】用户对话提示词(费米估算)
人工智能·agent·opencode
njsgcs7 小时前
我的知识是以图片保存的,我的任务状态可能也与图片有关,我把100张知识图片丢给vlm实时分析吗
人工智能
星爷AG I8 小时前
20-4 长时工作记忆(AGI基础理论)
人工智能·agi
#卢松松#8 小时前
用秒悟(meoo)制作了一个GEO查询小工具。
人工智能·创业创新
zandy10118 小时前
Agentic BI 架构实战:当AI Agent接管数据建模、指标计算与可视化全链路
人工智能·架构
数字供应链安全产品选型8 小时前
关键领域清单+SBOM:834号令下软件供应链的“精准治理“逻辑与技术落地路径
人工智能·安全
Flying pigs~~8 小时前
RAG智慧问答项目
数据库·人工智能·缓存·微调·知识库·rag