大型语言模型性能预测器:学习何时在混合人机-人工智能管理系统中升级

随着大语言模型日益融入人在回路的内容审核系统,核心挑战在于如何判断何时可以信赖其输出,又何时需要提请人工复审。

我们提出了一种新颖的监督式大语言模型不确定性量化框架,通过学习基于LLM输出衍生的性能预测因子------包括对数概率、信息熵及新型不确定性归因指标------来构建专用元模型。

实验表明,该方法能够在真实人机协作工作流中实现成本感知的选择性分类:高风险案例提请人工处理,其余则自动完成。

我们在多模态与多语言内容审核任务上,对包括商用模型(Gemini、GPT)和开源模型(Llama、Qwen)在内的前沿大语言模型进行测试,结果显示该方法在准确率与成本权衡方面显著优于现有不确定性评估方法。

除不确定性估计外,性能预测因子还可通过揭示模型失效原因(如内容模糊性与政策描述不明确等)为系统可解释性提供新视角。

本研究为构建具备不确定性感知能力、可扩展且负责任的人机协同审核工作流建立了理论框架。

相关推荐
Terrence Shen1 小时前
Agent面试八股文(系列之二)
人工智能·大模型·agent·rag
爱睡懒觉的焦糖玛奇朵5 小时前
【从视频到数据集:焦糖玛奇朵的魔法工具使用说明】
人工智能·python·深度学习·学习·算法·yolo·音视频
oy_mail5 小时前
2026教程:用Gemini解决PCB设计与EMC/EMI问题,工程师效率跃升指南(国内直访)
人工智能
Runawayliquor5 小时前
opbase:CANN 所有算子的公共地基
大数据·数据库·人工智能·算法
英辰朗迪AI获客5 小时前
AI动态简报之算力基建篇(2026.05.22)
人工智能
徐安安ye5 小时前
FlashAttention 为什么对序列长度这么“敏感”?
人工智能·算法
天行健,君子而铎6 小时前
2026国内政务数据安全平台排名评析:基于AI降噪、全链路、动态性
人工智能·政务
智塑未来6 小时前
app应用怎么接入广告?标准流程与落地实操方案全解析
大数据·网络·人工智能
甲维斯6 小时前
Claude Code的六种种授权模式!安全和效率控制
人工智能·ai编程