大型语言模型性能预测器:学习何时在混合人机-人工智能管理系统中升级

随着大语言模型日益融入人在回路的内容审核系统,核心挑战在于如何判断何时可以信赖其输出,又何时需要提请人工复审。

我们提出了一种新颖的监督式大语言模型不确定性量化框架,通过学习基于LLM输出衍生的性能预测因子------包括对数概率、信息熵及新型不确定性归因指标------来构建专用元模型。

实验表明,该方法能够在真实人机协作工作流中实现成本感知的选择性分类:高风险案例提请人工处理,其余则自动完成。

我们在多模态与多语言内容审核任务上,对包括商用模型(Gemini、GPT)和开源模型(Llama、Qwen)在内的前沿大语言模型进行测试,结果显示该方法在准确率与成本权衡方面显著优于现有不确定性评估方法。

除不确定性估计外,性能预测因子还可通过揭示模型失效原因(如内容模糊性与政策描述不明确等)为系统可解释性提供新视角。

本研究为构建具备不确定性感知能力、可扩展且负责任的人机协同审核工作流建立了理论框架。

相关推荐
肾透侧视攻城狮4 分钟前
《Transformer模型PyTorch实现全攻略:架构拆解、代码示例与优化技巧》
深度学习·transformer·构建transformer模型·定义多头注意力模块·定义位置前馈网络·构建解/编码器模块·训练transformer模型
Yuer20256 分钟前
为什么说在真正的合规体系里,“智能”是最不重要的指标之一。
人工智能·edca os·可控ai
一切尽在,你来7 分钟前
1.4 LangChain 1.2.7 核心架构概览
人工智能·langchain·ai编程
爱吃大芒果11 分钟前
CANN ops-nn 算子开发指南:NPU 端神经网络计算加速实战
人工智能·深度学习·神经网络
聆风吟º12 分钟前
CANN ops-nn 实战指南:异构计算场景中神经网络算子的调用、调优与扩展技巧
人工智能·深度学习·神经网络·cann
蒸蒸yyyyzwd13 分钟前
分布式算法学习笔记1.1-1.4
笔记·学习
2601_9495936518 分钟前
CANN加速人脸检测推理:多尺度特征金字塔与锚框优化
人工智能
小刘的大模型笔记19 分钟前
大模型LoRA微调全实战:普通电脑落地,附避坑手册
人工智能·电脑
乾元20 分钟前
身份与访问:行为生物识别(按键习惯、移动轨迹)的 AI 建模
运维·网络·人工智能·深度学习·安全·自动化·安全架构
happyprince20 分钟前
2026年02月07日全球AI前沿动态
人工智能