大型语言模型性能预测器:学习何时在混合人机-人工智能管理系统中升级

随着大语言模型日益融入人在回路的内容审核系统,核心挑战在于如何判断何时可以信赖其输出,又何时需要提请人工复审。

我们提出了一种新颖的监督式大语言模型不确定性量化框架,通过学习基于LLM输出衍生的性能预测因子------包括对数概率、信息熵及新型不确定性归因指标------来构建专用元模型。

实验表明,该方法能够在真实人机协作工作流中实现成本感知的选择性分类:高风险案例提请人工处理,其余则自动完成。

我们在多模态与多语言内容审核任务上,对包括商用模型(Gemini、GPT)和开源模型(Llama、Qwen)在内的前沿大语言模型进行测试,结果显示该方法在准确率与成本权衡方面显著优于现有不确定性评估方法。

除不确定性估计外,性能预测因子还可通过揭示模型失效原因(如内容模糊性与政策描述不明确等)为系统可解释性提供新视角。

本研究为构建具备不确定性感知能力、可扩展且负责任的人机协同审核工作流建立了理论框架。

相关推荐
知识分享小能手2 小时前
Oracle 19c入门学习教程,从入门到精通,SQL*Plus命令详解:语法、使用方法与综合案例 -知识点详解(4)
sql·学习·oracle
yunni82 小时前
从0到1,智能写作+智能知识库打造智能工作流
人工智能
微学AI2 小时前
金仓数据库的新格局:以多模融合开创文档数据库
人工智能·stable diffusion
韦东东2 小时前
万元级边缘算力方案:Mac Mini在几个知识库项目的部署实践
人工智能·macos·大模型·mac mini·边缘算力·知识库应用
燃犀知不可乎骤得2 小时前
MFC学习记录
c++·学习·mfc
brent4232 小时前
DAY52 通道注意力(SE注意力)
人工智能·深度学习·计算机视觉
GitCode官方2 小时前
【无标题】
人工智能·开源·atomgit
三不原则2 小时前
实战:ELK 分析 AI 系统日志,快速定位接口报错问题
人工智能·elk
星火开发设计2 小时前
C++ 运算符全解析:算术、关系、逻辑与位运算
java·开发语言·c++·学习·位运算·知识·操作符