AI大模型-评价指标-相关术语

背景

近期在学习AI大模型,对相关术语不甚了解,在此做个笔记。

术语

召回率

举例:核酸筛查时,100个人分别做核酸,其中10人实际有感染,结果找出10个感染者中的8人,又错找了3人。

此时,召回率= 8/10 = 80%

提高召回率的核心策略:宁可错抓,不可错放

准确率

又称精确率,和召回率紧密相关,上述例子中,测出11人阳性,其中3人测试结果有误。

此时,准确率= 8/11 ≈ 72.7%

提高准确率的核心策略:宁可错放,不可错抓

准确率和召回率的对比说明:

1、两者核心策略相反,往往需要根据具体场景权衡,难以兼得

2、需要明确,上述的难以兼得之结论,是以模型本身的智能水平不变为前提。实际场景中,人类当然需要两者兼得,其策略无非两种:

-- 1)将原模型更换为更高智能的模型

-- 2)将原模型组合使用,如A1负责高召回率,A2在A1的输出基础上负责高准确率,这样就能在原智能水平的基础上,同时提高准确率和召回率。这种组合本身,其本质也是创造了更高水平的智能,但潜力有限,并不能通过套娃再次提升智能水平

相关推荐
Dawson Zhu几秒前
从空间 Scaling 到时间 Scaling
人工智能·语言模型·架构·aigc·agi
石小石Orz15 分钟前
AI 正在蚕食我们的编码能力
前端·后端·算法
阿里云大数据AI技术38 分钟前
本体如何落地?阿里云 Milvus 把企业文档变成知识图谱和 Wiki
人工智能
QXWZ_IA1 小时前
公安视频专网如何与定位数据融合?架构与实施要点
人工智能
小林ixn1 小时前
GraphRAG 实战:用 Neo4j 知识图谱,让 RAG 从“找货“进化到“梳理关系“
人工智能·知识图谱·neo4j
敖老师1 小时前
Dify 连局域网 Ollama 的两个坑:docker0 网段撞车,和请求里少掉的那个参数
人工智能
MocMoc1 小时前
从 0 到 1:把 Dify Chatflow 接进一个 qiankun 中后台
人工智能
民乐团扒谱机2 小时前
【微实验】NSGA-II(非支配排序遗传算法)——解决多目标优化问题的“自然选择模拟器”
linux·人工智能·算法
青少儿编程课堂2 小时前
蓝桥杯·全国青少年信息素养大赛·电子学会Python/C++考级:中缀表达式求值解析
c++·python·算法·bfs·信息学竞赛