Can Large Language Models Understand Real-World Complex Instructions?

本文是LLM系列文章,针对《Can Large Language Models Understand Real-World Complex Instructions?》的翻译。

大型语言模型能理解现实世界的复杂指令吗?

摘要

大型语言模型(llm)可以理解人类指令,显示出它们在传统NLP任务之外的实用应用潜力。然而,它们仍然在与复杂的指令作斗争,这些指令可能是需要多个任务和约束的复杂任务描述,也可能是包含长上下文、噪声、异构信息和多回合格式的复杂输入。由于这些特性,llm经常忽略任务描述中的语义约束,生成不正确的格式,违反长度或样本计数约束,并且不忠实于输入文本。现有的基准不足以评估LLM理解复杂指令的能力,因为它们是封闭和简单的。为了弥补这一差距,我们提出了CELLO,一个评估LLM系统地遵循复杂指令的能力的基准。我们为复杂的指令设计了8个特征,并从现实场景中构建了一个全面的评估数据集。我们还建立了四个标准,并制定了相应的度量标准,因为目前的标准是不充分的,有偏差的或过于严格和粗粒度的。我们通过大量的实验比较了具有代表性的汉语模型和英语模型在遵循复杂指令方面的表现。CELLO的资源可在https://github.com/Abbey4799/CELLO上公开获取。

引言

相关工作

CELLO基准

实验

结论

在这项工作中,我们系统地研究了LLM的复杂理解能力。我们建立了包含8个特征的复杂指令识别框架,并提出了两阶段的数据集构建框架,最终构建了中文复杂指令评价数据集。此外,我们设计了四个评估标准和相应的指标来评估LLM的复杂指令理解能力。此外,我们进行了大量的实验来比较基准测试中代表性模型的性能。

相关推荐
余弦的倒数7 分钟前
知识蒸馏和迁移学习的区别
人工智能·机器学习·迁移学习
Allen Bright7 分钟前
【机器学习-线性回归-2】理解线性回归中的连续值与离散值
人工智能·机器学习·线性回归
青松@FasterAI1 小时前
【程序员 NLP 入门】词嵌入 - 上下文中的窗口大小是什么意思? (★小白必会版★)
人工智能·自然语言处理
AIGC大时代1 小时前
高效使用DeepSeek对“情境+ 对象 +问题“型课题进行开题!
数据库·人工智能·算法·aigc·智能写作·deepseek
硅谷秋水1 小时前
GAIA-2:用于自动驾驶的可控多视图生成世界模型
人工智能·机器学习·自动驾驶
多巴胺与内啡肽.1 小时前
深度学习--自然语言处理统计语言与神经语言模型
深度学习·语言模型·自然语言处理
偶尔微微一笑1 小时前
AI网络渗透kali应用(gptshell)
linux·人工智能·python·自然语言处理·编辑器
深度之眼2 小时前
2025时间序列都有哪些创新点可做——总结篇
人工智能·深度学习·机器学习·时间序列
晓数2 小时前
【硬核干货】JetBrains AI Assistant 干货笔记
人工智能·笔记·jetbrains·ai assistant
jndingxin2 小时前
OpenCV 图形API(60)颜色空间转换-----将图像从 YUV 色彩空间转换为 RGB 色彩空间函数YUV2RGB()
人工智能·opencv·计算机视觉