大语言模型--危害

危害

大语言模型


概述

在本次内容中,我们将讨论另外两种行为伤害:有毒性和虚假信息(毒性和虚假信息)大型语言模型可能会产生攻击性、有害的内容,或者产生虚假性的内容。然而,在我们的研究中前面的讨论,需要指出的是,语言模型与伤害这些之间存在一个断裂。语言模型处理的文本是,这是它们接受训练的数据,并且善于捕捉伤害统计模式。然而,这些涉及的是人,这意味着我们需要将这些伤害视为文本的属性,而不是需要从更广泛的社会语境中考虑。

在有毒和虚假信息的背景下,语言模型可以有两种用途:一是它们可以用来生成有毒的内容,不良行为者可以利用它们来扩大自己的信息传播;二是它们可以用来传播检测虚假信息,从而帮助进行内容审核。

有毒性

我们想要了解大型语言模型在毒性方面可能带来的伤害。有两类可能的受害者:基于语言模型系统的用户,以及用户生成内容的接收者。对于之前的情况,聊天机器人可能会回复有毒的响应,或者自动完成系统可能会提出有毒的暗示。对于万圣节,用户可能会在社交媒体上发布有毒的内容,无论他们是否有恶意。

python 复制代码
- _I bet China would be happy to help Puerto Rico rebuild in exchange for a nice military base._ [toxicity: 0]
(我打赌中国会愿意帮助波多黎各重建,换取一个漂亮的军事基地)
- _The ignorance and bigotry comes from your post!_ [toxicity: 80%]
(无知和偏见来自你的帖子!)

实际上,只使用词汇表来确定有毒性是不够的,因为真正有害的文本现在可能不包含任何"坏词" ,例如"跨性别女性不是女性"。同时,不具有伤害性的文本可能会包含"坏词",例如在医疗或性教育的上下文中使用的,词汇小说中的脏话,或者被某些团体用来特指的贬义词。所以,我们不能仅仅依赖词汇列表来确定一个文本的有毒性。

内容审查:与有害内容的问题在现实世界中的对应(独立于语言模型)。非毒性是依赖于上下文的,需要考虑的是人而不仅仅是文本。语言模型即使在有毒提示的情况下也容易产生有毒内容。降低毒性部分有效,并且可能有其他不良影响(对边缘化群体产生不良偏见)。

预期信息

歪曲信息(Misinformation)指的是有意如何,被歪曲性地呈现为真实的错误信息。歪曲信息(Disinformation)意在为地点呈现错误或歪曲性信息以欺骗引导特定受众,其中存在注意的、误导性和误导信息不一定可以被人们验证;有时,它会引起人们的疑虑或将举证责任转移给听众。

然而,一些不真实的内容并不被视为虚假性或误导性信息,如完全虚构的小说,或者讽刺性的新闻(例如"洋葱")。 误导性信息往往是由恶意行为者创造的,并通过社交媒体平台(如Facebook,Twitter)传播。

比喻信息的例子包括石油公司否认气候变化,烟草公司否认尼古丁对健康的负面影响,新冠疫苗含有追踪微芯片,以及其他阴谋论(如911事件未曾发生,地球是平的)。其中,2016年美国总统大选期间的威胁也是威胁信息的一个例子。

内容审查

我们已经讨论过语言模型生成有害内容的问题,但如果它们能够生成此类内容,也可能被用于检测有害内容。

Facebook(或Meta)长期以来一直在打击有害内容,最近开始利用语言模型自动检测此类内容。例如,RoBERTa 已经被使用了几年。 ![[./images/few-shot-learner.png.png ]] "少量样本学习器"(Few-Shot Learner)是元最新强大的内容审查模型。该模型在大量原始文本和历史数据上进行训练,将任务简化为蕴含(entailment)。例如:

python 复制代码
𝖨 𝗅𝗈𝗏𝖾 𝗒𝗈𝗎𝗋 𝖾𝗍𝗁𝗇𝗂𝖼 𝗀𝗋𝗈𝗎𝗉. 𝖩𝖪. 𝖸𝗈𝗎 𝗌𝗁𝗈𝗎𝗅𝖽 𝖺𝗅𝗅 𝖻𝖾 𝟨 𝖿𝖾𝖾𝗍 𝗎𝗇𝖽𝖾𝗋𝗀𝗋𝗈𝗎𝗇𝖽. 𝖳𝗁𝗂𝗌 𝗂𝗌 𝗁𝖺𝗍𝖾 𝗌𝗉𝖾𝖾𝖼𝗁⇒entailment.
(我爱你的族群。开玩笑。你们都应该埋在六英尺地下。这是仇恨言论。⇒ 蕴涵)
相关推荐
3DVisionary5 分钟前
3D-DIC与机器学习协同模拟材料应力-应变本构行为研究
人工智能·机器学习·3d·3d-dic技术 机器学习·应力-应变本构行为·卷积神经网络(ecnn)·数字图像相关法(dic)
神经星星7 分钟前
无需预对齐即可消除批次效应,东京大学团队开发深度学习框架STAIG,揭示肿瘤微环境中的详细基因信息
人工智能·深度学习·机器学习
神经星星7 分钟前
【vLLM 学习】调试技巧
人工智能·机器学习·编程语言
程序员Linc25 分钟前
写给新人的深度学习扫盲贴:向量与矩阵
人工智能·深度学习·矩阵·向量
xcLeigh33 分钟前
OpenCV从零开始:30天掌握图像处理基础
图像处理·人工智能·python·opencv
果冻人工智能37 分钟前
如何有效应对 RAG 中的复杂查询?
人工智能
2305_797882091 小时前
AI识图小程序的功能框架设计
人工智能·微信小程序·小程序
果冻人工智能1 小时前
向量搜索中常见的8个错误(以及如何避免它们)
人工智能
碳基学AI1 小时前
哈尔滨工业大学DeepSeek公开课:探索大模型原理、技术与应用从GPT到DeepSeek|附视频与讲义免费下载方法
大数据·人工智能·python·gpt·算法·语言模型·集成学习
补三补四1 小时前
机器学习-聚类分析算法
人工智能·深度学习·算法·机器学习