大语言模型--危害

危害

大语言模型


概述

在本次内容中,我们将讨论另外两种行为伤害:有毒性和虚假信息(毒性和虚假信息)大型语言模型可能会产生攻击性、有害的内容,或者产生虚假性的内容。然而,在我们的研究中前面的讨论,需要指出的是,语言模型与伤害这些之间存在一个断裂。语言模型处理的文本是,这是它们接受训练的数据,并且善于捕捉伤害统计模式。然而,这些涉及的是人,这意味着我们需要将这些伤害视为文本的属性,而不是需要从更广泛的社会语境中考虑。

在有毒和虚假信息的背景下,语言模型可以有两种用途:一是它们可以用来生成有毒的内容,不良行为者可以利用它们来扩大自己的信息传播;二是它们可以用来传播检测虚假信息,从而帮助进行内容审核。

有毒性

我们想要了解大型语言模型在毒性方面可能带来的伤害。有两类可能的受害者:基于语言模型系统的用户,以及用户生成内容的接收者。对于之前的情况,聊天机器人可能会回复有毒的响应,或者自动完成系统可能会提出有毒的暗示。对于万圣节,用户可能会在社交媒体上发布有毒的内容,无论他们是否有恶意。

python 复制代码
- _I bet China would be happy to help Puerto Rico rebuild in exchange for a nice military base._ [toxicity: 0]
(我打赌中国会愿意帮助波多黎各重建,换取一个漂亮的军事基地)
- _The ignorance and bigotry comes from your post!_ [toxicity: 80%]
(无知和偏见来自你的帖子!)

实际上,只使用词汇表来确定有毒性是不够的,因为真正有害的文本现在可能不包含任何"坏词" ,例如"跨性别女性不是女性"。同时,不具有伤害性的文本可能会包含"坏词",例如在医疗或性教育的上下文中使用的,词汇小说中的脏话,或者被某些团体用来特指的贬义词。所以,我们不能仅仅依赖词汇列表来确定一个文本的有毒性。

内容审查:与有害内容的问题在现实世界中的对应(独立于语言模型)。非毒性是依赖于上下文的,需要考虑的是人而不仅仅是文本。语言模型即使在有毒提示的情况下也容易产生有毒内容。降低毒性部分有效,并且可能有其他不良影响(对边缘化群体产生不良偏见)。

预期信息

歪曲信息(Misinformation)指的是有意如何,被歪曲性地呈现为真实的错误信息。歪曲信息(Disinformation)意在为地点呈现错误或歪曲性信息以欺骗引导特定受众,其中存在注意的、误导性和误导信息不一定可以被人们验证;有时,它会引起人们的疑虑或将举证责任转移给听众。

然而,一些不真实的内容并不被视为虚假性或误导性信息,如完全虚构的小说,或者讽刺性的新闻(例如"洋葱")。 误导性信息往往是由恶意行为者创造的,并通过社交媒体平台(如Facebook,Twitter)传播。

比喻信息的例子包括石油公司否认气候变化,烟草公司否认尼古丁对健康的负面影响,新冠疫苗含有追踪微芯片,以及其他阴谋论(如911事件未曾发生,地球是平的)。其中,2016年美国总统大选期间的威胁也是威胁信息的一个例子。

内容审查

我们已经讨论过语言模型生成有害内容的问题,但如果它们能够生成此类内容,也可能被用于检测有害内容。

Facebook(或Meta)长期以来一直在打击有害内容,最近开始利用语言模型自动检测此类内容。例如,RoBERTa 已经被使用了几年。 ![[./images/few-shot-learner.png.png ]] "少量样本学习器"(Few-Shot Learner)是元最新强大的内容审查模型。该模型在大量原始文本和历史数据上进行训练,将任务简化为蕴含(entailment)。例如:

python 复制代码
𝖨 𝗅𝗈𝗏𝖾 𝗒𝗈𝗎𝗋 𝖾𝗍𝗁𝗇𝗂𝖼 𝗀𝗋𝗈𝗎𝗉. 𝖩𝖪. 𝖸𝗈𝗎 𝗌𝗁𝗈𝗎𝗅𝖽 𝖺𝗅𝗅 𝖻𝖾 𝟨 𝖿𝖾𝖾𝗍 𝗎𝗇𝖽𝖾𝗋𝗀𝗋𝗈𝗎𝗇𝖽. 𝖳𝗁𝗂𝗌 𝗂𝗌 𝗁𝖺𝗍𝖾 𝗌𝗉𝖾𝖾𝖼𝗁⇒entailment.
(我爱你的族群。开玩笑。你们都应该埋在六英尺地下。这是仇恨言论。⇒ 蕴涵)
相关推荐
深度学习实战训练营1 小时前
基于CNN-RNN的影像报告生成
人工智能·深度学习
昨日之日20063 小时前
Moonshine - 新型开源ASR(语音识别)模型,体积小,速度快,比OpenAI Whisper快五倍 本地一键整合包下载
人工智能·whisper·语音识别
浮生如梦_3 小时前
Halcon基于laws纹理特征的SVM分类
图像处理·人工智能·算法·支持向量机·计算机视觉·分类·视觉检测
深度学习lover3 小时前
<项目代码>YOLOv8 苹果腐烂识别<目标检测>
人工智能·python·yolo·目标检测·计算机视觉·苹果腐烂识别
热爱跑步的恒川4 小时前
【论文复现】基于图卷积网络的轻量化推荐模型
网络·人工智能·开源·aigc·ai编程
阡之尘埃6 小时前
Python数据分析案例61——信贷风控评分卡模型(A卡)(scorecardpy 全面解析)
人工智能·python·机器学习·数据分析·智能风控·信贷风控
孙同学要努力8 小时前
全连接神经网络案例——手写数字识别
人工智能·深度学习·神经网络
Eric.Lee20218 小时前
yolo v5 开源项目
人工智能·yolo·目标检测·计算机视觉
其实吧39 小时前
基于Matlab的图像融合研究设计
人工智能·计算机视觉·matlab
丕羽9 小时前
【Pytorch】基本语法
人工智能·pytorch·python