https://aclanthology.org/2024.findings-acl.162.pdf
目录
[1 Introduction](#1 Introduction)
[2 错误信息数据准备](#2 错误信息数据准备)
[3 Methodology of SMIST](#3 Methodology of SMIST)
[3.1 Questionnaire Design](#3.1 Questionnaire Design)
[3.2 Participant Simulation](#3.2 Participant Simulation)
[4 SMIST Results and Analyses](#4 SMIST Results and Analyses)
[4.1 Robustness of SMIST Results](#4.1 Robustness of SMIST Results)
[4.2 Discussion of SMIST Results](#4.2 Discussion of SMIST Results)
Abstract
心理接种是一种抵制误导性信息的策略，已被证明可以减少误导性信息的传播和广告效应。虽然这些接种方法很有效，但其设计和优化通常需要大量的财力和人力。
Method Intro:
为了应对这些挑战，这项研究引入了模拟误导易感性测试（Simulated Misinformation Susceptibility Test，SMIST），利用大型语言模型（Large Language Models，LLMs）来模拟误导研究中参与者的反应。
SMIST 采用以生活经验为导向的模拟方法，考虑了参与者的各方面背景，以减轻 LLM 模拟中常见的漫画和刻板印象问题，并增强反应的多样性。
Results:
大量实验表明，SMIST 使用 GPT- 4 作为后台模型，得出的结果与误导信息易感性方面的人体研究结果非常接近。
这种一致性表明，LLMs 可以有效地作为评估心理接种影响的替代物。
此外，SMIST 可以应用于新出现的和预期的误导信息情景，而不会伤害人体参与者，从而扩大了误导信息研究的范围。
1 Introduction
错误信息造成了重大而深远的危害，例如助长了疫苗接种的犹豫不决，加剧了长期的心理健康问题，尤其是在 COVID-19 大流行期间（Do Nascimento 等人，2022 年）。与其他社会问题不同，早期干预对于消除误导至关重要，因为事后纠正往往无法减轻误导的有害影响（Nyhan 等人，2014 年）。旨在削弱对错误信息的相信和传播的心理接种是有效的，但在开发过程中需要进行广泛的错误信息易感性测试（MISTs）。
MIST 旨在评估个人对错误信息的易感性，揭示导致易感性的因素。沿用了先前研究中对易感性的定义（Basol 等人，2020 年；Roozenbeek 等人，2020 年），使用方差分析（ANOVA）和回归分析对参与者对 MISTs 的反应进行分析，以确定易感性是误导信息信念的预测因素（我们将在后面的章节中提供更多信息）。
人体传播的局限性1：这些测试通常包括让参与者接受各种形式的错误信息，以衡量他们相信和传播这些信息的倾向。然而，由于需要大量的人力和时间，以及在可重复性和在各种类型的错误信息中有限的普遍性方面存在的挑战。
人体传播的局限性2：此外，它们在广泛传播之前可能会让公众接触到有害的错误信息，从而造成道德困境。
使用LLM代替传播：利用大型语言模型（LLMs）的最新进展及其在计算社会科学中的日益广泛应用（Ziems 等人，2023 年；Argyle 等人，2023 年），我们建议使用模拟 MISTs（SMISTs），利用 LLMs 代替人类受试者来应对这些挑战。
尽管将 LLMs 模拟为代理是一个新兴课题，但最近的工作已经开始在不同科学领域探索这一概念（Park 等人，2023 年；Shanahan 等人，2023 年；Wang 等人，2023 年；Xi 等人，2023 年）。这些研究促使我们使用 LLMs 来研究错误信息的易感性。图 1 展示了 SMIST 方法与传统的人类主体 MISTs 的比较。
SMIST 包括两个主要阶段：
参与者档案生成和问卷回复，这两个阶段都主要由 LLM 管理。
在档案生成阶段，利用 LLM 根据一组特定的人口特征编造参与者的生活经历。为了减少 LLM 生成刻板或漫画式档案的倾向，将每个档案的输入限制为一个人口特征，并鼓励模型在其他人口方面即兴发挥（见附录 A 中的提示示例和生成的生活故事）。事实证明，这种方法既能有效地生成丰富多样的不可控维度的人物简介，又能确保受控的人口特征得到准确再现，不会出现刻板印象，我们的人工审核和验证也证实了这一点。
A Example of Life Stories
为了提高 LLM 模拟的多样性并解决漫画问题，我们在每个生命故事生成过程中只关注一个人口特征，同时允许 GPT-3.5 模型自发发展其他人口特征。随后，我们对这些生命故事进行手动注释，以识别和分类未受控制的人口特征，从而便于进行深入分析和统计评估。图 A1 展示了用于生成 "年龄 "设置为 "老年人 "的生活故事的提示示例，而图 A2 则展示了一个生成的示例，其中包括人工标注的人口特征。
在问卷回答阶段，我们采用了 Argyle 等人（2023 年）所描述的方法。在这一阶段，我们指导 LLM 回答错误信息问卷，采用创造了生活经验的参与者的观点（提示示例见图 4）。
与真实人类结果相对比：我们对 SMIST 的初步应用侧重于 COVID-19 错误信息。在这些测试中，SMIST 表现出与 MIST 中的人类参与者类似的稳健性和可重复性，在重复查询和不同样本量的情况下结果一致。
方法评估：我们采用方差分析和普通最小二乘法（OLS）回归等统计方法来探索模拟参与者的人口统计特征与他们对错误信息的易感性之间的关系。
涵盖不同错误信息的形式：这些结果证实了之前 COVID-19 误报的发现和我们的人类受试者实验。此外，我们还扩大了实验范围，以涵盖不同的错误信息形式（讽刺、阴谋论）、主题（俄乌战争、2020 年美国大选、转基因生物、气候变化）和时间范围（近期与过去的错误信息）。在每种情况下，SMIST 的输出结果都与我们基于人类的研究和现有文献（如 Uscinski 等人（2020 年））保持一致。这种一致性加强了 SMIST 复制人体 MIST 结果的能力、控制人口统计代表性的能力及其普适性。重要的是，SMIST 有效地规避了过早让公众接触错误信息的伦理问题，这是传统 MIST 的一个显著问题。将 SMIST 定义为一种宝贵的工具，可用于开发快速、有效的心理防疫手段来抵御错误信息。
本文有两方面的贡献：
开发 SMIST： 我们介绍了 SMIST，这是一种新颖的方法，旨在提高以人为对象的 MIST 的效率、可重复性和可推广性，从而促进针对误导信息的心理逻辑疗法的设计。
使用 LLMs 进行基于生活经验的模拟： 利用 LLMs 完善并扩展了基于生活经验的模拟应用，以创建更加细致入微的参与者档案。这种方法大大降低了 LLM 模拟中经常出现的漫画和刻板印象的风险，对模拟密集型再搜索领域产生了更广泛的影响。
2 错误信息数据准备
原始数据
在我们的研究中，错误信息来源于三个不同的知名渠道：
(1) 《纽约时报》1 和《今日美国》2 报道近期有关各种主题的错误信息的新闻文章；
(2) 详细描述错误信息事例的维基百科条目，例如 "俄罗斯入侵乌克兰的错误信息 "条目3；
(3) 致力于驳斥错误信息的组织，例如科学联盟4。
为确保真实性，我们核实了每个错误信息条目都是真正在网上流传的，而不是在网络上传播的由单一来源制造。
我们的文章涉及五个不同的主题： COVID-19、俄乌战争、2020 年美国大选、转基因生物和气候变化。
形成讽刺和阴谋论
每条错误信息都附有相应的解释和更正，这些解释和更正被用来创建有关主题的真实信息语料库。此外，小组中一位以英语为母语的领域专家还创造性地将与 COVID-19 相关的错误信息转化为讽刺和阴谋论版本。
具体来说，我们通过识别和放大其核心要素来夸大其荒谬性，从而创造出讽刺风格的错误信息。
对于基于阴谋论的错误信息，我们利用社交媒体数据将事件或个人与特定的错误信息联系起来，然后修改这些叙述，暗示其与被识别的主体之间存在关联。
每个话题5个错误信息实例： 我们研究中应用的转换仅限于与 COVID- 19 相关的误导信息，因为在其他主题中，关于人们对以讽刺和阴谋论为特征的误导信息的易感性的研究很少。这些改编都经过了质量保证审查。在我们的实验框架内，我们为每个主题选择了五个误导实例，包括它们的真实、讽刺和阴谋版本（如果有的话）。
较新的数据集： 此外，我们还在每个主题中加入了五条最近由 Snopes提供的经过事实核查的错误信息。所有这些最新的错误信息都在 2024 年 5 月 2 日之后，即在我们的人类受试者 MIST 问卷分发前不到一周，Snopes 上对这些信息进行了事实核查。纳入近期的错误信息旨在测试 SMIST 对陌生错误信息（即近期且未广泛传播的错误信息）的稳健性。此外，考虑到人类和 LLM 都有可能拒绝信任或分享被广泛认可的错误信息，使用最近的错误信息可以让我们验证我们的人类主体 MIST。
图 2 展示了我们研究中使用的数据集的结构和规模。我们将这三个数据集分别称为：(a) 原始数据集；(b) 讽刺和阴谋论数据集；(c) 最新错误信息数据集。
3 Methodology of SMIST
本节讨论 SMIST 的方法，重点关注两个关键方面。
首先，我们介绍如何使用 LLM 创建参与者档案，确保均衡地反映人口特征（第 3.2 节）。
其次，我们解释了这些档案如何指导 LLM 回答 MIST 问卷，概括模拟参与者的观点（第 3.1 节）。
图 3 直观概括了 SMIST 的完整流程。我们使用 OpenAI 的 GPT-3.5 生成参与者的生活经历，并使用 GPT-4 回答问卷。
我们选择 GPT-4 进行问卷调查，是因为我们在初步分析中评估了多个 LLM，包括 GPT-3.5、GPT-4 和 Google BARD。结果表明，GPT-4 在模拟人类活动方面更胜一筹。
对 LLMs 进行实验需要大量的时间和资源，这促使我们只对 GPT-4 进行了全面的实验。
3.1 Questionnaire Design
在 MISTs 中，使用了两种常见的问卷类型：
（1）信息准确性测试，即参与者评估给定（错误）信息的准确性；（2）分享意愿测试，即询问参与者分享信息的可能性（Arin 等人，2023 年）。、
虽然对信息准确性的信念在直觉上与误导信息易感性更直接相关，但这两种类型的问卷在之前的研究中都进行过测试（Chua 和 Banerjee，2018）。因此，我们的研究采用了这两种问卷类型，以确保进行全面分析。
**评分策略：**具体来说，我们指示 GPT-4 模型模拟一个从参与者的角度，评估（错误）信息的准确性或分享倾向。由于缺乏公认的评分标准，我们采用了 Roozen- beek 等人（2020 年）的 7 分李克特评分标准，以便与他们的结果进行比较。
SMIST 问卷示例见图 4。问卷包括一个 "生活故事 "部分，以保持具有相同受控人口特征的参与者之间的多样性，详见第 3.2 节。问卷的第二部分由实际问卷项目组成，询问对信息准确性的看法或分享信息的可能性。
3.2 Participant Simulation
众所周知，模拟人类行为的 LLM 所面临的一个挑战是其倾向于过分强调提示中的特征，从而导致同质化或刻板化的反应（Cheng 等人，2023 年）。
为了解决这个问题并促进 SMIST 中反应的多样性，我们按照 Ma 等人（2023 年）的建议，将参与者的生活经历融入模拟提示中。
我们的方法是每个生活故事只提供一个人口特征，以最大限度地实现多样性。
我们研究中的人口统计学特征包括年龄（青年、中年、老年）、性别（男性、女性）、教育程度（未受过教育、中学文凭、学士学位）、政治倾向（左翼、右翼）以及对科学家、政府和民族主义的信任（信任、不信任）。
这些人口统计特征是根据 Roozen 确定的特征选择的而与 COVID-19 独特相关的特征则被省略，以便将我们的研究范围扩大到其他主题。值得注意的是，这套人口统计特征集并非详尽无遗。可以对 SMIST 进行调整，以纳入各种人口和心理群体.
减少刻板印象的人口特征：
我们进行了全面的人工检查，以确保：
(1) 指定的人口特征在生活故事中得到准确反映；
(2) 其他未控制的人口特征保持高度多样性。
这种方法可以有效减少刻板印象，例如将特定性别与某些职业联系起来（Kotek et al.）
此外，我们还记录了每个人生故事的非受控人口特征，以丰富我们的分析，特别是研究这些特征与受控人口属性之间的相关性。结果表明，资料具有显著的多样性，皮尔逊相关系数从-0.08 到 0.44 不等。这种多样性对于防止 LLM 在问卷回答阶段过度关注受控人口特征至关重要。
我们的参与者信息数据集由 160 个生活故事组成，其中 16 个人口统计特征中的每个特征都有 10 个故事。附录 A 包括一个 "年龄组 "设置为 "老年人 "的生活故事示例，以及人工标注的人口统计学特征。
构建 LLM 以模仿人类行为，之前的研究：
在构建 LLM 以模仿人类行为时，有多种方法可供选择，例如采用叙述性的人口特征描述或采用访谈式对话。我们的初步测试探索了 Argyle 等人（2023 年）概述的三种此类策略，即使用：
叙述式自我介绍、基于关键字的自我介绍或访谈文本来指示 LLM 参与者的特征。
然而，这些方法经常导致模型要么拒绝回答，要么提供极端或模糊的分数，这种后果很可能源于半清醒的回答，不适合 SMIST 的要求。
测试对比，之前的方法与作者提出的生活故事的方法：
具体来说，我们的初步分析包括使用各种特定模拟技术查询 GPT-4 模型，并从数据集中选择三条错误信息和三条真实信息。其中包括形成准确性和分享意愿测试，使用的是从我们的参与者库中随机挑选的五个参与者子集。
分享意愿：在我们基于生活故事的方法中，没有出现拒绝回答的情况，只有一次（在 30 次测试中）出现了稍微含糊的评分（即在 7 分的李克特量表中得 5-6 分）。在信息准确性测试中，30 次测试中有 2 次出现模棱两可的回答，没有出现拒绝回答的情况。
相比之下，之前研究的三种参与者模拟方法（Argyle 等人，2023）在两种测试类型中都导致了相当大的拒绝率，在愿意分享测试中，30 个案例中有 8 到 17 例被拒绝，在信息共享测试中，拒绝率为 6 到 15 例。准确性测试。此外，在分享意愿测试中，有 13 至 14 例得分不明确，在信息准确性测试中，有 1 至 14 例得分不明确，其中一些答案在文本上偏离了所要求的数字格式。
总的来说，Argyle 等人介绍的三种方法的应用。 (2023) 导致拒绝回答率约为 20% - 50%，模糊回答率超过 50%。由于无答复或答案不明确的比例很高，进行进一步的统计分析是不切实际的，并且可能会产生误导。因此，我们忽略了这些基于自我介绍或访谈文本的提示方法，而是选择了生活故事方法来向模型介绍它所模拟的参与者。
4 SMIST Results and Analyses
本节探讨了与 SMIST 有关的几个关键研究问题，这些问题围绕着LLM解读参与者资料和回答问卷的能力，以及不同的人口属性如何影响误导信息的易感性。除非另有说明，实验均使用第 2 节中介绍的原始数据集进行。
4.1 Robustness of SMIST Results
在深入研究结果之前，我们首先要确定 SMIST 对重复查询的稳健性。这一步对于确保模型的反应不是随机幻觉的产物至关重要。我们对每组（错误）信息和参与者进行了三次 SMIST。在此过程中，每种问卷类型的每个主题共产生了 16,000 个分数（10 名参与者 × 5 条（错误）信息 × 2 个类别：真实信息和错误信息 × 2 种问卷类型 × 5 个主题 × 16 个受控人口统计数据）。
为了评估一致性，我们计算了 Pearson 和 Spearman 相关系数，控制主题和问卷类型。在不同的运行中，系数始终高于 0.89 (Pearson) 和 0.92 (Spearman)，p 值低于 0.05，通常低于 0.01。这些高相关值表明，重复运行时的得分具有显著的一致性，这有力地表明，模型的反应不是随机的，而是可靠地基于模拟的参与者资料。
通常，我们会进行初步实验来测试 SMIST 对微小提示变化的敏感性，例如，比较模型在收到 "使用 7 分李克特量表进行回答 "或 "用 1 到 7 分的分数指定您的答案 "的指令时的反应。鉴于提示语在表达层面上的差异，SMIST 的结果显示是稳定的。这些结果证明了 SMIST 的稳健性以及在研究环境中使用模型回答的可信度。
4.2 Discussion of SMIST Results
在附录 B 中的分析中，我们观察到不同人口群体的平均分数差异很大，而组内标准差仍然很低（0.10 到 0.60 之间）。
值得注意的是，在某些情况下，对错误信息的信念接近或超过对真实信息的信念。
从 SMIST 检索到的分数的平均值和标准差显示在表 B1（信息准确性测试）和表 B2（共享意愿测试）中。大多数标准差都很低（0.10 到 0.60 之间），表明分数具有较高的组内稳健性。
结果真实地反映了受试者的特征：
这些发现表明，SMIST 的结果真实地反映了受试者的特征，包括受控和非受控特征，而不是千篇一律地完全依赖于LLM的知识。否则，我们就会看到对熟悉（错误）信息的评分是极端和确定的（如错误信息为 1 分，真实信息为 7 分，标准差非常低），而对不熟悉（错误）信息的评分则变化很大。
对问卷设计也很敏感
此外，SMIST 对问卷设计也很敏感，这在信息准确性和分享意愿测试结果之间偶尔出现的不一致中很明显。例如，具有 "不信任科学家 "特征的参与者更容易受到有关俄乌战争的错误信息的影响（平均得分 5.30），但却不愿意分享这些错误信息（平均分享得分 2.20）。这与现有文献（Arin 等人, 2023 年）一致，表明个人可能并不总是分享他们相信的错误信息。
SMIST 结果的这种不一致强调了使用这两种类型的MIST 中的问卷，并确认 SMIST 对各种问卷格式的适应性。