论文链接： https://arxiv.org/abs/2008.08370
目录
[Related Work](#Related Work)
[Method Overview](#Method Overview)
[Surfacing Coordination in 2019 UK GE](#Surfacing Coordination in 2019 UK GE)
[Analysis of Coordinated Behaviors](#Analysis of Coordinated Behaviors)
摘要：
协调的在线行为是信息和影响力行动的重要组成部分，因为它们可以更有效地传播虚假信息。大多数关于协同行为的研究都涉及人工调查，而现有的少数计算方法都做了大胆的假设或过度简化了问题，使其具有可操作性。
在此，我们提出了一种新的基于网络的框架，用于揭示和研究社交媒体上的协同行为。我们的研究扩展了现有系统，超越了对协调行为和非协调行为的二元分类限制。它可以揭示不同的协调模式，并估计不同社区的协调程度。我们将框架应用于 2019 年英国大选期间收集的数据集，检测并描述参与选举辩论的协调社区。我们的工作具有理论和实践意义，为研究在线信息操纵提供了更细致入微的结果。
Introduction
近年来，社交媒体上频繁出现信息或影响力行动（IOs），以达到误导和操纵的目的。社交媒体公司用这个借用自军事领域的术语来描述国家和非国家行为者在其平台上传播欺骗性内容的企图（Alassad、Spann 和 Agarwal，2020 年；Weedon、Nuland 和 Stamos，2017 年）。IO可以采取不同的形式，针对不同的个人、在线人群或社区，并具有不同的目标（Starbird、Arif 和 Wilson，2019 年）。犯罪者使用的战略工具包括假新闻、宣传、仇恨言论、篡改、勾结用户（如付费巨魔）和自动化（如社交机器人）。自 2016 年唐纳德-特朗普当选和英国脱欧公投以来，这些工具中的每一种都引起了科学界的广泛关注。这些持续不断的努力导致了有关这些问题的大量研究工作，以及解决这些问题的大量不同解决方案。然而，尽管研究人员对所提出的解决方案的有效性进行了争论，但国际组织似乎仍然对我们的民主国家和社会构成严重威胁（Barrett 2019）.
与此同时，计算机特定领域的突破性进展正在给网络信息格局带来深刻变化。人工智能的进步带来了 "深度伪造"（deepfakes）的兴起--通过深度学习技术对信息源进行修改的合成媒体。深度伪造可以制作出与目标人物写作风格相似的任意文本，或者音频和视频样本，让目标人物的脸和声音做任何事或说任何话。不出所料，这些强大的技术已被用于制造假新闻（Zellers 等人，2019 年）和为欺诈账户制作假证件照。
协调行动完成IO
然而，每种 IO 都必须传播并 "感染 "许多用户才能取得成功，这取决于其目的和用于欺骗的工具。要实现这一目标，通常需要在社交媒体上采取广泛而协调的行动，才能获得显著的传播效果，产生影响力，从而产生影响。有鉴于此，自 2018 年以来，所有领先平台都对研究协调的不真实行为（CIB）2 表现出极大兴趣。
协调与不真实
尽管协调和不真实经常出现在一起，但协调和不真实是两个截然不同的概念。例如，积极分子和其他草根组织通常会采取协调但真实的行为。反之，以误导为目的的单个虚假账户可能会表现出不真实但不协调的行为。现有研究 CIB 的工作大多涉及大量人工调查，而计算方法仍然少之又少。
协调的不真实行为的挑战
在这些挑战中，有 CIB 本身的模糊性和不确定性： 究竟什么是协调行为？什么是不真实的行为？一个（有意义的）协调行为需要多少个有组织的账户？
目前研究现状
遗憾的是，对这些问题还没有商定的答案，因此，将这些问题操作化概念和开发用于分析的计算方法代表了开放的挑战。
特别是，迄今为止，还没有报道成功地尝试自动区分真实和不真实的协调行为（Var- gas、Emami 和 Traynor，2020 年）。相反，一些研究人员最近专注于更直接的任务，即检测和研究协调行为，而不考虑意图和真实性。为此，为数不多的现有技术做出了简单的假设，例如使用固定的阈值对协调行为和非协调行为进行二元区分（Pacheco 等人，2020 年）。然而，"协调 "是一个复杂的、非二元对立的概念，与 "互补"（Cresci 2020）和 "不真实"（Starbird 2019）类似。在本研究中，我们将重点研究协调行为，结合前期初步成果的优势和迹象，克服二元协调方法的弊端。
Contributions
在这项工作中，我们超越了研究协调行为的现有方法，提出了一个新的基于网络的框架，该框架放宽了以前的假设，扩展并概括了现有的工作。在我们的框架内，我们将协调定义为任意数量用户之间潜在的、可疑的或显著的相似性。我们没有对协调用户和非协调用户进行二元分类，而是对协调程度进行了估计。
框架介绍
总之，通过我们的框架，我们建立了一个用户-相似性网络。
然后，我们只保留与统计相关的链接和节点，从而获得网络的多尺度骨干。
接下来，我们对协调性越来越高的用户子集进行迭代式社区检测。我们的方法并不需要确定共同排序的阈值。相反，它允许研究数据中发现的整个协调范围，从弱协调到强协调的用户。特别是，我们框架的主要新颖之处在于提供了一个连续范围内的协调度量，而不是将强烈协调的账户分开并对其进行特征描述。
因此，在分析的最后，我们将新的协调指数与多方面的网络衡量标准进行交叉验证，从而以前所未有的发现来描述新兴协调社区的特征。
最后，我们在 2019 年英国大选 (GE) 的背景下在 Twitter 数据上测试我们的框架，并将其与之前基于阈值的技术进行比较。
我们的主要贡献如下：
-
我们提出了一个更加细致入微、非二元对立、基于网络的框架，从而超越了现有的共同排序检测方法。
-
我们发现了在 2019 年英国大选期间运作的协调社区，并根据它们在选举辩论中的作用对其进行了讨论。
-
我们发现并讨论了不同社区行为中出现的不同协调模式。我们的非二元协调方法使得这种特征描述成为可能，它展示了我们框架的力量和实用性。
-
我们通过经验证明，协调和欺骗是两个正交的概念。因此，我们的框架可以补充长期研究的检测互操作、操纵和不真实性的技术。
-
我们将我们的框架与现有的二元方法进行了比较评估。这些结果表明了我们这个细致入微的非二元框架在量化协同程度和揭示协同社区的有趣网络属性方面的优势。
-
我们创建并公开分享了 2019 年英国大选的大型数据集，其中包括 120 万用户分享的 1,100 万条推文。
Related Work
由于存在诸多挑战，迄今为止，只有少数作品试图开发出检测和描述协调在线行为的计算手段。其中，与我们目前的工作最相似的方法是（Pacheco 等人，2020 年；Pacheco、Flammini 和 Menczer，2020 年）。这项工作建议提取在线活动的行为痕迹，并利用这些痕迹构建一个双方网络。为此，他们将网络投影到账户上，得到用户相似性网络。然后，他们通过应用限制性的任意相似性阈值，过滤了低权重边和断开的节点。通过这种方法，他们将剩余的节点视为协调节点，并计算了筛选网络的连接组件，将每个组件作为协调用户的一个独特群体进行分析。这种研究属于我们所说的基于阈值的方法，其特点是明确区分协调用户和非协调用户、
同样，在我们的工作中，我们建立了一个用户相似性网络。然而，最有影响力的新颖之处在于，我们没有采用基于相似性的筛选器。相反，我们在不同的协调水平上迭代执行社区检测。
通过这种方法，我们能够研究账户之间的整体协调程度，发现以往方法无法发现的不同协调模式和动态。此外，通过在连续范围内测量协调性，我们还能将这一新的协调指数与相关的网络属性进行交叉检验，从而获得新的发现，而这些发现是无法通过描述强协调账户之间的差异来实现的。
其他研究还尝试了基于阈值的方法。Giglietto 等人，2020b；2020a）中讨论的工作侧重于 CIB 的一个特定实例。作者提出了一个检测协调链接共享行为的两步流程，并在 Facebook 数据集上进行了测试。在第一步中，他们检测到几乎同时共享给定链接的实体群组。第二步，仅将重复共享相同链接的实体连接起来，从而识别出协调网络。然后，他们通过分析共享的领域和故事来人工评估不真实性。提议的算法需要两个参数：一个用于确定近乎同时的链接共享，另一个用于确定重复的链接共享。这些参数代表了用于筛选的固定相似性阈值，同时也带来了之前所有的影响和局限性。
阿森马赫等人还提出了一个用于检测 IO 的两步框架（Assenmacher 等人，2020b；2020a）。最初，他们利用无监督流聚类和趋势检测技术来处理社交媒体文本流，识别相似用户组。然后，他们建议应用标准离线分析，包括通过可视化和仪表板进行手动检查，以评估不真实性。 （Keller 等人，2020）利用参与虚假信息活动的协调帐户的真实情况来确定用于检测 IO 的网络措施。作者得出的结论是，与用于其他相关任务（例如社交机器人检测）的典型个人账户特征相比，astroturfing 代理之间协调留下的痕迹信息更丰富。此外，他们还根据先前确定的协调模式开发了一种 astroturfing 检测方法。在（Fazil and Abuaish 2020）中，作者提出了一种基于多属性图的方法来检测 Twitter 上的 CIB。作者使用 6 维特征向量对每个用户进行建模，计算成对相似性以获得用户相似性图，最后应用马尔可夫聚类，将所得聚类标记为不真实的协调组。在（Fazil and Abuaish 2020）中，高度协调自动意味着不真实。
Var-gas、Emami 和 Traynor 2020）的研究并没有提出新技术，而是侧重于确定以前提出的基于网络的协调度量标准的实用性和可靠性。一些作者，包括前面提到的一些作者，报告了通过分析可疑的协调来检测不真实行为的积极结果（Ratkiewicz 等人，2011 年；Keller 等人，2020 年；Fazil 和 Abulaish，2020 年）。然而，（Vargas、Emami 和 Traynor，2020 年）的研究结果表明，在非微妙的真实世界场景中进行评估时，这些先前提出的方法无法区分真实协调（如活动家、粉丝）和非真实协调。这些结果证明，协调和不真实是不同的概念，高度协调并不一定意味着不真实。
Dataset
通过利用 Twitter Streaming API，我们收集了与 2019 年英国大选相关的大量推文数据集。我们收集的数据涵盖选举日前一个月，即 2019 年 11 月 12 日至 12 月 12 日。在此期间，我们从包含最流行标签的列表中选取了所有至少提及一个标签的推文，其中一些标签为两大政党所使用，而其他标签则较为中立。
表 1 列出了这一阶段使用的所有标签、相应的政党倾向（N：中立，L：工党，C：保守党）以及收集到的相关数据。推文 "一栏只计算引用文本中包含表中某一标签的引用转发。其余的引用转发仍包含在我们的数据集中，但不计算在表 1 中。
除了上述基于标签的收集，我们还收集了双方官方账号及其领导人发布的所有推文，以及他们收到的所有互动（即转发和回复）。表 2 列出了这些账户和收集到的数据。
本研究的最终数据集是表 1 和表 2 所示数据的组合、和引用转发，包括 1,179,659 个不同用户发布的共计 11,264,820 条推文。该数据集可公开用于研究目的。
Method Overview
在本节中，我们将介绍基于网络的协调行为检测框架。我们的具体方法由以下六个主要步骤组成，图 1 汇总了这六个步骤：
-
**选择起始用户。**第一步是选择要调查的用户。例如，给定一个大型数据集，我们可能想要调查最活跃的用户，如超级生产者或超级传播者 ，或所有使用特定标签发布推文的用户，甚至是某位知名用户的所有追随者。无论选择标准是什么，这一步都会返回一个要分析的用户列表。
-
**选择相似性度量。**与之前的文献一样，我们利用用户之间意想不到的相似性作为协调的代理。相似度可以通过多种不同的方式计算。因此，这一步涉及相似性度量的选择。有效选项的示例是编码帐户资料特征的用户特征向量之间的余弦相似度。或每个用户使用的标签集之间或关注/转发账户集之间的 Jaccard 相似度。
3 建立用户相似性网络。在这一步骤中，我们使用在步骤 2 中选择的度量标准，计算在步骤 1 中识别的所有用户之间的成对用户相似性。我们利用用户相似性建立一个加权无向用户相似性网络 G（E，V，W），该网络编码用户之间的行为和互动模式。
- 过滤用户相似性网络。在研究现实世界中的大型 IO 数据集时，步骤 3 生成的网络可能太大，难以分析，甚至无法可视化。因此，需要进行筛选。与之前基于阈值的方法不同，我们避免了基于固定边缘权重阈值的简单筛选策略。我们记录边缘权重编码了用户之间的相似性，并在一定程度上编码了用户之间的协调性。因此，应用权重阈值 t 并丢弃所有权重低于阈值（w(e) < t）的边 e∈E 将意味着任意地对协调行为（w(e) ≥ t）和非协调行为（w(e) < t）进行二元区分，这是一种限制性的、缺乏理论依据的选择。相反，我们建议使用基于复杂网络的多尺度筛选方法，例如（Garlaschelli 和 Loffredo，2008 年；Serrano、Bogun´a 和 Vespignani，2009 年；Tumminello 等，2011 年）中讨论的任何一种方法。这些技术保留了有统计意义的网络结构，而不取决于其规模（即边的权重）。因此，网络分层步骤不会偏向于某些相似度和协调度，而是会消除传递有限信息的网络结构，从而让我们专注于有意义的相似性。
5 执行协调感知社区检测。通过聚类和社群检测可以实现对协调用户群的检测。基于阈值的方法认为，经过筛选的用户相似性网络只包含高度协调的用户。因此，只需运行一次社区检测算法，就足以突出协调的群体。相反，在我们的案例中，经过筛选的用户相似性网络仍然具有不同程度的协调性，因此需要一种更加细致的方法来显示协调的行为。因此，我们的方法基于迭代如算法 1 所示，该过程会检测不断增加的协调水平。
（协调感知的社区检测。我们在不断增加的协调级别上迭代地执行社区检测，揭示在施加越来越严格的相似性阈值时社区的结构和属性如何变化。）
首先，我们对步骤 4 中筛选出的网络进行群落检测，确定群落集 C0。然后，我们在每次迭代中对边缘权重应用限制性越来越强的相似性阈值 ti，从而删除某些边缘和断开的节点。我们对得到的子网络 
重复进行社群去保护。每次迭代时，都用上一次迭代中发现的社区集 
来初始化社区检测算法。这一过程在一定程度 上保证了起始社群在整个过程中得以保留。由于采用了 "移动 "阈值，我们可以研究协调社区的结构和属性在整个协调过程中是如何变化的。此外，移动阈值还隐含地定义了在每次迭代中观察到的协调程度的衡量标准，即对每个获得的子网络而言.
- 研究协调社区。为了研究协调社区的结构及其合作模式，我们采用了多种网络测量方法。此外，我们还将社群置于上下文中，并通过应用自然语言处理技术来描述其内容生产的特征。利用我们在第 5 步中介绍的检测协调社区的新方法，我们可以将这些分析结果作为衡量用户之间协调程度的函数。
总之，我们框架的前三个步骤都会产生用户相似性网络，这三个步骤在以前基于阈值的方法中也以类似的方式存在。而第四步则是我们与前人不同的地方，因为我们对网络进行了筛选，以保留最重要的多尺度结构，而不是对最相似的账户进行单尺度分析。然而，我们的主要创新点在于第 5 步的协调感知社区检测算法，它允许我们测量协调的所有程度，并将其作为其他相关网络属性的函数进行研究（第 6 步）。接下来，我们使用我们的框架来揭示和描述影响 2019 年英国大选的可能协调行为。通过将我们的新框架与基于阈值的方法进行比较，证明我们的新框架的优势。
Surfacing Coordination in 2019 UK GE
下面，我们将介绍如何实施和应用上述框架来发现推特上与 2019 年英国大选相关的协调行为。本节内容大致对应于我们方法论的第 1-5 步，下一节将介绍第 6 步（即对协调社区的分析）。
用**户相似度网络。**在我们的分析中，我们重点关注超级传播者的活动------粗略地定义为在线社交媒体中最具影响力的信息传播者，包括错误和虚假信息（Pei et al. 2014）。在这里，我们将超级传播者定义为分享更多转发的前 1% 用户。根据这一定义，我们选择了 10,782 名用户进行分析。尽管超级传播者仅占在线选举辩论中所有用户的 1%，但其分享了所有推文的 39% 和转发量的 44.2%。因此，通过关注他们，我们调查了最多产的用户和所有消息中相当大的份额。接下来，我们使用其转发的推文 ID 的 TF-IDF 加权向量来表征每个超级传播者。换句话说，我们根据用户转发的推文对其进行建模。通过 TF-IDF 权重，我们可以降低数据集中高人气推文的相关性，并强调因转发不受欢迎推文而产生的相似性--这是一种更可疑的行为。(Mazza 等人，2019 年）。然后，我们将用户相似度计算为用户向量与用户向量之间的余弦相似度。在研究网络之前，我们应用了（Serrano、Bogun´a 和 Vespignani 2009）中提出的技术来仅保留统计相关的边缘，从而获得我们网络的多尺度主干，我们将其用于剩余的分析。由此产生的过滤用户相似性网络包含 276,775 个边，如图 2 所示。此外，图 3 显示了过滤网络中边权重的分布。与基于固定阈值的过滤相反，过滤步骤保留了网络丰富的多尺度性质。
(经筛选的 2019 年英国大选用户相似性网络。节点代表参与在线辩论的用户，边的权重则根据步骤 2 中定义的彼此间的相似性强度确定。用户根据其政治倾向着色，政治倾向是通过标签传播计算得出的，而标签传播则是通过用户使用的标签的极性推断出的。)
(未经筛选（蓝色）和经过筛选（红色）的用户相似性网络的边缘权重分布。使用多尺度切分法切分的网络，使我们可以根据其尺度（即边缘权重）保留有统计意义的网络结构，而不是按照预先确定的、固定的阈值（虚线-黑线）进行切分，因为后者会将几乎整个网络排除在后续分析之外。)
政治倾向。在图 2 中，节点根据其使用的标签推断出的政治倾向进行着色。我们特别采用了一种标签传播算法，为数据集中的每个标签分配极性得分。具体来说，该算法是所谓的 "价值分"（valence score）的改进版，是一种简单、标准、众所周知的方法，在之前的许多研究中已被采用（Wang 等人，2011 年）。给定标签的得分是通过其与已知极性种子的共同出现推断出来的。我们使用表 1 中的 13 个标签作为标签传播的种子。最后，用户的极性是根据该用户使用的标签极性的词频加权平均值计算得出的.
网络解读。如图 2 所示，用户相似性网络呈现出明显的结构特征，即几个大型社区和几个小型社区。在政治极化方面，所有用户可分为三大类： 工党（红色）、保守党（蓝色）和中性用户（黄色）。我们通过将网络的结构特性与政治特性进行比较来进行第一次健全性检查。特别是，网络中的颜色似乎明显分开。换句话说，源自网络结构的社区在政治上似乎极其同质，并且我们没有任何包含具有明显不同肤色的用户的集群。展望未来，保守党集群似乎与网络的其他部分截然分开，而工党集群和中立集群则更加相互交织。我们网络的这一有趣特性与 2019 年英国大选前的英国政治格局十分相似。事实上，辩论的主要议题之一是英国脱欧，这导致了保守党与所有其他党派之间的强烈两极分化(舒马赫，2019 年）。此外，英国的 "得票最多者当选 "投票制度也促使反保守党的选民向在每个选区最有可能击败保守党的政党候选人靠拢--这种策略被称为战术投票。我们丰富翔实的网络体现并传达了这些细微之处
协调社区。在这些初步成果的基础上，我们现在有兴趣对用户相似性网络社区进行细化分析。如前所述，以前的工作主要集中在基于阈值的方法上，并强制执行限制性的边缘权重限定，只保留权重非常大的边缘。相反，在我们的研究中，经过筛选的用户相似性网络具有不同程度的相似性和协调性，图 3 中的边缘权重分布就证明了这一点。在不同的协调水平上分析社群的特征，而不是在一个预先确定的、固定的阈值上进行切割，这样会将几乎整个网络排除在后续分析之外。具体来说，我们采用群落检测和著名的卢万算法（Blondel 等，2008 年）进行分析。我们分析的这一步与算法 1 的第 1 行相对应。检测到的群落（分辨率 = 1.5，t0 = 20 时的最小规模）如图 4 所示，并在下文中作简要说明。用户与其他用户的协调性较高，颜色较深。对于每个社区，我们还计算了其 TF-IDF 加权标签云（如图 5 所示），以突出有争议的话题。
(经筛选的用户相似性网络中发现的协调社区。社区以颜色编码。每种颜色的强度表示协调程度。这样，用户与其他用户的协调程度越高，颜色就越深。)
保守党：我们的社区检测算法也检测到了图 2 中清晰可见的保守党用户社区。它包括所有主要的保守党用户（如 @BorisJohnson 和 @Conservatives），其特点是大多数标签都支持保守党（voteconservative）、其领导人（backboris）和英国脱欧（getbrexitdone）。
工党：同样，我们在图 2 中强调的密集工党用户群也被认定为一个独特的工党社区。支持工党（votelabour）、工党领袖（jc4pm）以及医疗保健（saveournhs）和气候变化（climatedebate）等传统工党标签是这些用户的特征。值得注意的是，英国脱欧相关关键词的缺失似乎证实了杰里米-科尔宾的竞选活动在这一话题上的模糊性.
TVT：图 2 中最大的中立用户群，与 LAB 用户密切相关，被归入这一群体。这些用户讨论的话题涉及自由民主党（votelibdem）、反保守党（liarjohnson）、反英国脱欧（stopbrexit）以及提倡战术投票的运动（votetactically, tacticalvote）。
苏格兰民族党（SNP）：其余的中立用户被归入该社区，与苏格兰民族党（SNP）有关。该社区成员使用的主要标签是支持该党（potsnp），并要求就脱离英国独立举行新的全民公决（indyref2020）。苏格兰民族党对英国脱欧和To-ries的传统敌意（Jackson等人，2019年）也解释了这一集群与LAB和TVT集群的接近性。
B60：这一小集群确定了参与所谓 "回到 60 岁 "倡议（backto60, 50swomen）的活动家，该倡议代表了受国家养老金年龄平等化负面影响的四百万 1950 年代出生的女性。尽管鲍里斯-约翰逊（Boris Johnson）做出了承诺，但保守党否认支持该倡议8。Backto60 活动家的联系在我们的网络中得到了很好的体现，B60 集群与 LAB 和 TVT 集群都有联系
ASE：这个群组中联系紧密的用户都强烈倾向于保守党，这一点从他们的联系中也能明显看出。不过，他们的活动主要是攻击工党及其领导人，而不是支持保守党。如图 5f 所示，该集群中一些最相关的标签都是针对工党的（laborlies, nevercorbyn），尤其是关于反犹太主义的指控（laborantisemitism, votelabourvoteracism），这些指控在整个竞选活动中都占据了上风9。
LCH：最后一个群组也是由活动家组成，与 B60 群组类似。这一次，活动家们抗议的是 "贷款费用"，这是一种税费，旨在打击一种以变相报酬为基础的避税行为。反贷款收费运动者声称，这是一种有追溯力的征税，由于适用期通常较长，导致涉及的人请求返还不可持续的金额，还导致了几起自杀事件.
通过对用户模拟相似性网络中检测到的社区进行分析，我们发现了一些大的集群（每个集群都与参与选举的主要政治力量之一相对应），以及一些小得多的集群。小聚类与组织严密的活动家（B60、LCH）和政治运动（ASE）有关。之前的分析为 2019 年英国大选中协调行为的存在提供了一些初步结果。特别是，它让我们发现了至少有小程度协调的群体。然而，由于我们的网络在其用户之间嵌入了不同程度的协调，因此仍然无法提供关于此类协调的程度以及此类群体的协调模式的结果。下一节将讨论这些关键问题.
Analysis of Coordinated Behaviors
以前的工作侧重于基于阈值的方法，一旦检测到协调群落，就会对其进行可视化和人工检查。换句话说，现有的自动研究协调行为的管道仅限于检测协调群落（我们框架中的第 5 步），而不提供对协调模式的见解，这些都留给了人类分析师。与此相反，我们的多面分析框架可以得出估计协调程度和研究协调模式的结果。
目测。关于协调的程度，对图 4 的直观观察已经揭示了一些有趣的见解。例如，像 LAB 和 CON 这样的大型社区同时拥有众多弱协调用户（浅色）和较少的强协调用户（深色）。相反，其他社区只有弱协调或强协调行为。例如，SNP 和 TVT 社区的行为协调性较弱，只有少数几个强协调用户分布在网络中，没有聚集在一起。与此相反，活跃分子的小型社区（B60、LCH 和 ASE）似乎几乎完全以强协调行为为特征，表现为小型、紧凑和深色的聚类。
网络度量。在下文中，我们将对这些直觉进行形式化，并提出一套用于量化这些直觉的网络度量。通过应用我们框架的第 5 步和第 6 步，我们可以为每个未发现的协调社区自动生成这些结果。具体来说，算法 1 中的 while 循环会根据边缘权重的移动阈值，反复删除边缘（以及由此产生的断开节点），从而在子网络上重复执行社群检测。也就是说，我们先移除较弱的边，然后再移除较强的边，直至移除网络中的所有边和节点。由于边的权重是协调性的代表，因此我们在此过程中发现的每个子网络都具有不同程度的协调性,这可以用移动阈值的相应值来衡量。具体来说，给定一个在算法特定迭代中得到的子网络，我们用相应移动阈值相对于筛选网络边缘权重分布的百分位数来衡量其协调度，如图 3 所示。例如，协调度 = 0.9 意味着所考虑的子网络只包括在步骤 4 中获得的整个筛选网络中最强边缘的前 10%。通过这种方法，我们可以用标准网络度量来描述每个检测到的群落的协调模式，并将其作为协调度的函数。
我们首先考虑的是协调社区的规模。图 6 显示了每个协调群落中节点的数量和百分比是如何随协调度的变化而变化的。这一分析量化了我们之前通过目测得出的观察结果。它清楚地表明，有些群落的协调性比其他群落更强。这体现在强协调群落（如 LCH 和 ASE）在协调度达到较大值之前都会出现高原现象。相反，B60、LAB 和 TVT 等群落在所有协调度范围内都表现出明显的下降趋势。
(协调性与共序群落规模之间的关系。一些群落的协调性比其他群落更强，强协调群落表现出的高原现象就反映了这一点。通过框架进行分析，可以深入了解如何估计描述特定社区协调性的临界值。)
这种分析方法还有助于确定特定社区的协调度特征值。例如，使用肘法，LCH 社区的协调值为 0.9，因为其绝大多数成员的协调度≥ 0.9。同样，ASE 社区的协调值为 0.55。这些结果还意味着，一般来说，每个社群都有自己的协调度特征值。因此，对所有群落采用任意设定的相同阈值的方法有可能会忽略和抹杀相关的模式.
接下来，我们将评估协调群落的结构特性。密度是衡量网络中节点之间的实际连接占所有可能连接的比例。这有助于判断协调性最强的用户是否都相互联系，或者他们是否在社区的不同区域活动。图 7a 中显示的结果突出了一些有趣的模式。首先，一些社区总体上比其他社区更集中，如 ASE 和 LCH。这是强烈协调行为的另一个指标。然后，我们看到了密度上升和下降的趋势。具体来说，SNP 在密度和协调性之间呈现负相关，这意味着该社区中协调性最强的用户之间很可能既没有串通也没有组织。相反，B60 中协调性最强的成员很可能组织在一起，这一点从协调性≥ 0.8 时观察到的密度峰值可以看出。图 7b 所示的聚类系数与密度结果类似。