【论文阅读】-- TimeNotes：时间序列数据的有效图表可视化和交互技术研究

TimeNotes: A Study on Effective Chart Visualization and Interaction Techniques for Time-Series Data

- 摘要
- [1 介绍和动机](#1 介绍和动机)
- [2 文献](#2 文献)
- - [2.1 时间序列数据探索](#2.1 时间序列数据探索)
  - - [2.1.1 数据聚合](#2.1.1 数据聚合)
    - [2.1.2 基于透镜](#2.1.2 基于透镜)
    - [2.1.3 基于布局](#2.1.3 基于布局)
- [3 任务和设计](#3 任务和设计)
- - [3.1 数据](#3.1 数据)
  - [3.2 领域表征](#3.2 领域表征)
  - [3.3 探索、分析和呈现](#3.3 探索、分析和呈现)
- [4 TimeNotes](#4 TimeNotes)
- - [4.1 布局](#4.1 布局)
  - [4.2 节点交互与渲染](#4.2 节点交互与渲染)
  - [4.3 叠加](#4.3 叠加)
  - [4.4 注释](#4.4 注释)
- [5 用户研究](#5 用户研究)
- - [5.1 任务和刺激设计](#5.1 任务和刺激设计)
  - [5.2 研究假设](#5.2 研究假设)
  - [5.3 研究分析](#5.3 研究分析)
  - [5.4 实验设置](#5.4 实验设置)
  - [5.5 分析结果](#5.5 分析结果)
  - [5.6 用户研究讨论](#5.6 用户研究讨论)
- [6 实地研究讨论](#6 实地研究讨论)
- [7 结论](#7 结论)
- 参考文献

期刊: IEEE Trans. Vis. Comput. Graph. （发表日期: 2016 ）
作者: James S. Walker; Rita Borgo; Mark W. Jones

摘要

收集传感器数据会产生大量的时间数据集，需要对其进行可视化、分析和呈现。使用一维时间序列图表，但当屏幕分辨率与数据相比较小时，就会出现问题。这可能会导致严重的过度绘制，从而需要提供有效的渲染和方法以允许与详细数据交互。常见的解决方案可以分为多尺度表示、基于频率和基于镜头的交互技术。

在本文中，我们对现有方法进行了比较评估，例如 Stack Zoom [15] 和 ChronoLenses [38]，对每种方法进行了图形化概述，并对它们探索数据和与数据交互的能力进行了分类。我们提出了新的可视化和现有方法的其他扩展。我们使用这些技术进行并报告了实证研究和实地研究。

关键词：时间序列探索、焦点+情境、镜头、交互技术。

1 介绍和动机

过去十年，人们对时间序列数据的兴趣激增。了解时间模式是获得知识和洞察力的关键。然而，总的来说，我们现在存储数据的能力远远超过了我们理解数据的速度[19]。

一项挑战是，与数据存储容量相比，屏幕分辨率较小。当渲染的数据项多于可用像素时，就会出现过度绘制问题，即为每个像素分配多个数据项，从而导致信息丢失。引入了多尺度表示、频率和基于镜头的交互技术来增强对大型时间序列数据的探索。

John Stasko 在 EuroVis 2014 上说[32]，"当你知道问题时使用数据挖掘，当你不知道问题时使用可视化"。分析通常涉及识别出现现象的时间序列片段，并比较时间片段之间的有趣模式，这些模式可用于形成、证明或反驳假设。分析后，将调查结果传达给更广泛的受众。在大数据空间中导航和通信是一项重要任务，现有技术并未完全支持该任务（在我们基于任务的评估中得到了证明）。

在本文中，我们评估了当前的可视化和对这些现有方法的扩展。根据我们的评估，我们提出了 TimeNotes，这是一种利用专用交互技术来支持分析、交互和演示的可视化技术。我们通过实证研究和现场研究来评估 TimeNotes 的有效性，其中强调了我们的方法在时间序列数据上的应用。

我们的工作包括以下贡献：

TimeNotes，一种非常有效的图表可视化和与时间序列数据交互的方法。
相关方法的图形调查、基于任务的评估和分类。
将 TimeNotes 与最先进的堆栈缩放方法进行比较的用户研究。
与生物学家一起部署软件的反馈。

本文的其余部分安排如下。在第 2 节中，我们介绍了相关工作。在第 3 节中，我们介绍了操作时间序列数据时的任务和要求。在第 4 节中，我们介绍 TimeNotes。在第五节中，我们概述了实证研究和获得的结果。在第 6 节中，我们详细介绍了实地研究和研究结果，在第 7 节中，我们总结了我们的研究结果。

2 文献

在本节中，我们将介绍文献中探索大型时间序列数据的当前方法。人们已经引入了许多有效的方法来解决时间序列挖掘任务[36,6,23,13,12]，但是，在本文中，我们重点关注有效的探索。

2.1 时间序列数据探索

折线图无处不在[17,34,25]。虽然标准时间序列图在处理小数据空间时非常有效，但在大数据上执行常见任务更具挑战性（图 1）。引入了交互技术来增强大数据的时间序列图。在当前的文献中，这些可以归类为时间聚合、镜头技术和布局扭曲。

我们现在提供这些方法的图形概述。伊森伯格等人。 [14]提出了一个通用框架，为包含双尺度的图表提供设计指南，以增强数据感知。引入了广义变换函数，它描述了显示两个域尺度的任何图表，其中涉及将数据空间映射到显示空间。我们利用他们的术语来描述当前的文献，并应用他们的工作来描述任何具有多种比例和布局的时间序列图表。我们以一致的方式在我们的软件中实现了所有方法，并自动生成相关的时域到 x 轴变换函数作为相应的图形。它们导出为 SVG 并合并到本文档中，作为方法和分类的说明。

我们的数据使用 15 分钟（大约）的远程动物监测数据子部分，这些数据是通过在 Condor 上部署行为数据收集标签获得的，其中包含以 40Hz 收集的 34,746 个数据项。每种可视化方法都使用 400 像素宽度，这导致传统时间序列图中每个像素 86 个数据项的过度绘制率。当考虑单个鸬鹚翅膀拍打的频率约为 5Hz 时，这是有问题的[27]。当提供更大的数据时（例如，857,407 个项目的完整部署），问题会变得更糟。

2.1.1 数据聚合

基于频率的方法将数据点聚合成时间段。在折线图中渲染大数据隐式地将时间聚合在一起（通过过度绘制），但以一种无意义的方式表示每个像素基础数据的一小部分。有效的聚合通过有意义的视觉映射来描述每个时间段内项目的统计特征。

像素图 基于像素的显示将时间序列表示为用不同色调编码的像素排列，这些色调对底层数据进行编码。金凯德等人。 [22]将基于像素的显示应用于多个时间序列图。每个时间序列被分成统一的时间段，以便可视化中的每个像素都被分配一个时间段。图 2 显示了映射到黄色到蓝色色调的每个时间段中的最大值。每个 bin 都是 1 个像素宽，因此有 400 个 bin，每个段包含大约 86 个数据项。

二维像素图 Hao 等人。 [10]利用x和y轴将一维像素显示扩展到二维空间。每个时间段都由按时间顺序从下到上、从左到右导航的颜色单元表示。通过利用二维，可视化有效地占据了空间，这增加了可显示的时间段的数量，从而减少了总结时的信息丢失。图3显示了每个时间段的最大值，每个bin占据1个像素宽度，3个像素高度。生成的可视化结果包含 34,746 个 bin，对于该数据大小，每列有 86 个数据项，每 3 个像素有 1 个数据项。除了水平数据映射之外，还有锯齿状的垂直映射（未示出）。

河图布诺等人。 [7] 引入河流图（图 4）来描述时间序列预测的许多统计特性。通过时间连接的有界蓝色区域表示每个时间段的最小和最大界限。黑色中心线描绘了每个时间段的平均值。

2.1.2 基于透镜

透镜技术按需提供用户定义区域下数据的替代视觉表示。通常，这需要时间轴失真来增强感兴趣的片段，同时保持与其余系列的背景。

SignalLens Kincaid 等人。 [21] 提出了用于电子时间序列可视化分析的 SignalLens。时间序列图中添加了就地放大，这会扭曲时间轴以放大感兴趣的区域。放大区域两侧的数据被压缩以保持上下文，同时允许检查感兴趣的低级细节。为了进行比较，引入了许多透镜函数：线性、三次、二次、双曲、球面和高斯。图 5 说明了应用了线性放大功能的 SignalLens。

平滑 SignalLens 高放大倍率通常需要平滑下降以避免上下文区域中的遮挡。金凯德等人。 [21] 在焦点区域和上下文区域之间引入平滑的视觉过渡选项（图 6）。这需要三个缩放级别，中心具有固定放大倍率的聚焦区域，两侧具有较低放大倍率的下降区域，最后在剩余空间中显示上下文。

RiverLens 我们将 SignalLens 和河流图显示相结合，以按需提供详细信息来增强河流图。向用户呈现河流图，其中提供了该系列的概述。刷过颞区会扩展时间序列图，并覆盖河流。河流图显示在两侧以提供背景信息（图 7）。

ChronoLens 赵等人。 [38]提出了 Chronolenses，一种交互式视觉分析透镜技术，用于支持更复杂的数据分析任务，而无需导出新的时间序列可视化（图 8）。镜头通过用户选择覆盖在传统的时间序列图之上，并且可以显示衍生数据，例如导数和移动平均值。应用于镜头的缩放、调整大小和移动操作用于通过数据点的动态变换放大时间序列来克服遮挡。

2.1.3 基于布局

基于布局的技术修改时间序列的空间排列，以提供时间的线性映射，同时转换时间序列图以增强显示。郝等人。 [11]提供了基于兴趣的可视化的早期示例，该示例使用重要性驱动的布局方案应用于时间序列集以感知重要性和层次关系。

堆栈缩放 Javed 等人。 [15]提出了堆栈变焦，一种多焦点变焦技术（图9）。多焦点缩放在缩放时保持上下文和时间距离。用户选择创建缩放线图的层次结构，以嵌套树布局表示。图表彼此堆叠，整个数据集在根节点处以折线图显示。每个更高级别的缩放都表示为一个新的子节点，堆叠在父节点下方。布局管理器维护每个级别上的节点是按时间排序的。颜色和箭头用作视觉提示来说明子节点相对于其父节点的位置。树结构用作通信目的的图形历史记录。

概述和细节 Plaisant 等人。 [28]引入了概述和细节显示的概念，它提供了焦点区域的同步视图，以及提供焦点上下文的整个数据系列的概述。上下文线图（图 10 顶部）可视化整个数据集，用户可以由此刷出感兴趣的区域以进一步详细检查。选定的数据子集在单独的焦点线图显示中可视化（图 10 底部），更详细地显示数据，同时仍保持整个数据集的上下文。

缩放图 缩放图显示将时间序列图嵌入可缩放小部件中，用户可以控制缩放级别以定义他们所需的详细程度（图 11）。随着缩放的增加，时间序列图的宽度扩大。显示视口保持不变。滚动条允许用户平滑地滚动扩展的时间序列。

我们以图形方式概述了当前最先进的时间序列可视化技术。贾维德等人。 [16, 15] 提供了堆栈缩放与用于时间数据导航的标准技术的比较。他们进行了基于设计和受控的用户研究，以评估多焦点技术与概述+细节技术的优缺点。研究结果包括堆栈缩放方法对多种场景的适用性以及与当前标准技术相比性能的提高。在下一节中，我们不仅在视觉编码方面而且在任务加领域的功能方面提出对上述文献的分类。

3 任务和设计

在本节中，我们介绍域级任务和可视化技术的设计。

3.1 数据

在自然环境中研究动物的生物学家越来越多地使用自动记录设备来记录加速度、磁场强度、压力、光强度和温度等参数 [29,4,9]。这些设备从自由生活的动物那里获取大量高质量的时间序列数据，这些数据可用于推导和量化动物的行为。人们普遍认为这种方法可以增强对生态和行为过程的理解。

3.2 领域表征

运动生态学家手动探索多个属性的时间序列图，以了解从信号到行为的映射[30]。通常，这是应用领域知识、检查环境属性和导出附加属性（例如姿势和能量使用）的组合。经过初步调查后，在标记整个部署期间发生的感兴趣行为后对数据进行分析。当考虑长时间内高频记录的数据时，这是一个认知要求高且耗时的过程。分析结果将呈现给更广泛的研究界。这通常涉及提取感兴趣的信号并在包含在出版物或演示文稿中之前对其进行注释。

3.3 探索、分析和呈现

有效的可视化可帮助用户完成他们希望使用数据执行的任务。沃德等人。 [37]将探索、分析和呈现确定为用户寻求通过可视化完成的三个抽象任务。第 2 节中的许多技术都存在可扩展性问题。方法在某种程度上受到显示空间的限制，这影响了它们探索大数据的适用性。 Chronolenses 适合分析。堆栈缩放采用分层布局，适合演示（传达假设和证据）。 TimeNotes 的构建考虑了所有三项任务。

我们进一步细分这三个抽象任务。

探索与分析

Shneiderman [31] 按数据类型分类提出了一项任务，其中列出了在大型数据集合中执行分析和探索所需的几个低级任务：

T1。概述 - 获得整个数据集合的概述。

T2。缩放 - 放大感兴趣的数据项。

T3。过滤器 - 过滤掉不感兴趣的项目。

T4。按需详细信息 - 选择一个项目或组并在需要时获取详细信息。

T5。关联 - 查看项目之间的关系。

T6。历史记录 - 保留操作历史记录以支持撤消、重播，以便用户可以追溯他们的步骤以显示他们如何获得结果。

T7。提取 - 允许提取子集合和查询参数，以便一旦用户获得了他们想要的内容，可以将促进其发现的参数集发送给其他人，以说明他们所采取的步骤。

当具体处理时间序列数据时，我们还可以考虑 Miksch 等人提出和描述的 Andrienko 和 Andrienko [2] 以及 McEachren [24] 的任务模型。 [1]。

基本任务（Andrienko 和 Andrienko [2]）包括数据元素查找、比较和关系查找。概要任务涉及数据的模式和趋势以及数据内或与外部数据的关系。对于 McEachern 提出的任务列表，我们测试了识别方面（在我们的任务 B 和 C 中 - 参见第 5 节）和本地化方面（在我们的任务 D 和 E 中 - 参见第 5 节）。特别是，我们的任务 E 是高水平的，因为它测试行为模式何时发生，以及替代行为环境的顺序和关系。定位任务（类似于概要任务）的具体示例是：时间模式：（行为）模式发生的频率是多少？（任务E）；顺序：（行为）模式发生的顺序是什么？（任务E）；我们还研究变化率（任务 C）。 Borgo 等人的一项用户研究。 [5] 研究了基本任务在阅读条形图方面的表现。

可以看出，时间序列数据任务补充了Shneiderman任务分类法。前者侧重于分析能力，而后者则建议为进行分析提供机制和环境。在 TimeNotes 中，我们为 Shneiderman 的所有任务提供功能，解决与行为模式有关的基本任务和概要任务（Andrienko 和 Andrienko [2, 1]）以及识别和定位任务（McEachren [24, 1]）。我们还提供演示意图的功能。

呈现

艾格纳等人。 [1]引入了将检测到的事件实例合并到向用户传达相关信息的视觉表示中的三个要求，即沟通、强调和传达。

现有的方法都不是以演示意图构建的。在堆栈缩放中，在探索过程中会自动构建不相交的嵌套树视图，其中包含分层布局并充当构建演示视图的管理界面。每个节点都标有堆栈坐标，用户可以从中选择要显示的节点和子树。然而，通过使用单独的视图，树失去了与底层数据和堆栈缩放布局的上下文，而无法完全被视为演示工具。

4 TimeNotes

分层缩放[15]提供了一种有效的时间序列导航方法，允许用户划分信息空间并以所需的粒度构建仅相关数据的视图，该视图也充当用户操作的隐式图形历史记录。

在本节中，我们将介绍受堆栈缩放方法启发的 TimeNotes（可在 http://framework4.co.uk/ 获取）。它包含堆栈缩放之外的附加功能（例如，灵活的节点链接布局、覆盖、书签、提高阅读层次结构可用性的平滑曲线、用于演示的融合交互以及具有可视化状态导入/导出功能的集成工作区）。 Chronolenses 不包括任何分层功能，这是这项工作的主要焦点，但确实包括叠加和优秀的分析工具，尽管我们提供类似的功能和改进的叠加。我们所有的新功能都有助于使用分层缩放来探索、分析和呈现时间序列数据。我们展示了 TimeNotes 满足 Shneiderman 任务分类法的功能，并在基于任务的用户研究中测试了这些功能，证明了它们的有效性。

在 TimeNotes 初始化时，整个数据集的概述被绘制在根节点 (T1) 的时间序列图上（这些 T 数字参考第 3.3 节中的 Shneiderman 任务分类法）。在整个系列中应用橡皮筋选择会更详细地创建所选数据范围的新缩放级别（称为子节点）（T2）。每个节点都可以重复向下钻取，以便以所需的详细级别生成相关数据的层次结构。采用灵活的节点链接布局来表示生成的层次结构，允许用户在二维观察平面上将节点移动到合适的位置和大小。可以通过将节点和整个子树折叠为书签来过滤它们（T3）。这些可以稍后重新打开以进行进一步检查或传达相关数据。通过查看每个节点中包含的数据的统计摘要（例如，最小值、最大值、偏差），可以按需访问每个节点的详细信息 (T4)。将节点捕捉在一起将它们组合成一个重叠的时间序列图，该图允许感知时间区域之间的关系（即频率和幅度）（T5）。创建的层次结构用作用户操作的历史记录[15]（T6），用户可以从中构建相关数据子部分的可视化，以探索和分析数据。数据可以作为原始数据（传感器）和/或派生数据（姿势、能源使用）导出，以用于报告包含（SVG 导出）或交互式演示（通过我们的集成工作台）(T7)。数据可以导出为 CSV 文件。我们在构建 TimesNotes 时就考虑到了演示。

图 13 说明了 Condor 数据集上的 TimeNotes（参见第 2.1 节）。用户在数据系列中选择了几种重复的扑动模式。数据太密集，无法识别根级别的行为，但可以通过检查信号的高能量部分来获得有关行为存在的指示。缩放显示这些的详细视图，允许用户区分信号。有趣的活动被添加了书签（在数据系列的中间右侧），该书签被最小化，以便用户稍后进一步探索。我们允许任何节点描述任何数据通道。该图像主要描绘了加速度计（x 轴），其中一个切换到磁力计以查看热行为（来自罗盘航向）。

4.1 布局

存在许多有效表示分层数据结构的方法 [3]，我们建议读者参阅 Munzner [26] 的第 9 章以了解概述。树最常见的表示形式是节点链接图[37]。这明确地说明了父子节点之间的关系，但代价是可视化占用的显示空间。空间填充技术（例如，树图和堆栈缩放）试图最佳地利用它们占用的空间，但是它们在表示树的层次结构方面存在不足[35]。图 12 显示了它们的比较。感知节点之间的连接对于识别信号发生的上下文至关重要，这在执行高阶任务时经常出现。出于演示目的，还需要考虑可视化的直观性质，其中学习方面需要最小化。
TimeNotes 利用空间填充节点链接图来表示分层缩放结构。每个子节点默认放置在其父节点的正下方并在其水平和时间范围内（尽管用户稍后可以移动和调整大小）。为每个子级分配的显示空间与该层中表示的数据量成正比。如果添加或删除新的子项，则重新计算每个子项占用的空间，以便最佳地使用显示空间。

每个子节点的空间分配通过以下公式计算，计算宽度 wi =(s × Si)，以及 2D 坐标 ( x i = ∑ j = 0 i − 1 w j , y i = d × ( h + l s ) ) \left(x_i=\sum_{j=0}^{i-1}w_j,y_i=d\times(h+ls)\right) (xi=∑j=0i−1wj,yi=d×(h+ls))观察平面上的子节点 i，其中 s = ( w / ∑ i = 0 N S i ) s=\begin{pmatrix}w/\sum_{i=0}^NS_i\end{pmatrix} s=(w/∑i=0NSi)是每个数据项的水平空间，w 是父节点的宽度，N 是子节点的数量，S 是包含的集合每个子项代表的数据项数量，d 是层次结构中的当前深度，h 是每个线图的高度，ls 是每层之间的间距。这可以扩展到不同高度的节点。布局管理器维护节点从左到右的时间顺序，以实现最佳的图表可读性。对节点进行排序还可以确保层之间的连接不会重叠，否则会遮挡显示并使层次结构难以追踪。一种特殊情况是子级的时间边界重叠[15]，为此，我们仅在整个数据边界不重叠时重新调整位置，以最小化节点移动。

4.2 节点交互与渲染

层次结构中的每个节点都表示为一维折线图。根节点表示整个数据系列，而层次结构中的所有其他节点表示数据的子集 (x1, x2)，其中 x1 和 x2 表示数据子集的开始和结束索引，其中 x1 < x2 成立。每个节点都应用了多种交互技术来帮助完成用户意图。

可以通过拖动节点边界矩形上的标记来调整节点的高度和宽度，从而允许用户强调感兴趣的节点。节点在 2D 平面上的自由移动允许用户在显示器上的任何位置重新定位节点。一旦移动其直接子节点之一，父节点的自动填充布局就会被禁用，这可以避免重新定位用户有意移动的节点，并保留他们的信息空间心智图。用户可以随时通过解锁子节点来覆盖此设置。

每个子节点代表的数据边界以透明蓝色覆盖在父节点上。使用光标抓住关联区域并拖动父节点即可平移数据集。子边界 ((xc1, xc2)) 必须约束到父边界 ((xp1, xp2))，使得 xc1 ≥ xp1 且 xc2 ≤ xp2。这可以防止用户平移超出通过父级表示的数据子集的范围。平移通过添加移动到每个可视化子范围的偏移量来更新子节点中可视化的数据范围以及层次结构中所有后续相关子节点。

分层布局仅限于可可视化的元素数量。为了释放画布空间，可以最小化节点和整个子树。这样做时，它们被表示为父节点下方的矩形部分，我们称之为书签。将鼠标悬停在书签上会显示基础数据的图形预览。双击使用布局算法重新打开子树。可以使用删除键或右键菜单从层次结构中删除节点。如果该节点是中间节点（即它包含子节点），则会询问用户是否要将已删除节点的子树移动到父节点的子树（请参阅其他材料和视频）。类似地，用户可以随时断开下级节点并重新连接到层次结构中的任何上级节点。

4.3 叠加

在分析过程中，通常需要比较信号特征（例如频率和幅度）。当它们在层次结构中位置较远时，或者甚至在存在明显差异时并排放置时，这可能会很困难。在 TimeNotes 中，将节点对齐在一起（通过将它们拖放到彼此的顶部）会将节点一起覆盖到相同的一维线图（图 13 右树）中，以允许直接比较信号。默认情况下，绘图会被拉伸，以便它们在可视化中占据相同的显示宽度。当现象的速度或时间发生变化时，这非常有用（参见动态时间扭曲[20]）。如果情况并非如此，我们允许用户将信号向左、中央或向右对齐，以保持彼此相关的时间持续时间。可以通过移动父平移滑块来调整相位。连接被映射到叠加图，每个连接都应用了独特的颜色，该颜色也应用于叠加中的每条关联线，因此用户可以在每个信号的来源位置之间进行关联，并通过关联其在数据集中的时间位置。通过使用右键单击菜单，可以将绘图彼此分开并恢复到其在显示屏上的原始位置。

4.4 注释

在与数据交互时，用户可能会对自己或他人有评论或见解。我们的注释功能允许将文本放置在显示空间的任何位置。注释还可以附加到节点，以便它们随节点移动并在节点最小化时隐藏。文本可以根据用户的喜好调整大小和颜色。

数据工作区可以随时保存并在以后重新打开。这使得 TimeNotes 可以在个人之间共享以交流发现。这还允许使用 TimeNotes 创建交互式演示文稿，作为使用当前演示软件的替代方案。这为观众增加了额外的参与度。更重要的是，它可以直接访问原始数据，这意味着可以在演示过程中显示数据的完整上下文。

5 用户研究

我们进行了一项用户研究，以评估我们的新视觉设计相对于现有类似解决方案的有效性。考虑与 ChronoLenses [38] 进行比较，以测试专注于纯数据分析的低级任务，但我们的主要重点是测试使用具有显式节点链接关系的分层布局的功能。在这种情况下，与 Chronolenses 进行比较是不公平的，因为许多分层信息都隐含在可视化中。 TimeNotes 的设计很大程度上受到 Javed 等人提出的方法的启发。 [15]（在文档的其余部分将被称为 StackZoom），此外 Javed 等人。 [15]成功地将他们的方法与现有的最先进技术进行了比较；因此，我们决定从他们的发现出发，根据[15]中的描述重现堆栈缩放软件，并将其用作我们有价值的对手。

为了设计我们的研究，我们咨询了生物科学研究人员，以确定合适的任务，以解决图表信息分析过程中潜在感兴趣的问题。确定了一组四个主要操作：数据遍历和标记、趋势检测和比较。进一步的审查允许将操作分为两个主要类别：（层次结构）导航和比较。然后，每个动作被分解为其核心组件，每个组件被细化并转化为一个任务，生成总共五个主要任务：叶子计数（任务 A）、幅度比较（任务 B）、频率比较（任务 C）、标签分析（任务 D），以及缩放/平移和标记（任务 E）。为了确保一致性，文档的其余部分使用相同的符号。

5.1 任务和刺激设计

层次结构导航（叶子计数）- 任务 A。此任务的目标是衡量用户遍历刺激所代表的层次结构的能力。刺激是模拟的分层数据询问，其中用户做出了多个选择，深入到几个叶节点中的某些详细行为。顶层描述了所有数据，最多包含在层次结构的第二层中预先选择和扩展的三个段。进行进一步的选择，产生内部节点或叶节点。任务是计算每个段的叶节点，并在相应的文本框中输入答案。该时间是从呈现刺激到用户单击提交按钮之间的时间来测量的。使用两种可视化样式呈现了六种不同的层次结构。每个问题出现两次。这二十四个刺激以随机顺序呈现，并有一个限制，即相同的刺激必须至少相距三个问题。准确性通过通过/失败来衡量用户是否计算了该段的正确叶子数。

比较（幅度）- 任务 B。生物学家将比较整个数据集的行为幅度。例如，翅膀拍动的力量。此任务旨在衡量我们新的覆盖功能的有效性。刺激是模拟的分层数据询问，其中两个叶节点靠近以比较信号的幅度。我们比较有和没有覆盖功能的书签图表，以及堆叠缩放图表。在此任务中，存在三种可视化类型、六个层次结构，每个问题出现两次。这三十六个刺激对随机顺序具有与上述相同的约束。时间是从刺激呈现到单击提交按钮。用户必须选择左信号或右信号是否具有最高幅度。准确度以通过/失败来衡量。

比较（频率）- 任务 C。通过信号比较行为中的特征频率（例如，翅膀拍动的速度）。此任务旨在衡量我们新的覆盖功能的有效性。刺激遵循与任务 B 相同的模式，只不过用户现在确定哪个叶节点具有最高频率。

层次结构导航（缩放/平移和标记）- 任务 D。我们模拟生物学家执行此任务的行为标记过程。为了简化任务，我们用灰色块突出显示信号中的行为。用户需要指出每一项是行为 A 还是 B（通过右键单击块并选择适当的标签）。该块会变成代表该行为的颜色。在此任务中，我们增加了参与者的自由度，因为他们可以通过平移、选择和标签与层次结构进行交互。平移和缩放功能的引入可能会导致上下文丢失[8]，因此我们决定在我们的系统中测试此功能的有效性。我们提出了 12 种刺激，其中一半启用平移功能。

启用平移功能后，用户可以抓取树的较高级别的段并将其左右移动，从而滚动树的较低级别的信号。它提供了一种遍历时间线的机制，允许以用户感觉舒适的缩放级别检查数据。我们呈现整个时间序列数据，并允许用户以他们选择的任何方式与时间序列交互，除了只有一半的刺激允许平移功能的限制。

我们提供了一个计数器，用于记录剩余要标记的段数。我们要求用户以将其归零为目标，但不要花几分钟寻找最后剩下的一两个片段。我们从呈现刺激到用户点击下一步进行计时。准确性是根据正确标记的行为数量来衡量的。

层次结构导航（标签分析）- 任务 E。此任务的目标是衡量层次结构的更复杂的使用。首先，我们测试用户在层次结构中定位目标行为的能力。这涉及扫描层次结构以查找特定模式。其次，我们测试用户将找到的模式与整体数据时间线联系起来的能力，这是理解时间序列数据的关键功能。第三，我们测试用户感知剩余模式的时间顺序的能力。

我们选择满足这些条件的任务是向用户呈现一个层次结构，其中数据已使用两种对比行为（A 和 B）进行分段和标记。用户必须找到标记为 A 的段的第一次出现。这测试扫描以及与时间线的关系。他们还必须计算并标记其前面标记为 B 的段的出现次数。这测试了通过层次结构隐含的时间顺序。它还需要层次结构导航。

我们通过在层次结构的第二最高级别中将线条透明度设置为 10% 来强制执行最后一个条件。在顶层，参与者无法辨别标记的片段是 A 还是 B，因为信号太密集。在第二级，这可能是可能的，因此可以在不参考层次结构的情况下对段进行计数。通过将线条设置为 10% 透明度，参与者将无法使用此快捷方式，并且被迫参考所呈现的层次结构。在实际情况下，数据会很密集，因此会使用层次结构，或者是否找到并采取捷径也没关系。出于用户研究的目的，我们必须使用它来测试层次结构的有效性。

5.2 研究假设

在 TimeNotes 和 StackZoom 的比较中，我们提出了以下假设：

H1 任务 A - TimeNotes 的执行速度比 StackZoom 更快。我们认为，作为标准计数操作，没有时间限制，两种视觉设计在准确性方面表现相同；然而，层次链接结构的清晰度的提高将帮助参与者使用 TimeNotes 更快地找到目标。

H2 任务B和C - 带有 Overlay 的 TaskBandC-TimeNotes 比不带 Overlay 的 TimeNotes 和 StackZoom 执行得更快、更准确。由于叠加利用了基本的格式塔原理（例如分组效应），因此特征的自动对齐和重叠应该可以减轻计算幅度差异的心理任务，这可以简化为测量内部和外部边界之间的距离以及频率峰值之间的距离。如果没有覆盖，用户需要在心里执行对齐和转换为独特的参考系统的任务。因此，我们认为叠加功能将使参与者比没有此类功能的类似视觉设计更快、更准确。没有 Overlay 的 TimeNotes 和 StackZoom 之间预计没有差异。

H3 任务 D - 具有平移选项的视觉设计将比不具有平移选项的相同视觉设计执行得更快。我们认为平移（StackZoom 和 TimeNotes 中都存在）是对图表数据进行分析时的一个关键功能。平移可以减少层次结构的增长（当只有缩放选项可用时不可避免），并增加空间使用量。

H4 任务 E - TimeNotes 的执行速度比 StackZoom 更快。我们认为，作为一个标准的搜索操作，没有时间限制，两种视觉设计在准确性方面表现相同；然而，层次链接结构的清晰度的提高将帮助参与者使用 TimeNotes 更快地执行遍历和目标搜索。

5.3 研究分析

进行了一项试点研究，涉及八名参与者，包括：合著者、四名研究生和我们的一名研究人员。连同初步结果的收集，我们旨在测试任务和学习的长度，以避免由于疲劳、刺激随机化而产生的混杂效应，以确保同一刺激的重复在任务中不明显，以及研究界面的稳健性。五名非作者参与者不知道任何这些因素。试点研究结果是积极的，并揭示了支持我们最初假设的数据趋势，还注意到界面的小问题，特别是关于任务 D（唯一涉及直接交互的任务 D）；主要研究中解决了所有问题。

因此，最终研究包括 5 项任务、128 种刺激、两种视觉设计。补充材料包含用于参与者培训的演示文稿。

5.4 实验设置

参加者。共有 30 名参与者（2 名女性，28 名男性）参加了这项实验，并获得了 10 英镑的书券。参与者既属于学生群体又属于学术界。实验的先决条件是微积分的基本知识，如折线图、相位、频率、幅度，以及熟悉层次结构和数据的层次组织等概念，因此招募仅限于数学、物理、计算机科学和工程系，对于二年级及以上的学生。年龄范围为 20 至 54 岁（平均值 = 25.34，SD = 8.27）。所有参与者的视力均正常或矫正至正常视力，并且在课程开始之前并未被告知研究的目的。

仪器。视觉刺激和界面是使用 C++ 编写的自定义软件创建的，并以 OpenGL 和 QT 作为图形库。实验使用 Intel 2.8GHz 四核 PC、4GB RAM 和 Windows 7 Enterprise 运行。显示屏为 19 英寸 LCD，分辨率为 1440 × 900，颜色模式为 32 位 sRGB。每台显示器都调整为相同的亮度和对比度。参与者在昏暗的实验室的桌子上使用标准鼠标与软件进行交互。房间里没有窗户，使我们能够保持恒定且均匀的照明环境。

程序。实验开始时，实验者使用预定义的脚本阅读了简短的概述。然后通过自定进度的幻灯片演示给出详细说明。演示文稿包括对研究的描述，还简要介绍了如何解释每个视觉设计，以及在任务 D 的情况下，如何与两种设计进行交互以实现标签目的。如果需要，参与者还会收到演示文稿的彩色副本，以供研究期间参考。实验分为 5 个主要部分，每个部分之间有休息的机会。

所有五项任务均按顺序完成。鉴于实验的性质，每个部分评估生物学家执行的分析过程的不同方面，如第 5.1 节所述。为每个参与者保持相同的部分顺序意味着每个参与者经历相似的实验条件。这提高了所收集数据分析的稳健性。随机性是在试验层面引入的。在一项任务中，试验是随机的，以避免学习效果。每项任务之前都有培训部分，以使参与者熟悉任务和视觉布局。

对于任务 A、D 和 E，总共完成了 4 次练习试验（每个视觉布局两次），对于任务 B 和 C，总共完成了 6 次练习（每个视觉布局两次，这些任务中提供了 3 个布局选项）。每次训练试验都包括向参与者提供有关正确答案的反馈。如果需要，参与者被邀请在每项任务结束时短暂休息。一旦任务开始，参与者就被邀请不要休息。

该研究受到密切监控，至少有两名实验者始终在房间内，并且参与者遵守研究要求。在每项任务结束时，都会提交一份简短的多项选择问卷，以从参与者那里收集定性信息。研究结束时，每个参与者都完成了简短的实验后汇报访谈和问卷调查，以收集人口统计和进一步的定性信息。问卷调查和汇报的目的是获得有关两种可视化的实验程序、设计和可用性的评论和建议。由于反馈的定性性质，结果用于支持对测试阶段收集的定量结果的讨论。两种可视化始终作为有效选项呈现，特别是在后处理访谈期间，以保持公正的判断并保持所收集的定性反馈的有效性。

5.5 分析结果

在我们的分析中，我们主要考虑任务与视觉编码的影响。我们重点将新设计的 TimeNotes 性能与 StackZoom 方法进行比较，因为这是我们的主要研究问题。为了进行分析，我们首先通过 Shapiro-Wilk 检验测试数据正态性，该检验更适合小样本量。对于正态分布的数据，使用重复测量方差分析（ANOVA）来检验组间差异，当数据表征非正态分布时，使用弗里德曼检验而不是非参数分布。两项检验均假设标准显着性水平 α = 0.05 来确定条件之间的统计显着性。对于非正态分布的数据，通过对发现显着性的相关组进行单独的 Wilcoxon 签名排序检验来进行事后分析。使用 Bonferroni 校正调整显着性阈值，任务 C 和 D 的校正显着性值为 α = 0.016。没有发现时间和误差数据都产生显着结果的情况，因此没有相关性分析，测试是否存在交易-需要关闭效果（例如，更少的时间导致更多的错误）。

层次结构导航（叶计数）- 任务 A 任务 A 中的性能（如图 14 所示，作为视觉设计的函数进行了总结）揭示了条件之间存在显着差异，Shapiro-Wilk 测试揭示了 TimeNotes (p ≤ 0.8) 和 StackZoom (p ≤ 0.3) 的性能呈正态分布。方差分析检验显示响应时间具有显着的主效应 (p ≤ 0.02)。准确性数据显示非正态分布，Friedman 检验显示主效应显着（χ2 = 25.13，p < 0.02）。更仔细的分析表明：

平均准确度：TimeNotes（平均值= .95）明显比StackZoom（平均值= .66）准确（p < 0.001）；
平均响应时间：TimeNotes（平均值 = 2.27）明显快于 StackZoom（平均值 = 4.81）（p < 0.001）；

比较（幅度）- 任务 B。任务 B 的性能，如图 15 中总结的那样，作为视觉设计的函数，揭示了不同条件下的显着变化，弗里德曼的检验显示了在准确性（χ2 = 5.43，p ≤ 0.02）和响应时间（χ2 = 42.07，p < 0.001）。更仔细的分析表明：

平均准确度：带覆盖的TimeNotes（平均值= 1.0）明显比不带覆盖的TimeNotes（平均值= .98）（p < 0.016）和StackZoom（平均值= .98）（p < 0.015）更准确；
平均响应时间：带有 Overlay 的 TimeNotes（平均值 = 3.69）明显快于没有 Overlay 的 TimeNotes（平均值 = 7.23）（p ≤ 0.001）和 StackZoom（平均值 = 7.43）（p 0.001）；

没有发现其他显着差异。

比较（频率）- 任务 C。任务 C 中的性能，如图 15 中总结的那样，作为视觉设计的函数，揭示了不同条件下的显着变化，弗里德曼的检验显示了在准确性（χ2 = 7.68，p ≤ 0.02）和响应时间（χ2 = 32.07，p < 0.001）。更仔细的分析表明：

平均准确度：带有 Overlay 的 TimeNotes（平均值 = 0.97）明显比没有 Overlay 的 TimeNotes（平均值 = 0.88）（p ≤ 0.016）和 StackZoom（平均值 = 0.89）（p 0.012）准确得多。
平均响应时间：带有 Overlay 的 TimeNotes（平均值 = 4.46）明显快于没有 Overlay 的 TimeNotes（平均值 = 7.66）（p < 0.001）和 StackZoom（平均值 = 8.15）（p < 0.001）；

没有发现其他显着差异。

缩放和平移（标签） - 任务 D 图 14 中总结了任务 D 中的性能，作为具有平移选项和不具有平移选项的视觉设计的函数，揭示了不同条件下响应时间的显着变化。 Friedman 检验显示主效应显着（χ2 = 3.2，p ≤ 0.05），使用平移选项的视觉设计的平均响应时间（平均值 = 91.9）比不使用平移选项（平均值 = 105.68）（p < 0.04）显着更准确。对正确标记事件与错误标记事件的准确性进行了进一步分析。 Friedman 检验显示主效应（χ2 = 3.00，p = 0.059）。使用 Wilcoxon 符号秩检验进行的事后分析显示，使用平移选项的视觉设计的平均准确度（平均值 = 0.96）明显比不使用平移选项的视觉设计（平均值 = 0.91）准确（p ≤ 0.046）。

层次结构导航（标签分析） - 任务E 任务 E 中的性能（在图 14 中总结为视觉设计的函数）揭示了条件之间存在显着差异，Shapiro-Wilk 测试揭示了 TimeNotes (p ≤ 0.13) 和 StackZoom (p ≤ 0.24) 的性能呈正态分布。方差分析测试显示响应时间具有显着的主效应 (p < 0.001)。准确性数据显示非正态分布，Friedman 检验显示主效应显着（χ2 = 4.0，p ≤ 0.046）。更仔细的分析表明：

平均准确度：TimeNotes（平均值= .95）明显比StackZoom（平均值= .81）准确（p < 0.001）；
平均响应时间：TimeNotes（平均值 = 19.78）明显快于 StackZoom（平均值 = 44.5）（p < 0.007）；

5.6 用户研究讨论

我们的研究证实了第 5.2 节中所述的所有假设。我们还在所有任务的准确性上取得了显着差异，而没有任何权衡效果。

Javed 等人也指出，任务 A 和 E 的准确性结果出乎意料地增加，进一步证实了分层视觉布局对于数据导航和目标识别的有效性。 [15]。 TimeNotes 与 StackZoom 在任务 A 和 E 中的准确性和响应时间的差异可以通过 TimeNotes 信息分组设计的增加来解释。信息分组对感知和注意力都有很强的影响[33]，在TimeNotes中，这是通过加强节点链接结构的语义关系来实现的。 StackZoom 中颜色的使用可能还会增加额外的视觉复杂性，这会影响信息解码的过程，例如每个层级的颜色解释。实验后访谈还证实了参与者对 TimeNotes 层次结构视觉编码的偏好（"在任务 A 中用箭头数叶子很困难，因为它让父母模棱两可。"（匿名），"我尝试使用颜色（而不是箭头）和深度优先搜索方法。"（匿名。）"虽然堆栈图可用，但它细分数据的方式感觉不自然。随着书签图遍历层次结构，您必须考虑一下链接的位置。自动且自然。"（匿名））。

任务 B 和 C 在准确性和响应时间方面都达到了显着性，这得出结论：在考虑比较/估计任务时，重叠是一个重要特征。公平地说，尤其是在任务 B 中，准确率结果接近最佳。看看样本量的增加将如何影响新兴趋势将会很有趣。还值得注意的是，在这两项任务中，我们只测试了对，当增加与两个以上信号的比较次数时，测试对准确性的影响也会很有趣。

在任务 D 中，我们测试了通过引入平移、缩放和标签来增加自由度对可视化界面中的用户性能的影响。平移是当今用户界面中普遍存在的导航方式，但是在分析大量数据时，增加交互可能会导致上下文丢失[8]。在杰特等人中。 [18]对平移与平移缩放进行了比较。结果显示，前者的表现有所提高，但后者的表现却没有提高。任务 D 确认了在处理视觉搜索任务时集成在分层布局中的平移的有效性。当达到足够的细节级别时，同时通过层次结构链接结构保留上下文，平移有助于快速扫描放大的数据（实验后反馈："任务 D。在平移不可用的情况下，我必须添加更大的视图，然后重复标记后删除它们"（匿名），"缩放功能使您可以非常轻松地放大到可用的级别，然后只需在绘图上滑动，即可以有效的方式标记数据，但无需平移。这很大程度上是一个寻找数据的猜谜游戏，并且在不断添加和删除级别的过程中，当我打算标记一个片段时，我多次错过了单击和删除节点的情况（匿名）。"收集的数据还显示，启用平移（53 次错过）和未进行平移（110 次错过）时错过的事件数量之间存在巨大差异。

任务 D 和任务 E 是最复杂的任务，因为它们允许参与者通过缩放（例如，创建较低层次结构级别）、平移和标签来主动与层次结构交互。当提供数据分段（任务 E）时，这两个任务都具有较高的准确率和更快的响应速度，例如参与者需要将目标搜索限制为仅突出显示的区域。任务 D 与任务 E 的响应时间结果证实了视觉搜索任务的复杂性在处理密集数据集合时更加突出。

6 实地研究讨论

五年来，我们一直在与生物学家一起进行交互式可视化软件使用的纵向研究。我们提供了使用可视化、模板匹配、视觉分析和机器学习来标记行为的工具[4,9,36]。这项关于分层图表可视化的工作是从它们处理和呈现行为模式的方式开始的。

对于现场研究，我们在已经熟悉的软件包中提供了有关新 TimeNotes 功能的培训。生物学家利用该软件（已安装在他们的机器上）来检查他们自己的动物数据。我们观察他们使用该软件并回答了提出的任何问题。在每个人都熟悉该软件的使用后，我们举行了一次会议，并举行了类似焦点小组的讨论，讨论了功能。我们总结了他们的反馈如下。我们定期（每几周）与生物学家会面。他们为我们提供了持续的反馈来源，我们利用这些反馈为他们的问题提供创新的解决方案。 TimeNotes 的灵感来自于这种不断变化的循环。

缩放和平移提供概览和效率。在总体层面上，他们需要了解部署是否成功。传感器收集到数据了吗？所有数据通道都收集了吗？看起来合适吗？它在收集期间有效吗？对动物的依恋是否发生了变化？所有这些都可以通过检查传感器迹线在短时间内得到解答。对于前一个问题，可以在全局级别上进行，或者对于后一个问题，可以通过缩放和平移数据来实现。

我们在正式的用户研究（任务 D）中证明了缩放和平移可以带来标签的好处。生物学家的反馈也同意这一点。 "你可以在不丢失上下文的情况下进行放大，这非常酷"。 "我们从信号中可以看出，此时项圈已经发生了移位"。

**分层布局有助于并排比较和思考不同尺度的行为。**为了支持行为发现，他们使用数据概述（一天中的时间和较大范围内行为的持续时间）并缩小到更精细的行为，例如翅膀的拍打。这些通常是分层的。对于海鸟来说，顶部包含许多进食序列。每个序列都包含过度换气、潜水、游泳、捕获猎物、上升和休息的行为。生物学家标记整个序列，然后考虑每个潜水序列，标记每个组成部分，并在序列之间进行比较。他们查看不同的传感器，看看是否在与其他传感器不同的轴上更全面地捕获了行为，或者例如环境传感器来观察潜水深度的水压。我们的书签设计在层次结构的各个级别之间提供了更清晰的链接。

我们在正式用户研究（任务 A 和 E）中证明，书签层次结构通过更清晰的层次结构组织提供了比堆栈缩放层次结构更丰富的上下文。它们可以在层次结构中的任何级别平移，较低级别可以同步移动（挂锁在一起）或自行浮动。 "这对于识别个人行为非常有用"。

叠加有助于比较。通过将两个图表窗口对齐在一起，可以立即聚焦信号的两个不同部分，以比较幅度或相位。例如，标签通常被快速连续地部署在一些动物上，并且利用此功能可以比较不同动物的相同行为的速度和活力。我们在正式的用户研究（任务 B 和 C）中证明，叠加功能比并排比较更准确、更快。

考虑演示功能有助于沟通。在传达行为时，以前的软件中的典型工作流程是定位行为，将该段导出为原始数据，将其读入 Excel，创建折线图，导出到 powerpoint 并注释行为。同样，包含在出版物中。这会丢失上下文信息，并且通常还需要新的数据（视觉）扫描来定位行为。我们通过允许用户重新定位书签来构建演示的想法。级别可以最小化和最大化。文本可以与书签关联以添加注释。可以保存工作区域以供将来参考。折线图可以导出为原始数据或 SVG。本文中的所有图形都是使用该软件生成的，其优点是 SVG 是矢量化的，有助于在出版物中进行缩放。这没有在正式的用户研究中进行测试，因为它是该软件特有的功能，并且比上述工作流程更快、更好。反馈是，这对于演示、教学很有用，并将加快成果纳入出版物的速度。

7 结论

在本文中，我们比较评估了探索时间序列数据的现有方法，对每种方法进行了图形化概述，并对它们探索数据和与数据交互的能力进行了分类。基于此，我们引入了 TimeNotes，一种用于可视化时间序列数据并与之交互的分层导航技术。我们进行并报告实证研究和实地研究。我们测试环境的静态和交互特征，确认最先进技术的有效性及其与新颖方法的集成。我们的研究结果表明，TimeNotes 为时间序列数据的探索、分析和呈现提供了更有效的工作环境。我们还展示了 RiverLens（图 7），它是 River Plot [7] 和 SignalLens [21] 的组合。我们没有在论文中进一步评论或评估这一点，因为它是我们与生物学家讨论和评估的一部分，生物学家希望在软件的未来版本中看到这种组合。作为未来的工作，我们希望将其合并到 TimeNotes 中并对其进行评估。我们寻求对 TimeNotes 的用户与界面交互进行额外评估，并探索交互式镜头与多焦点界面的结合使用。