ANOMALY BERT 解读

出处: ICLR workshop 2023

代码:Jhryu30/AnomalyBERT

可视化效果:

一 提出动机

动机:无监督 TSAD 领域内,"训练集" 也缺失:真值标签(GT);换句话说,一个点在训练集内是否异常是未知的 → data degradation scheme

受 NLP 领域 BERT 的启发,通过替换输入数据的随机部分,训练模型以找到退化部分来修改掩模语言建模(MLM);此方法有助于检测:真实的时序内的各类非自然序列。

二 Methodology
  1. 模型架构:(基于 "预测" 的时序异常检测方法)
  1. 详细讲解:

2.2 合成异常及数据增强

随机选择每个时序窗口内的时序片段,通过下列四种 "合成异常" 方式,进行相应数据增强:

  1. 带有窗口外部的加权序列(软替换),替换为:原始区间和外部区间的加权和;

  2. 恒定序列(统一替换);

  3. 加长或缩短的序列(长度调整);

  4. 单个峰值(峰值噪声)。

2.3 训练损失函数:(交叉熵损失)

三**. 实验结果**
相关推荐
视***间几秒前
视程空间AIR系列——小体积藏强芯,赋能机器人/机器狗全域落地
大数据·人工智能·机器人·机器狗·ai算力·视程空间
GEO从入门到精通2 分钟前
为什么要学习GEO?
人工智能·学习
koharu1233 分钟前
PointNet 与 PointNet++ 详解
人工智能·深度学习·神经网络·三维点云
shchojj3 分钟前
Generative AI applications - Tips for Prompting
人工智能
深度学习lover5 分钟前
<数据集>yolo 白天鹅识别<目标检测>
人工智能·yolo·目标检测·数据集·白天鹅识别
@蔓蔓喜欢你5 分钟前
Web性能优化完全指南:从加载到渲染的全方位优化
人工智能·ai
互联科技报6 分钟前
2026年4K投影仪画质横评:明基W系列“色彩科学”解析
人工智能
步步为营DotNet6 分钟前
洞悉.NET 11:Blazor 与 Microsoft.Extensions.AI 的融合创新实践
人工智能·microsoft·.net
甲维斯6 分钟前
谷歌Antigravity 还活着啊!全新系列四个产品覆盖所有人群!
人工智能
动物园猫10 分钟前
棉花病害图像分类数据集分享(适用于YOLO系列深度学习分类检测任务)
深度学习·yolo·分类