ANOMALY BERT 解读

出处: ICLR workshop 2023

代码:Jhryu30/AnomalyBERT

可视化效果:

一 提出动机

动机:无监督 TSAD 领域内,"训练集" 也缺失:真值标签(GT);换句话说,一个点在训练集内是否异常是未知的 → data degradation scheme

受 NLP 领域 BERT 的启发,通过替换输入数据的随机部分,训练模型以找到退化部分来修改掩模语言建模(MLM);此方法有助于检测:真实的时序内的各类非自然序列。

二 Methodology
  1. 模型架构:(基于 "预测" 的时序异常检测方法)
  1. 详细讲解:

2.2 合成异常及数据增强

随机选择每个时序窗口内的时序片段,通过下列四种 "合成异常" 方式,进行相应数据增强:

  1. 带有窗口外部的加权序列(软替换),替换为:原始区间和外部区间的加权和;

  2. 恒定序列(统一替换);

  3. 加长或缩短的序列(长度调整);

  4. 单个峰值(峰值噪声)。

2.3 训练损失函数:(交叉熵损失)

三**. 实验结果**
相关推荐
uzong4 分钟前
AI Agent 是什么,如何理解它,未来挑战和思考
人工智能·后端·架构
2401_895521346 分钟前
spring-ai 下载不了依赖spring-ai-openai-spring-boot-starter
java·人工智能·spring
冬奇Lab9 分钟前
从 Prompt 工程师到 Harness 工程师:AI 协作范式的三次进化
人工智能
jixinghuifu20 分钟前
理性权衡:手机系统更新,别盲目也别抗拒
人工智能·安全·智能手机
LJ979511123 分钟前
从被动救火到主动防御:Infoseek舆情监测系统的技术架构与实战拆解
人工智能
CareyWYR1 小时前
每周AI论文速递(260323-260327)
人工智能
guoji77881 小时前
安全与对齐的深层博弈:Gemini 3.1 Pro 安全护栏与对抗测试深度拆解
人工智能·安全
实在智能RPA1 小时前
实在 Agent 和通用大模型有什么不一样?深度拆解 AI Agent 的感知、决策与执行逻辑
人工智能·ai
独隅1 小时前
PyTorch 模型部署的 Docker 配置与性能调优深入指南
人工智能·pytorch·docker