ANOMALY BERT 解读

出处: ICLR workshop 2023

代码:Jhryu30/AnomalyBERT

可视化效果:

一 提出动机

动机:无监督 TSAD 领域内,"训练集" 也缺失:真值标签(GT);换句话说,一个点在训练集内是否异常是未知的 → data degradation scheme

受 NLP 领域 BERT 的启发,通过替换输入数据的随机部分,训练模型以找到退化部分来修改掩模语言建模(MLM);此方法有助于检测:真实的时序内的各类非自然序列。

二 Methodology
  1. 模型架构:(基于 "预测" 的时序异常检测方法)
  1. 详细讲解:

2.2 合成异常及数据增强

随机选择每个时序窗口内的时序片段,通过下列四种 "合成异常" 方式,进行相应数据增强:

  1. 带有窗口外部的加权序列(软替换),替换为:原始区间和外部区间的加权和;

  2. 恒定序列(统一替换);

  3. 加长或缩短的序列(长度调整);

  4. 单个峰值(峰值噪声)。

2.3 训练损失函数:(交叉熵损失)

三**. 实验结果**
相关推荐
金井PRATHAMA1 分钟前
格雷马斯语义方阵对人工智能自然语言处理深层语义分析的影响与启示
人工智能·自然语言处理·知识图谱
躺柒2 分钟前
2025年12月总结及随笔之海市蜃楼
人工智能·程序人生·读书笔记·个人总结·随笔
Yuer20253 分钟前
Controllable AI:AI 治理体系中的执行合法性基础层
人工智能
KG_LLM图谱增强大模型6 分钟前
大模型辅助的细粒度知识图谱构建用于机器人故障诊断
人工智能·机器人·知识图谱
水如烟8 分钟前
孤能子视角:“融智学“理论分析,提出建议
人工智能
王哈哈^_^9 分钟前
【完整源码+数据集】道路交通事故数据集,yolo车祸检测数据集 7869 张,交通事故级别检测数据集,交通事故检测系统实战教程
人工智能·深度学习·算法·yolo·目标检测·计算机视觉·毕业设计
迪娜学姐10 分钟前
Nano Banana Pro科研绘图能力实测
论文阅读·人工智能·chatgpt·prompt·论文笔记
一只大侠的侠12 分钟前
解读Kimi 1.0在长序列与多模态任务中的性能革新
人工智能
xiucai_cs15 分钟前
实战:用 Claude Code 打造 AI 运维工程师
运维·人工智能
大模型铲屎官24 分钟前
【操作系统-Day 46】文件系统核心探秘:深入理解连续分配与链式分配的实现与优劣
人工智能·python·深度学习·大模型·操作系统·文件系统·计算机组成原理