ANOMALY BERT 解读

出处: ICLR workshop 2023

代码:Jhryu30/AnomalyBERT

可视化效果:

一 提出动机

动机:无监督 TSAD 领域内,"训练集" 也缺失:真值标签(GT);换句话说,一个点在训练集内是否异常是未知的 → data degradation scheme

受 NLP 领域 BERT 的启发,通过替换输入数据的随机部分,训练模型以找到退化部分来修改掩模语言建模(MLM);此方法有助于检测:真实的时序内的各类非自然序列。

二 Methodology
  1. 模型架构:(基于 "预测" 的时序异常检测方法)
  1. 详细讲解:

2.2 合成异常及数据增强

随机选择每个时序窗口内的时序片段,通过下列四种 "合成异常" 方式,进行相应数据增强:

  1. 带有窗口外部的加权序列(软替换),替换为:原始区间和外部区间的加权和;

  2. 恒定序列(统一替换);

  3. 加长或缩短的序列(长度调整);

  4. 单个峰值(峰值噪声)。

2.3 训练损失函数:(交叉熵损失)

三**. 实验结果**
相关推荐
嵌入式老牛11 小时前
OpenCV与MFC混合编程中的图像格式转换研究
人工智能·opencv·mfc
Raink老师16 小时前
【AI面试临阵磨枪】Harness 的环境隔离(沙箱)如何设计?文件、网络、命令、权限四层隔离?
人工智能·ai 面试
人工智能AI技术17 小时前
Python 断言 assert 基础用法
人工智能
我是发哥哈17 小时前
横向评测:五款主流AI培训课程效果与选型分析
人工智能
GetcharZp17 小时前
告别昂贵显卡!llama.cpp 终极指南:在你的电脑上满速运行大模型!
人工智能
AI木马人17 小时前
3.【Prompt工程实战】如何设计一个可复用的Prompt系统?(避免每次手写提示词)
linux·服务器·人工智能·深度学习·prompt
Agent产品评测局18 小时前
临床前同源性反应种属筛选:利用AI Agent加速筛选的实操方案 —— 2026企业级智能体选型与技术落地指南
人工智能·ai·chatgpt
ting945200018 小时前
HunyuanOCR 全方位深度解析
人工智能·架构
woai336418 小时前
AI通识-大模型的原理&应用
人工智能
头发够用的程序员18 小时前
从滑动窗口到矩阵运算:img2col算法基本原理
人工智能·算法·yolo·性能优化·矩阵·边缘计算·jetson