ANOMALY BERT 解读

出处: ICLR workshop 2023

代码:Jhryu30/AnomalyBERT

可视化效果:

一 提出动机

动机:无监督 TSAD 领域内,"训练集" 也缺失:真值标签(GT);换句话说,一个点在训练集内是否异常是未知的 → data degradation scheme

受 NLP 领域 BERT 的启发,通过替换输入数据的随机部分,训练模型以找到退化部分来修改掩模语言建模(MLM);此方法有助于检测:真实的时序内的各类非自然序列。

二 Methodology
  1. 模型架构:(基于 "预测" 的时序异常检测方法)
  1. 详细讲解:

2.2 合成异常及数据增强

随机选择每个时序窗口内的时序片段,通过下列四种 "合成异常" 方式,进行相应数据增强:

  1. 带有窗口外部的加权序列(软替换),替换为:原始区间和外部区间的加权和;

  2. 恒定序列(统一替换);

  3. 加长或缩短的序列(长度调整);

  4. 单个峰值(峰值噪声)。

2.3 训练损失函数:(交叉熵损失)

三**. 实验结果**
相关推荐
阿正的梦工坊3 分钟前
策略梯度定理公式的详细推导
深度学习·机器学习·概率论
加德霍克5 分钟前
Opencv之识别图片颜色并绘制轮廓
图像处理·人工智能·opencv·学习·计算机视觉
OJAC近屿智能8 分钟前
苹果全家桶接入ChatGPT,近屿智能邀您共绘AI蓝图
人工智能·ai·chatgpt·aigc
MongoDB 数据平台18 分钟前
Alan Chhabra:MongoDB AI应用程序计划(MAAP) 为客户提供价值
数据库·人工智能·mongodb
网智圈--一起AI赋能网络22 分钟前
【AI+网络/仿真数据集】1分钟搭建云原生端到端5G网络
网络·人工智能·5g·云原生·信息与通信
三月七(爱看动漫的程序员)22 分钟前
The Rise and Potential of Large Language ModelBased Agents:A Survey---代理社会
人工智能·深度学习·机器学习·语言模型·自然语言处理·chatgpt·langchain
mingdaoyun25 分钟前
零代码平台在智慧城市政务信息化软件项目管理领域的实践
人工智能·智慧城市·政务
肉包之34 分钟前
OpenCV实验:图片加水印
人工智能·python·opencv·计算机视觉
带带老表学爬虫40 分钟前
opencv礼帽和黑帽运算
人工智能·opencv·计算机视觉
卧蚕土豆1 小时前
【有啥问啥】大语言模型Prompt中的“System指令”:深入剖析与误区澄清
人工智能·语言模型·prompt