ANOMALY BERT 解读

出处: ICLR workshop 2023

代码:Jhryu30/AnomalyBERT

可视化效果:

一 提出动机

动机:无监督 TSAD 领域内,"训练集" 也缺失:真值标签(GT);换句话说,一个点在训练集内是否异常是未知的 → data degradation scheme

受 NLP 领域 BERT 的启发,通过替换输入数据的随机部分,训练模型以找到退化部分来修改掩模语言建模(MLM);此方法有助于检测:真实的时序内的各类非自然序列。

二 Methodology
  1. 模型架构:(基于 "预测" 的时序异常检测方法)
  1. 详细讲解:

2.2 合成异常及数据增强

随机选择每个时序窗口内的时序片段,通过下列四种 "合成异常" 方式,进行相应数据增强:

  1. 带有窗口外部的加权序列(软替换),替换为:原始区间和外部区间的加权和;

  2. 恒定序列(统一替换);

  3. 加长或缩短的序列(长度调整);

  4. 单个峰值(峰值噪声)。

2.3 训练损失函数:(交叉熵损失)

三**. 实验结果**
相关推荐
亚马逊云开发者12 分钟前
准确率从 19% 提升至 95%!文本审核模型优化的三个阶段实践(下)
人工智能
盛寒13 分钟前
词法分析和词性标注 自然语言处理
人工智能·自然语言处理
计算机集成_14 分钟前
具身智能之人形机器人核心零部件介绍
人工智能·经验分享·机器人
寻丶幽风19 分钟前
论文阅读笔记——Muffin: Testing Deep Learning Libraries via Neural Architecture Fuzzing
论文阅读·笔记·深度学习·网络安全·差分测试
新智元26 分钟前
苹果 OS 全家桶 12 年最狠升级!AI 入侵一切,唯独 Siri 没更
人工智能·openai
我是初九26 分钟前
【李沐-动手学深度学习v2】1.Colab学习环境配置
人工智能·python·学习·colab
T06205141 小时前
【实证分析】上市公司企业风险承担水平数据集(2000-2022年)
大数据·人工智能
电报号dapp1191 小时前
全链游戏模式:自治世界与AI增强型交互
人工智能·游戏·web3·去中心化·区块链·智能合约
不爱学英文的码字机器1 小时前
持续交付的进化:从DevOps到AI驱动的IT新动能
运维·人工智能·devops
Vertira1 小时前
如何在 PyTorch 中自定义卷积核参数(亲测,已解决)
人工智能·pytorch·python