ANOMALY BERT 解读

出处: ICLR workshop 2023

代码:Jhryu30/AnomalyBERT

可视化效果:

一 提出动机

动机:无监督 TSAD 领域内,"训练集" 也缺失:真值标签(GT);换句话说,一个点在训练集内是否异常是未知的 → data degradation scheme

受 NLP 领域 BERT 的启发,通过替换输入数据的随机部分,训练模型以找到退化部分来修改掩模语言建模(MLM);此方法有助于检测:真实的时序内的各类非自然序列。

二 Methodology
  1. 模型架构:(基于 "预测" 的时序异常检测方法)
  1. 详细讲解:

2.2 合成异常及数据增强

随机选择每个时序窗口内的时序片段,通过下列四种 "合成异常" 方式,进行相应数据增强:

  1. 带有窗口外部的加权序列(软替换),替换为:原始区间和外部区间的加权和;

  2. 恒定序列(统一替换);

  3. 加长或缩短的序列(长度调整);

  4. 单个峰值(峰值噪声)。

2.3 训练损失函数:(交叉熵损失)

三**. 实验结果**
相关推荐
TMT星球2 分钟前
TCL华星t8项目正式开工,总投资额约295亿元
大数据·人工智能
猫头虎4 分钟前
DeepSeek刚刚开源了一个3B的 OCR模型:什么是DeepSeek-OCR?单张A100-40G每天可以处理20万+页文档
人工智能·开源·whisper·prompt·aigc·ocr·gpu算力
lky不吃香菜6 分钟前
上下文工程的艺术与科学:来自 LangChain 和 Manus 的前沿洞察
人工智能
香菜烤面包7 分钟前
Attention:MHA->MQA->GQA->MLA
人工智能·深度学习
阿里云大数据AI技术8 分钟前
云栖实录 | 驶入智驾深水区:广汽的“数据突围“之路
大数据·人工智能
肥晨9 分钟前
OCR 模型受全球关注,实测到底谁更出色?
人工智能·ai编程
景天科技苑14 分钟前
【AI智能体开发】什么是LLM?如何在本地搭建属于自己的Ai智能体?
人工智能·llm·agent·智能体·ai智能体·ollama·智能体搭建
skywalk816315 分钟前
用Trae自动生成一个围棋小程序
人工智能·小程序
nju_spy19 分钟前
牛客网 AI题(一)机器学习 + 深度学习
人工智能·深度学习·机器学习·lstm·笔试·损失函数·自注意力机制
千桐科技22 分钟前
qKnow 知识平台【开源版】安装与部署全指南
人工智能·后端