ANOMALY BERT 解读

出处: ICLR workshop 2023

代码:Jhryu30/AnomalyBERT

可视化效果:

一 提出动机

动机:无监督 TSAD 领域内,"训练集" 也缺失:真值标签(GT);换句话说,一个点在训练集内是否异常是未知的 → data degradation scheme

受 NLP 领域 BERT 的启发,通过替换输入数据的随机部分,训练模型以找到退化部分来修改掩模语言建模(MLM);此方法有助于检测:真实的时序内的各类非自然序列。

二 Methodology
  1. 模型架构:(基于 "预测" 的时序异常检测方法)
  1. 详细讲解:

2.2 合成异常及数据增强

随机选择每个时序窗口内的时序片段,通过下列四种 "合成异常" 方式,进行相应数据增强:

  1. 带有窗口外部的加权序列(软替换),替换为:原始区间和外部区间的加权和;

  2. 恒定序列(统一替换);

  3. 加长或缩短的序列(长度调整);

  4. 单个峰值(峰值噪声)。

2.3 训练损失函数:(交叉熵损失)

三**. 实验结果**
相关推荐
没事别瞎琢磨1 小时前
六、输出捕获与截断
人工智能·node.js
嘉子的秃头日记1 小时前
TRO 2026|轮椅也能“猜到”用户想往哪走?
大数据·人工智能·机器学习
2601_957190902 小时前
极致裸眼沉浸!飞行影院重塑文旅游玩新体验
大数据·人工智能·旅游
Meinianda2 小时前
我用Agent 使用瑞幸官方MCP下了一单:过程全记录,优缺点分析
人工智能
没事别瞎琢磨2 小时前
七、敏感路径预检——Protected Paths
人工智能·node.js
啦啦啦_99992 小时前
4. Transformer_4_输出部分
人工智能·深度学习·transformer
用户600071819102 小时前
【翻译】构建 Claude Code 的经验:我们如何使用 Skills
人工智能
没事别瞎琢磨2 小时前
五、进程执行——spawn、超时与进程树清理
人工智能·node.js
没事别瞎琢磨2 小时前
四、命令风险分级与审批策略
人工智能·node.js
阿乔外贸日记2 小时前
埃塞俄比亚出口全流程注意事项
大数据·人工智能·智能手机·云计算·汽车