结合BI多维度异常分析(日期-> 商家/渠道->日期(商家/渠道))

技术手段: BI工具(finereport )、python、sql
数据更新 : 每日零点更新数据。(独立开发)
商业智能分析平台 | Python/FineReport/SQLAlchemy

项目描述

业务价值 :解决原有系统无法快速定位佣金异常的问题,建立「日期→商家→渠道→计划」四级下钻体系,使问题定位时效从1小时缩短至15分钟。重点监控头部媒体数据趋势,通过异常预警机制推动业务及时沟通。

标题技术实现 :

  1. 动态检测引擎:
    采用滚动窗口(14天)±2.5σ动态阈值算法并结合佣金同比波动率来判断异常。通过Python(SQLAlchemy)整合3个异构数据源,构建bi_duomaicps分析库
    增加同比波动率辅助判断(当前值/去年同期值-1)。
  2. 智能可视化:
    使用FineReport开发交互看板:
    ▶ 日期层:双轴趋势图(当月/环比/同比)+ 红点标记异常日期(K=2.5)
    ▶ 商家层:柱线组合图(绝对波动+波动率),自动筛选波动率>0.3 & 绝对波动>3000的异常商家
    ▶ 计划层:多系列折线图展示异常计划佣金流向,支持近14天趋势回溯
  3. 数据架构:
    设计anomalies_date等5张核心分析表,建立每日零点自动更新机制.
    项目 意义:可以根据数据重点关注到头部媒体的趋势,以确认是否需要单独沟通媒体增量/控量/获取媒体反馈。不仅起到了明显的提效作用,还能帮助及时风控,从折线图可以及时发现异常增量趋势、数据异常趋势,及时沟通媒体后,减少风险/损失。
    一、 从日期维度分析异常
    ● 首页展示的是当月 佣金数据 ,同时对比 上月和上年同期的佣金趋势,同时下面明细表展示MOM和YOY的情况,方便业务人员导出数据。
    ● 通过数据分析异常突增或突减的日期来红点显示,并在表格上突出显示。
    ● 下钻功能: 点击当前佣金分类可下钻到 该异常日期下的渠道/商家波动情况,方便业务追踪溯源。

数据源: 所有数据通过python 的sqlalchemy链接三个数据源 ,并且纵向合并到建立在115.238.100.75下的bi_duomaicps库。

异常判断逻辑:

● 动态阈值:阈值 = 滚动窗口均值 ± K*滚动标准差

窗口周期(如14天),K=2~3

● 同比波动率辅助判断(当前值/去年同期值-1)

异常日期表(anomalies_date):记录异常日期、佣金、滚动均值、滚动标准差、上限、下限、引用日期、偏离程度。

二、商家/渠道 总体分析

通过点击上图异常日期下的跳转到具体商家和渠道下的情况;

可筛选项: 波动率 、 绝对波动和异常日期。

○ 波动率:( 当前值-历史均值)/历史均值

○ 绝对波动: abs(当前值-历史均值)

○ 且/或 (用户可 只筛选满足波动率或者绝对波动情况条件的商家/渠道,或同时满足两个条件的商家/渠道),默认展示波动率>0.3,绝对波动幅度> 3000的商家,仅展示异常明显的商家/渠道。

展示上:使用finereportBI工具, 图为柱形/折现图 , 柱子高度为商家/渠道的绝对波动 , 折线对应商家/渠道的波动率,通过柱形和折线结合分析商家/渠道的波动情况,下方附带明细表格方便业务人员导出。

下钻功能: 点击对应商家/渠道 的柱子可跳转到商家/渠道 下的计划情况。

数据源: 115.238.100.75下的bi_duomaicps库。

异常日期下 所有商家和渠道情况

表: analysis_result_business

表:analysis_result_client

三、 商家/渠道下 计划的 分析

察觉到异常商家/渠道之后,点击下钻到该商家/渠道下的计划情况,先分析该商家/渠道 最近2周的趋势,确定异常日期前后的趋势,然后点击'计划'按钮,折线图增加计划分类。之后筛选出异常计划。

展示上:

● 图形:该商家/渠道 近2周的佣金趋势变化情况,该商家/渠道 近2周的计划(异常计划)佣金趋势变化情况。
所有计划佣金占比图。

● 表格: 商家/渠道明细表,方便也业务导出分析。

继续向 该渠道下计划分析,点击 只看异常的计划。

了解到该异常计划后,业务人员能够快速定位 到该计划 异常情况,并且及时做出反馈。

表: bi_duomaicps.analysis_result_client_ads


相关推荐
睡不醒男孩0308232 小时前
第二篇:深入探索开源数据库高可用:构建基于CLup的PostgreSQL生产级高可用与读写分离架构
数据库·postgresql·开源·clup
love530love4 小时前
LiveTalking 数字人项目 Windows 部署完全指南(EPGF 架构)
人工智能·windows·python·架构·livetalking·epgf
遇事不決洛必達4 小时前
【Python基础】GIL 锁是什么及其对爬虫的影响
爬虫·python·线程·进程·gil锁
Micro麦可乐4 小时前
Spring Boot 实战:从零设计一个短链系统(含完整代码与数据库设计)
数据库·spring boot·后端·哈希算法·雪花算法·短链系统
码农阿豪4 小时前
从零到一:Spring Boot快速接入金仓数据库实战
数据库·spring boot·后端
鼎讯信通4 小时前
风电光缆运维提质增效:G-4000A 光缆故障追踪仪破解风场巡检难题
运维·网络·数据库
CryptoPP5 小时前
快速对接东京证券交易所API数据:实战指南与代码示例
开发语言·人工智能·windows·python·信息可视化·区块链
三十..5 小时前
MySQL 从入门到高可用架构实战精要
运维·数据库·mysql
探物 AI5 小时前
把 MambaOut 塞进 YOLOv11:会有什么样的反应
python·yolo·计算机视觉
cfm_29145 小时前
Redis五大基本数据结构底层了解
数据结构·数据库·redis