餐饮供应链的数仓设计思考（一）系统设计大纲

餐饮连锁企业数据平台系统实现大纲

业务需求分析

1.1 企业背景与现状

企业规模: 200+门店，持续高速成长
战略目标: 万店连锁大本营，广东作为新战略基点
核心痛点 :
- 跨门店数据孤岛，无法进行统一分析
- POS、供应链、外卖等系统数据割裂
- 缺乏实时业务洞察能力
- 缺少数据驱动的决策体系

1.2 核心需求

维度	具体需求	优先级
数据集成	POS、供应链、CRM、外卖等系统数据统一集成	P0
实时性	支持小时级/分钟级数据更新	P0
稳定性	建立完整的监控告警和应急响应体系(SLA)	P0
分析能力	支持OLAP多维分析和即席查询	P0
安全性	数据隐私保护、权限管理、审计日志	P0
可扩展性	支持业务增长，从200店扩展到1000+店	P1
可视化	构建管理驾驶舱、门店看板、决策支持系统	P1

1.3 价值体现

财务价值: 通过数据优化人效、坪效、单店模型
业务价值: 支撑快速决策，提升竞争力
运营价值: 建立数据文化，培养数据人才
战略价值: 为千店战略提供核心数据能力支撑

核心业务场景与数据指标

2.1 餐饮行业核心业务模型

复制代码

┌─────────────────────────────────────────────────────────────┐
│                       连锁餐饮业务模型                        │
├─────────────────────────────────────────────────────────────┤
│ 门店运营          │ 供应链管理       │ 客户运营       │ 财务管理 │
├──────────────────┼────────────────┼──────────────┼─────────┤
│ • POS销售        │ • 采购管理     │ • CRM客户   │ • 收入  │
│ • 库存管理       │ • 库存管理     │ • 外卖订单  │ • 成本  │
│ • 人力资源       │ • 配送管理     │ • 会员营销  │ • 利润  │
│ • 门店人效       │ • 供应商管理   │ • 复购分析  │ • 税务  │
└──────────────────┴────────────────┴──────────────┴─────────┘

2.2 核心业务数据流

门店日常运营数据流:

scss 复制代码

POS终端                                   供应商系统
  ↓                                           ↓
订单/销售数据 ──→ 数据采集 ← ─ 采购/库存数据
             ↓
          Doris数据仓库
          ├─ 原始数据层(ODS)
          ├─ 数据仓库层(DWD/DWS)
          └─ 数据应用层(ADS)
             ↓
    ┌────────┬────────┬─────────┐
    ↓        ↓        ↓         ↓
  报表   驾驶舱   告警系统  决策支持

2.3 关键业务指标

2.3.1 门店运营指标

指标	定义	计算公式	更新频率
日销售额(DSA)	门店日营业收入	∑订单金额	实时
平均客单价(AOP)	单笔订单平均价格	总销售额/订单数	实时
日客流量(DVC)	门店日客户数	∑订单客户数	实时
人效(RPE)	人均日销售额	日销售额/当班人数	日
坪效(SPE)	单位面积日销售额	日销售额/门店面积	日
客单人数	平均就餐人数	∑就餐人数/订单数	实时
翻台率	门店日翻台次数	∑订单数/(座位数×营业时间)	实时
库存周转率	库存商品周转速度	∑出库数量/平均库存量	周
复购率	老客户复购比例	复购客户数/总客户数	日
外卖渗透率	外卖订单占比	外卖订单数/总订单数	实时

2.3.2 财务成本指标

指标	定义	计算公式	更新频率
食材成本率	食材成本占比	食材成本/销售收入	日
劳动力成本率	工资成本占比	工资成本/销售收入	月
门店毛利率	门店毛利占比	(销售收入-食材成本)/销售收入	日
门店净利率	门店净利占比	净利润/销售收入	月
折旧与摊销	设备折旧成本	固定资产折旧/月	月

2.3.3 供应链指标

指标	定义	更新频率
库存准确率	实际库存/系统库存	日
配送及时率	准时送达订单比例	实时
缺货率	缺货商品占比	日
采购成本指数	采购价格变化	周

2.3.4 客户与营销指标

指标	定义	更新频率
会员数	活跃会员总数	日
会员贡献度	会员销售/总销售	日
新客获取成本(CAC)	新客营销成本	月
客户生命周期价值(LTV)	客户总价值	月
NPS(净推荐值)	客户满意度指标	月

系统架构设计

3.1 整体系统架构

scss 复制代码

┌──────────────────────────────────────────────────────────────────┐
│                     数据消费与展示层                              │
├──────────────────┬──────────────────┬──────────────┬─────────────┤
│   管理驾驶舱      │   门店看板       │   分析报表   │  API服务    │
│  (Executive)     │  (Store KPI)     │  (Reports)   │  (Services) │
└──────────────────┴──────────────────┴──────────────┴─────────────┘
                            ↑
┌──────────────────────────────────────────────────────────────────┐
│                   数据应用与服务层(ADS)                           │
├────────────────┬────────────────┬────────────────┬───────────────┤
│ 门店运营分析   │  供应链分析    │   客户分析     │  财务分析     │
│ • 日销售分析   │ • 库存分析    │ • 会员分析     │ • 利润分析    │
│ • 人效分析     │ • 采购分析    │ • 流量分析     │ • 成本控制    │
│ • 翻台分析     │ • 配送分析    │ • 营销效果     │ • 预算管理    │
└────────────────┴────────────────┴────────────────┴───────────────┘
                            ↑
┌──────────────────────────────────────────────────────────────────┐
│              数据仓库层(DWD/DWS/DIM)- Doris引擎                   │
├────────────────┬────────────────┬────────────────┬───────────────┤
│ 明细层(DWD)    │ 汇总层(DWS)    │ 维度层(DIM)    │ 临时层(ODS)   │
└────────────────┴────────────────┴────────────────┴───────────────┘
                            ↑
┌──────────────────────────────────────────────────────────────────┐
│                    数据获取与集成层(ETL)                          │
├──────────────┬──────────────┬──────────────┬─────────────────────┤
│  POS系统     │  供应链系统  │   CRM系统    │  外卖平台系统       │
│ (DB/API)     │  (DB/API)    │  (DB/API)    │  (API/数据推送)     │
└──────────────┴──────────────┴──────────────┴─────────────────────┘
                            ↑
┌──────────────────────────────────────────────────────────────────┐
│                  业务系统与数据源(200+门店)                       │
├──────────────┬──────────────┬──────────────┬─────────────────────┤
│ 门店POS终端  │ 后厨显示屏   │ 库存终端     │  网络订餐平台       │
│ (200+)       │              │              │  (美团/饿了么等)    │
└──────────────┴──────────────┴──────────────┴─────────────────────┘

3.2 Doris技术方案选型

选择Doris的核心理由:

指标维度	Doris优势	对应场景
实时性	支持秒级数据更新，列式存储	POS实时销售数据分析
高并发	支持1000+QPS查询	多门店同时查询
易用性	MySQL协议，无需学习新语言	快速业务上手
成本	开源免费，单节点部署	初期成本控制
扩展性	支持水平扩展	从200店到1000店
多维分析	Bitmap索引加速	OLAP多维分析查询
联邦查询	支持外表查询源系统	灵活的数据集成

3.3 技术栈设计

scss 复制代码

┌────────────────────────────────────────────────────────────────┐
│                      技术选型方案                                │
├───────────────────┬───────────────────┬──────────────────────┤
│ 数据集成ETL       │ 数据仓库         │ 数据展示与分析       │
├───────────────────┼───────────────────┼──────────────────────┤
│ • Flink/Spark     │ • Doris           │ • Grafana(监控)      │
│ • Canal(CDC)      │ • MySQL(元数据)   │ • Tableau(BI)        │
│ • DataX/Waterdrop │ • Ranger(权限)    │ • Superset(可视化)   │
│ • Kafka(消息队列) │ • ZooKeeper(协调) │ • Python(分析)       │
└───────────────────┴───────────────────┴──────────────────────┘

Doris数据仓库设计

4.1 数据模型设计

4.1.1 星型模型架构

markdown 复制代码

                        ┌─────────────┐
                        │   日期维度  │
                        │  (dim_date) │
                        └─────────────┘
                              │
                              │ date_id
                              │
        ┌─────────────┐       │       ┌──────────────┐
        │  店铺维度   │───────┼───────│ 事实表:销售  │
        │ (dim_shop)  │ shop_id│       │ (fact_sale)  │
        └─────────────┘       │       └──────────────┘
                              │       /    │    \
        ┌─────────────┐       │      /     │     \
        │  菜品维度   │───────┼─────/      │      \
        │ (dim_menu)  │ menu_id│          │       \
        └─────────────┘       │          │        ┌──────────────┐
                              │          │        │ 员工维度     │
                              │          │        │(dim_employee)│
                              │          │        └──────────────┘
        ┌─────────────┐       │          │              │
        │  客户维度   │───────┼──────────┼──────────────┘
        │ (dim_customer)│customer_id   │
        └─────────────┘       │          │
                              │          │
                        ┌─────────────┐ │
                        │  时间维度  │ │
                        │ (dim_time) │─┤
                        └─────────────┘

4.1.2 核心表设计

维度表设计:

门店维度表 (dim_shop)

sql 复制代码

CREATE TABLE dim_shop (
    shop_id INT,
    shop_code VARCHAR(50),
    shop_name VARCHAR(100),
    province VARCHAR(50),
    city VARCHAR(50),
    district VARCHAR(50),
    address VARCHAR(200),
    shop_area DECIMAL(10,2),
    shop_type VARCHAR(20),
    open_date DATE,
    close_date DATE,
    region_manager VARCHAR(50),
    opening_hours VARCHAR(50),
    table_count INT,
    status INT,
    create_time DATETIME,
    update_time DATETIME
) ENGINE=OLAP
UNIQUE KEY (shop_id)
DISTRIBUTED BY HASH (shop_id) BUCKETS 32
PROPERTIES (
    "replication_allocation" = "tag_location:default: 3"
);

菜品维度表 (dim_menu)

sql 复制代码

CREATE TABLE dim_menu (
    menu_id INT,
    menu_code VARCHAR(50),
    menu_name VARCHAR(100),
    category VARCHAR(50),
    subcategory VARCHAR(50),
    supplier_id INT,
    unit_price DECIMAL(10,2),
    cost_price DECIMAL(10,2),
    is_hot INT,
    is_spicy INT,
    is_vegetarian INT,
    shelf_life INT,
    create_time DATETIME,
    update_time DATETIME
) ENGINE=OLAP
UNIQUE KEY (menu_id)
DISTRIBUTED BY HASH (menu_id) BUCKETS 32
PROPERTIES (
    "replication_allocation" = "tag_location:default: 3"
);

客户维度表 (dim_customer)

sql 复制代码

CREATE TABLE dim_customer (
    customer_id BIGINT,
    customer_code VARCHAR(50),
    customer_name VARCHAR(100),
    phone VARCHAR(20),
    gender INT,
    birth_date DATE,
    join_date DATE,
    member_level VARCHAR(20),
    total_consumption DECIMAL(15,2),
    visit_count INT,
    last_visit_date DATE,
    status INT,
    create_time DATETIME,
    update_time DATETIME
) ENGINE=OLAP
UNIQUE KEY (customer_id)
DISTRIBUTED BY HASH (customer_id) BUCKETS 64
PROPERTIES (
    "replication_allocation" = "tag_location:default: 3"
);

日期维度表 (dim_date)

sql 复制代码

CREATE TABLE dim_date (
    date_id INT,
    date_value DATE,
    year INT,
    month INT,
    day INT,
    week INT,
    day_of_week INT,
    day_name VARCHAR(20),
    is_weekend INT,
    quarter INT,
    year_month VARCHAR(10),
    year_week VARCHAR(10),
    is_holiday INT
) ENGINE=OLAP
UNIQUE KEY (date_id)
DISTRIBUTED BY HASH (date_id) BUCKETS 8
PROPERTIES (
    "replication_allocation" = "tag_location:default: 3"
);

事实表设计:

销售事实表 (fact_sale) - 粒度：订单行

sql 复制代码

CREATE TABLE fact_sale (
    sale_id BIGINT,
    order_id BIGINT,
    shop_id INT,
    customer_id BIGINT,
    menu_id INT,
    employee_id INT,
    order_date DATE,
    order_time TIME,
    date_id INT,
    time_id INT,
    quantity INT,
    unit_price DECIMAL(10,2),
    discount_amount DECIMAL(10,2),
    actual_amount DECIMAL(10,2),
    order_channel VARCHAR(20),
    table_number VARCHAR(20),
    payment_method VARCHAR(20),
    order_status VARCHAR(20),
    is_refund INT,
    refund_reason VARCHAR(100),
    create_time DATETIME,
    update_time DATETIME
) ENGINE=OLAP
AGGREGATE KEY (sale_id, order_id, shop_id, customer_id, menu_id, 
               employee_id, order_date, order_time, date_id, time_id,
               order_channel, table_number, payment_method, order_status,
               is_refund, refund_reason, create_time, update_time)
SUM (quantity, discount_amount, actual_amount)
DISTRIBUTED BY HASH (order_date, shop_id) BUCKETS 256
PROPERTIES (
    "replication_allocation" = "tag_location:default: 3",
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY",
    "dynamic_partition.time_format" = "%Y%m%d",
    "dynamic_partition.start" = "-30",
    "dynamic_partition.buckets" = "256"
);

库存事实表 (fact_inventory)

sql 复制代码

CREATE TABLE fact_inventory (
    inventory_id BIGINT,
    shop_id INT,
    menu_id INT,
    date_id INT,
    opening_quantity INT,
    purchase_quantity INT,
    sale_quantity INT,
    waste_quantity INT,
    closing_quantity INT,
    unit_cost DECIMAL(10,2),
    total_cost DECIMAL(15,2),
    is_accurate INT,
    create_time DATETIME,
    update_time DATETIME
) ENGINE=OLAP
AGGREGATE KEY (inventory_id, shop_id, menu_id, date_id,
               is_accurate, create_time, update_time)
SUM (opening_quantity, purchase_quantity, sale_quantity, 
     waste_quantity, closing_quantity, total_cost)
DISTRIBUTED BY HASH (date_id, shop_id) BUCKETS 128
PROPERTIES (
    "replication_allocation" = "tag_location:default: 3",
    "dynamic_partition.enable" = "true",
    "dynamic_partition.time_unit" = "DAY"
);

4.2 数据分层架构

scss 复制代码

┌──────────────────────────────────────────────────────┐
│ 数据应用层 (ADS) - 对接报表和BI分析                   │
├──────────────────────────────────────────────────────┤
│ • dws_shop_daily    (门店日汇总)                      │
│ • dws_menu_daily    (菜品日汇总)                      │
│ • dws_customer_daily (客户日汇总)                     │
│ • ads_kpi_hourly    (KPI小时指标)                     │
│ • ads_shop_ranking  (门店排行)                        │
└──────────────────────────────────────────────────────┘
                        ↑
┌──────────────────────────────────────────────────────┐
│ 数据仓库层 (DWS) - 汇总层，用于多维分析               │
├──────────────────────────────────────────────────────┤
│ • dws_shop_daily_detail  (门店日明细汇总)            │
│ • dws_menu_daily_detail  (菜品日明细汇总)            │
│ • dws_customer_daily_detail (客户日明细汇总)          │
│ • dws_supplier_daily (供应商日汇总)                  │
└──────────────────────────────────────────────────────┘
                        ↑
┌──────────────────────────────────────────────────────┐
│ 细节数据层 (DWD) - 明细层，存储规范化的事实数据        │
├──────────────────────────────────────────────────────┤
│ • dwd_fact_sale     (销售明细)                       │
│ • dwd_fact_inventory (库存变动)                      │
│ • dwd_fact_labor    (人力资源)                       │
│ • dwd_fact_supplier (采购交易)                       │
└──────────────────────────────────────────────────────┘
                        ↑
┌──────────────────────────────────────────────────────┐
│ 源系统接口层 (ODS) - 原始数据存储                     │
├──────────────────────────────────────────────────────┤
│ • ods_pos_sale      (POS销售)                       │
│ • ods_inventory     (库存)                          │
│ • ods_hrm           (人力)                          │
│ • ods_supplier      (供应链)                        │
└──────────────────────────────────────────────────────┘
                        ↑
┌──────────────────────────────────────────────────────┐
│ 业务系统源 (Source)                                  │
├──────────────────────────────────────────────────────┤
│ • POS系统数据库                                      │
│ • ERP系统数据库                                      │
│ • CRM系统数据库                                      │
│ • 外卖平台API                                       │
└──────────────────────────────────────────────────────┘

4.3 关键设计决策

分区策略: 按日期动态分区，保留30天热数据
副本策略: 生产环境3副本，开发环境1副本
压缩算法: 采用LZ4压缩，平衡性能和空间
索引策略 :
- 事实表：复合索引(date_id, shop_id)
- 维度表：主键索引
- 高频查询列：Bitmap索引(会员等级、性别等)

业务时序图与流程

5.1 日常销售数据流时序图

css 复制代码

时间轴  门店POS → 数据采集 → Doris → 数据处理 → 报表展示
        └─────────────────────────────────────────────┘

┌─────────────────────────────────────────────────────┐
│ 08:00 - 门店开门                                    │
│         ↓                                            │
│ 08:00-11:30 早餐服务 → POS实时生成销售单据          │
│         ↓                                            │
│ 11:30 Kafka消息队列实时收集销售数据                │
│         ↓                                            │
│ 12:00 数据写入Doris(秒级延迟)                       │
│         ↓                                            │
│ 12:01 查询服务可实时查看上午销售数据                │
│         ↓                                            │
│ 12:30-14:30 午餐服务 → 继续实时采集                │
│         ↓                                            │
│ 17:00 店长查看午市看板，实时掌握销售进度            │
│         ↓                                            │
│ 17:00-21:00 晚餐服务 → 继续实时采集                │
│         ↓                                            │
│ 22:00 门店结账 → 整日数据完整写入Doris             │
│         ↓                                            │
│ 22:30 系统自动生成日报，推送给区域经理              │
│         ↓                                            │
│ 次日08:00 管理驾驶舱展示昨日全公司数据              │
└─────────────────────────────────────────────────────┘

5.2 周期性数据处理流程

yaml 复制代码

┌─────────────────────────────────────────┐
│ 每日0点 - 日结处理                      │
├─────────────────────────────────────────┤
│ Step1: 验证前一天数据完整性             │
│ Step2: 计算日汇总表(dws_shop_daily)    │
│ Step3: 计算KPI指标                      │
│ Step4: 触发告警规则检查                  │
│ Step5: 生成日报推送                     │
└─────────────────────────────────────────┘
        ↓
┌─────────────────────────────────────────┐
│ 每周一0点 - 周汇总处理                  │
├─────────────────────────────────────────┤
│ Step1: 聚合周数据                       │
│ Step2: 与上周对比分析                    │
│ Step3: 生成周报                         │
│ Step4: 异常预警                         │
└─────────────────────────────────────────┘
        ↓
┌─────────────────────────────────────────┐
│ 每月1日0点 - 月汇总处理                 │
├─────────────────────────────────────────┤
│ Step1: 财务数据对账                     │
│ Step2: 成本分析                         │
│ Step3: 月度经营分析报告                 │
│ Step4: 预算达成率评估                   │
└─────────────────────────────────────────┘

5.3 数据质量保障流程

scss 复制代码

┌──────────────────────────────────────────────┐
│ 实时数据质量检查 (流式处理)                  │
├──────────────────────────────────────────────┤
│                                              │
│ 1. 字段完整性检查 → 缺少必填字段标记       │
│ 2. 数据类型验证   → 类型不匹配隔离         │
│ 3. 业务规则验证   → 销售额不能为负         │
│ 4. 异常值检测     → 超出范围预警           │
│                                              │
│ ↓ (质量检查通过) ↓ (质量检查失败)          │
│ │                                │          │
│ ↓                                ↓          │
│ 写入Doris                   隔离表/人工审核 │
│                                              │
└──────────────────────────────────────────────┘
        ↓
┌──────────────────────────────────────────────┐
│ 离线数据质量检查 (T+1日)                     │
├──────────────────────────────────────────────┤
│                                              │
│ 1. 数据重复率检查   → 识别重复订单         │
│ 2. 数据缺失率检查   → 统计缺失比例         │
│ 3. 数据一致性检查   → 跨系统对账           │
│ 4. 关键指标对账     → 与财务数据对账       │
│                                              │
│ ↓ (检查通过)                                 │
│ │                                            │
│ ↓                                            │
│ 标记数据为可信任，发送告知相关方            │
│                                              │
│ ↓ (检查失败)                                 │
│ │                                            │
│ ↓                                            │
│ 启动告警机制，通知数据团队                  │
│                                              │
└──────────────────────────────────────────────┘

核心评价指标体系

6.1 系统服务指标 (SLA)

指标	目标值	监控周期	责任部门
系统可用性	≥99.5%	月	运维
数据延迟	<5分钟	实时	运维
查询响应时间	P95<5s	实时	运维
数据准确率	≥99.9%	日	数据
告警准确率	≥95%	周	数据

6.2 业务价值指标

维度	指标	基线值	目标值	时间周期
门店人效	人均日销售额	¥3000	¥3500	6个月
门店坪效	单位面积日销售额	¥500/㎡	¥600/㎡	6个月
食材成本	食材成本率	35%	33%	6个月
翻台效率	日翻台率	5次	6次	3个月
客户复购	会员复购率	45%	55%	3个月
经营决策	数据驱动决策占比	30%	80%	12个月

6.3 技术采用指标

指标	目标	度量方式
用户覆盖率	200家门店100%覆盖	门店数/总门店数
报表使用率	日均50+场景	日活跃场景数
数据质量投诉率	<2%	投诉数/总查询数
平台采用速度	6个月达到80%	月均新增功能采用率

开发落地方案

7.1 分阶段实施路线图

第一阶段：基础设施建设（M1-M2，约8周）

目标: 完成Doris集群部署和基础数据集成

交付物:

✅ Doris集群部署（3节点BE + 1节点FE）
✅ ODS层建设（POS销售数据）
✅ 基础维度表建设
✅ 数据管道搭建（POS→Kafka→Doris）
✅ 监控告警系统

具体任务清单:

基础设施准备 (Week1)
- 服务器采购和网络配置
- Doris 3节点集群部署
- MySQL元数据库部署
- Kafka消息队列部署
数据集成开发 (Week2-4)
- 设计ODS表结构（销售、库存、人力等）
- 开发POS数据实时采集（Kafka+Flink）
- 开发库存数据增量同步（CDC）
- 数据质量检查脚本开发
数据仓库建设 (Week5-6)
- 创建维度表（店铺、菜品、客户、日期等）
- 创建事实表（销售、库存）
- 初始数据导入（历史数据3个月）
- 表索引和分区优化
监控运维系统 (Week7-8)
- 部署Prometheus+Grafana监控
- 设计告警规则（可用性、数据延迟等）
- 搭建应急响应流程
- 编写运维手册

第二阶段：核心应用系统（M3-M4，约8周）

目标: 完成DWS层建设，上线日报表和KPI看板

交付物:

✅ DWS汇总表（门店日、菜品日等）
✅ 门店实时看板
✅ 管理驾驶舱（日报）
✅ 自动化告警系统

具体任务清单:

DWS建设 (Week9-12)
- 设计dws_shop_daily（门店日汇总）
- 设计dws_menu_daily（菜品日汇总）
- 设计dws_customer_daily（客户日汇总）
- 编写ETL计算逻辑（Flink Streaming）
BI应用开发 (Week13-16)
- 门店实时看板（Superset/Grafana）
- 管理驾驶舱（Tableau）
- 财务成本分析报表
- 供应链效率报表
- API服务接口开发（门店查询）
告警系统 (Week17-20)
- 设计告警规则（异常销售、成本超支等）
- 开发告警引擎
- 对接钉钉/企业微信推送
- 设置值班和升级机制

第三阶段：高级分析功能（M5-M6，约8周）

目标: 实现数据驱动决策支持，完成高级分析功能

交付物:

✅ 客户分析平台（会员、流量等）
✅ 供应链优化分析
✅ 人力资源分析
✅ 预测模型（销售预测、库存预测）

具体任务清单:

客户分析 (Week21-24)
- 会员RFM分析
- 流量来源分析
- 营销效果评估
- 个性化推荐模型
供应链优化 (Week25-28)
- 库存优化分析
- 采购成本分析
- 配送效率分析
- 供应商评价体系
预测模型 (Week29-32)
- 日销售预测模型
- 库存需求预测
- 外卖订单预测
- 人力需求预测

第四阶段：规模化和优化（M7-M12）

目标: 从200店扩展到1000店，优化成本和性能

交付物:

✅ 支持1000店的可扩展架构
✅ 成本优化（压缩率>50%）
✅ 性能优化（查询P99<10s）
✅ 完整的数据治理体系

7.2 开发资源和组织

scss 复制代码

数据平台部
├── 数据基础设施团队 (2人)
│   ├── Doris集群运维 + 备份恢复
│   ├── ETL数据管道管理
│   └── 监控告警维护
├── 数据开发团队 (3人)
│   ├── ODS/DWD/DWS表开发
│   ├── ETL脚本编写
│   └── 数据质量检查
├── 数据分析师 (2人)
│   ├── BI报表开发
│   ├── 业务分析和建模
│   └── 数据可视化
└── 数据产品经理 (1人)
    ├── 需求分析和优先级管理
    ├── 用户研究和反馈收集
    └── 产品化方案设计

7.3 关键技术方案

7.3.1 实时数据采集方案

scss 复制代码

POS系统 ──(API轮询/Webhook)──> Kafka ──(Flink Streaming)──> Doris
   │                              │
   │                              └─> Checkpoint(HDFS/S3)
   │
   └─> 备用消息队列(RabbitMQ/Redis)

关键设计:
• 采集延迟: <30秒
• 数据可靠性: At-least-once + 幂等性处理
• 扩展性: 支持200+POS同时接入

7.3.2 ETL处理架构

Flink Streaming任务设计:

scss 复制代码

Kafka Source
    ↓
[数据清洗与验证]
    ├─ 字段映射
    ├─ 数据类型转换
    ├─ 缺失值填充
    └─ 异常值隔离
    ↓
[业务逻辑计算]
    ├─ 折扣金额计算
    ├─ 实际金额计算
    ├─ 增值税计算
    └─ 成本计算
    ↓
[维度关联]
    ├─ 店铺信息关联
    ├─ 菜品信息关联
    ├─ 员工信息关联
    └─ 客户信息关联
    ↓
[质量检查]
    ├─ 完整性检查
    ├─ 一致性检查
    └─ 规则检查
    ↓
[双写处理]
    ├─ 写入Doris
    └─ 写入消息队列(重试队列)

故障处理:
• 失败重试: 3次重试，指数退避
• 死信队列: 彻底失败数据进入死信队列，人工审核
• 实时告警: 失败率>5%立即告警

7.3.3 数据一致性保证

makefile 复制代码

数据源(POS) → 采集层 → 消息队列 → 计算引擎 → Doris → 消费端

一致性保证策略:
├─ 源端: 幂等消息(携带唯一ID)
├─ 采集端: 去重处理 + 本地缓存
├─ 消息队列: 持久化存储 + Exactly-Once语义
├─ 计算端: 两阶段提交 + CDC对账
└─ 存储端: 事务支持 + 定期对账

对账机制:
• 每小时对账一次
• 比较源系统和Doris的订单总数/总额
• 差异>0.1%立即告警并启动修复

7.3.4 数据质量保障

r 复制代码

DQ Framework设计:

┌────────────────────────────────────────┐
│ 数据质量规则引擎                        │
├────────────────────────────────────────┤
│                                        │
│ 规则类型:                              │
│ ├─ 完整性规则 (Not Null)               │
│ ├─ 一致性规则 (外键关联)                │
│ ├─ 准确性规则 (正数、范围)              │
│ ├─ 唯一性规则 (主键)                    │
│ ├─ 及时性规则 (时间差<30min)           │
│ └─ 有效性规则 (业务逻辑)                │
│                                        │
│ 规则配置示例:                          │
│ • fact_sale.actual_amount >= 0        │
│ • fact_sale.customer_id in dim_customer│
│ • dwd_fact_sale.create_time < now()   │
│                                        │
└────────────────────────────────────────┘

DQ检查流程:

实时检查 (流式)        │ 离线检查 (T+1)
──────────────       │ ──────────────
• 拒绝检查: <1s      │ • 完整检查: 逐行验证
• 支持度检查         │ • 统计检查: 分布分析
• 简单规则           │ • 复杂规则检查
      ↓             │      ↓
  写入Doris         │ 数据审计报告
  或隔离表          │      ↓
                    │ 生成整改清单

7.3.5 性能优化策略

markdown 复制代码

优化维度        │ 优化方案                  │ 预期效果
──────────────┼────────────────────────────┼─────────
查询性能        │ • Bitmap索引               │ 10倍查询速度提升
                │ • 物化视图                 │
                │ • 列式存储压缩              │
存储成本        │ • 数据压缩(LZ4/ZSTD)      │ 压缩率>50%
                │ • 热冷分离                 │
                │ • 分区剪裁                 │
并发能力        │ • 分布式查询优化           │ 支持1000+QPS
                │ • 连接池优化                │
                │ • 缓存策略                 │
导入速度        │ • Broker Load              │ 10GB/小时
                │ • 并行导入                 │
                │ • 优化批处理大小           │

7.4 数据标准化和治理

7.4.1 数据标准体系

sql 复制代码

┌──────────────────────────────────────────────┐
│ 数据标准                                      │
├──────────────────────────────────────────────┤
│                                              │
│ 1. 命名规范                                  │
│    表: {类型}_{业务域}_{主题}_{粒度}        │
│    例: dwd_sale_order_daily                  │
│    字段: 名词_动词/形容词                     │
│    例: sales_amount, is_deleted              │
│                                              │
│ 2. 数据类型规范                              │
│    • 金额字段: DECIMAL(15,2)                │
│    • 日期字段: DATE/DATETIME                │
│    • 标志字段: INT(0/1)或VARCHAR            │
│    • 批次字段: VARCHAR(8)格式yyyyMMdd      │
│                                              │
│ 3. 业务逻辑规范                              │
│    • 查询口径统一                            │
│    • 计算逻辑版本化                          │
│    • 文档需求齐全                            │
│                                              │
│ 4. 指标定义规范                              │
│    • 原始指标: 基于事实表的聚合              │
│    • 衍生指标: 基于原始指标的计算             │
│    • 维度指标: 按维度划分的指标               │
│                                              │
└──────────────────────────────────────────────┘

7.4.2 元数据管理

makefile 复制代码

MetaData维护体系:

表级元数据:
├─ 表名、表描述
├─ 所有者、创建时间
├─ 数据延迟、数据量
├─ 更新频率、SLA
└─ 依赖关系图

字段级元数据:
├─ 字段名、数据类型
├─ 业务含义、计算方式
├─ 取值范围、样本值
└─ 数据质量规则

工具选择:
└─ Apache Atlas / 开源方案

7.4.3 数据权限管理

makefile 复制代码

权限模型 (RBAC):

角色定义:
├─ Admin: 全部权限
├─ 数据分析师: 查询所有表(敏感信息脱敏)
├─ 业务经理: 查询本部门相关表
├─ 门店长: 查询本店数据
└─ 系统集成: API调用权限

细粒度权限控制:
├─ 表级: 允许/拒绝特定表访问
├─ 行级: 按shop_id/department_id过滤
├─ 列级: 隐藏敏感列(薪资、成本等)
└─ 接口级: API端点访问控制

集成方案:
├─ Ranger权限管理
├─ 数据库原生权限 (MySQL GRANT)
└─ 应用层权限检查

7.5 备份以及恢复

yaml 复制代码

Quarter 1-2: 基础建设稳定性
├─ 自动化备份与恢复
├─ 灾难恢复演练
├─ 性能基准测试
└─ 运维工具链完善

Quarter 3-4: 扩展性优化
├─ 从200店支持到1000店
├─ 查询性能P99优化
├─ 存储成本压缩
└─ ETL效率优化

Year 2: 高级功能
├─ 机器学习模型集成
├─ 实时特征库
├─ 自助BI平台
└─ 数据市场化

风险管理与优化策略

8.1 主要风险识别与应对

风险类别	具体风险	概率	影响	应对措施
技术风险	Doris集群故障导致服务中断	中	高	3副本+定期演练
	数据不一致导致报表错误	中	高	完整的DQ体系+对账
	POS采集延迟过高	低	中	Kafka缓冲+性能监控
业务风险	需求频繁变化导致开发延期	高	中	敏捷迭代+需求评审
	数据标准不统一	中	中	强制执行规范+自动检查
运维风险	缺乏专业运维人员	中	高	重点培训+文档完善
	灾难恢复能力不足	低	高	定期演练+自动化脚本
安全风险	数据泄露(客户隐私)	低	极高	权限控制+审计日志+加密
	未授权访问	低	高	Ranger权限+2FA

8.2 性能优化路线图

erlang 复制代码

基准性能指标 (M2末):
├─ 查询P95: 5-10秒
├─ 日数据导入: <2小时
├─ 系统可用性: 99.0%
└─ 数据延迟: <5分钟

优化目标 (M6末):
├─ 查询P95: <3秒 ↓50%
├─ 日数据导入: <30分钟 ↓75%
├─ 系统可用性: 99.5% ↑0.5pp
└─ 数据延迟: <1分钟 ↓80%

优化目标 (Year2):
├─ 查询P99: <5秒 (支持并发提升3倍)
├─ 存储成本: ¥0.5/GB/月 (压缩率>50%)
├─ 系统可用性: 99.9%
└─ 支撑1000店规模

附录

A. 部署检查清单

makefile 复制代码

基础设施检查:
☐ 网络连通性测试
☐ 硬件配置验证
☐ 存储空间预估
☐ 备份存储配置

Doris部署检查:
☐ FE节点部署完成
☐ BE节点部署完成
☐ ZooKeeper配置
☐ 表创建和分区验证

数据管道检查:
☐ 数据源连接测试
☐ Kafka Topic创建
☐ Flink任务部署
☐ 数据流测试

监控系统检查:
☐ Prometheus采集配置
☐ Grafana仪表板
☐ 告警规则配置
☐ 通知渠道验证

文档完善:
☐ 系统架构文档
☐ 运维手册
☐ 故障处理指南
☐ 数据字典

B. 常见问题解决方案

Q: 如何处理POS系统宕机导致的数据丢失?

实现POS端的本地缓存(SQLite)，数据堆积
POS恢复后自动重传缓存数据
Kafka做双写，支持数据回溯
定期从POS系统主库全量同步对账

Q: 如何支持200店→1000店的扩展?

Doris水平扩展：增加BE节点
分区策略调整：按日期+店铺二级分区
ETL并行度提升：Flink并行度 32→128
存储优化：启用冷热分离，热数据保留7天，冷数据压缩存储

Q: 如何保证数据安全和隐私?

客户身份信息敏感列加密存储
应用层查询脱敏(如显示**98的电话号)
权限控制：店长只能查看本店数据
审计日志：所有查询都有记录，每月审查

餐饮供应链的数仓设计思考 （一） 系统设计大纲

餐饮连锁企业数据平台系统实现大纲

目录

业务需求分析

1.1 企业背景与现状

1.2 核心需求

1.3 价值体现

核心业务场景与数据指标

2.1 餐饮行业核心业务模型

2.2 核心业务数据流

2.3 关键业务指标

2.3.1 门店运营指标

2.3.2 财务成本指标

2.3.3 供应链指标

2.3.4 客户与营销指标

系统架构设计

3.1 整体系统架构

3.2 Doris技术方案选型

3.3 技术栈设计

Doris数据仓库设计

4.1 数据模型设计

4.1.1 星型模型架构

4.1.2 核心表设计

4.2 数据分层架构

4.3 关键设计决策

业务时序图与流程

5.1 日常销售数据流时序图

5.2 周期性数据处理流程

5.3 数据质量保障流程

核心评价指标体系

6.1 系统服务指标 (SLA)

6.2 业务价值指标

6.3 技术采用指标

开发落地方案

7.1 分阶段实施路线图

第一阶段：基础设施建设（M1-M2，约8周）

第二阶段：核心应用系统（M3-M4，约8周）

第三阶段：高级分析功能（M5-M6，约8周）

第四阶段：规模化和优化（M7-M12）

7.2 开发资源和组织

7.3 关键技术方案

7.3.1 实时数据采集方案

7.3.2 ETL处理架构

7.3.3 数据一致性保证

7.3.4 数据质量保障

7.3.5 性能优化策略

7.4 数据标准化和治理

7.4.1 数据标准体系

7.4.2 元数据管理

7.4.3 数据权限管理

7.5 备份以及恢复

风险管理与优化策略

8.1 主要风险识别与应对

8.2 性能优化路线图

附录

A. 部署检查清单

B. 常见问题解决方案

餐饮供应链的数仓设计思考（一）系统设计大纲