时间序列分析:按日、周、月进行趋势统计

摘要

订单、访问量、收入和设备指标通常都带有时间字段。仅查看原始明细,很难判断业务是在增长、下降,还是只是因为某一天出现了偶然波动。时间序列分析可以把明细数据按照日、周、月重新组织,再结合移动平均、环比和同比等指标观察趋势。

本文使用 pandas 处理日期字段、构造时间索引,并通过 resample 按日、周、月进行统计。文章还会说明空档日期、重复时间戳、时区、边界标签、缺失值和时间粒度选择等问题,最后通过订单数据构建一套可复用的趋势统计流程。

一、背景与问题

1. 原始明细不适合直接观察趋势

订单表通常类似下面的结构:

bash 复制代码
order_id  event_time           channel  revenue
1001      2026-01-01 09:10:00  线上       120
1002      2026-01-01 15:20:00  门店        90
1003      2026-01-02 10:05:00  线上       150

明细数据保留了每一笔业务,但趋势分析往往需要回答:

  • 每天有多少订单?
  • 每周销售额如何变化?
  • 哪个月的收入最高?
  • 当前周期相比上一个周期增长了多少?
  • 某一天没有数据,是业务为零,还是数据没有采集?

这些问题都需要把时间字段转换成可比较的统计周期。

2. 时间序列分析的关键不是画图,而是定义周期

同一批数据,按天统计可能呈现明显波动,按周统计可能比较平稳,按月统计则更适合观察长期趋势。周期选择会影响结论:

粒度 常见用途
小时、分钟 实时监控、系统性能、流量峰值
日 日常经营、订单量、活跃用户
周 周期性活动、周环比、排班和运营
月 月度经营、预算、财务和长期趋势

因此,统计前要先确认数据的时间范围、业务时区、周期边界和指标口径。

二、核心概念

1. 时间戳、日期和周期

时间戳表示一个具体时刻,例如 2026-01-01 09:10:00;日期通常只保留年月日;周期则表示一个时间区间,例如"2026 年 1 月"或"2026 年第 1 周"。

在 pandas 中,常见对象包括:

对象 说明
Timestamp 单个时间点
DatetimeIndex 一组时间点组成的索引
Period 一个时间周期,例如月或季度
Timedelta 时间间隔

2. 降采样与升采样

把分钟数据汇总到小时、把日数据汇总到月,属于降采样:

bash 复制代码
分钟明细 ──聚合──→ 小时统计 ──聚合──→ 日统计

把月度数据转换成日频率,属于升采样。升采样会产生原始数据没有直接观测的时间点,不能简单地把缺失值当成真实业务值。

3. resample

resample 是 pandas 中按时间频率重新分组的接口。它要求 DataFrame 拥有日期时间索引,或者通过 on 参数指定一个日期时间列。

常见频率包括:

频率 含义
D 日
W-SUN 以星期日作为周期结束的周
ME 月末
h 小时
min 分钟

月度频率使用 ME 表示月末标签。不同 pandas 版本对旧频率别名的兼容策略可能变化,项目中应以当前版本文档为准。

4. 统计周期的标签和边界

一个周期至少有两个问题:

  • 哪一天属于这个周期?
  • 结果索引显示周期的开始还是结束?

例如,W-SUN 可以把周日作为周边界;label="right" 可以用周期右边界标记结果。标签只是结果索引的表示方式,不一定代表该标签时刻的数据被单独计算。

5. 环比、同比和移动平均

常见趋势指标如下:

bash 复制代码
环比 = 当前周期值 / 上一个周期值 - 1
同比 = 当前周期值 / 去年同期值 - 1
移动平均 = 最近 N 个周期值的平均

环比适合观察短期变化,同比适合消除季节性影响,移动平均则用于平滑单日或单周波动。

三、工作原理

1. 从日期列到时间索引

原始文件中的时间字段可能是字符串。应该先使用 pd.to_datetime 转换,并检查无法解析的值:

bash 复制代码
字符串时间
    ↓ to_datetime
Datetime64[ns] 或带时区的时间类型
    ↓ sort_values
按时间排序的明细
    ↓ set_index
DatetimeIndex

只有时间类型正确、排序规则明确,后续的重采样和窗口计算才有可靠基础。

2. resample 本质上是时间分组

resample("D") 可以理解为按照每一天建立分组,然后对每个分组执行 sum、count、mean 或自定义聚合:

bash 复制代码
2026-01-01 的记录 ──聚合──→ 2026-01-01
2026-01-02 的记录 ──聚合──→ 2026-01-02
2026-01-03 的记录 ──聚合──→ 2026-01-03

当两个订单发生在同一天时,它们会落入同一个日分组;没有记录的日期是否出现在结果中,以及空分组显示什么值,需要结合聚合方式判断。

3. "没有记录"和"指标为零"

这两种情况不能混为一谈:

  • 没有记录:可能是业务确实没有发生,也可能是采集失败;
  • 指标为零:表示有观测记录,但指标值确实为零。

对于收入这类指标,空日期通常更适合保留为缺失值,经过确认后再决定是否填零。对于订单数,空日期填零往往更符合"当天没有订单"的统计语义,但也要确认采集链路正常。

4. 分组后的加总不能随意平均

如果按日得到日销售额,再计算月销售额,应该对日销售额求和;如果要计算平均订单金额,则应使用订单明细中的金额总和除以订单数量,不能直接平均每天的日均订单金额,除非各天订单量相同或已经按订单量加权。

四、实战示例

下面的示例使用 Python 3.10+ 和 pandas 2.2+,各代码块按顺序运行:

bash 复制代码
python -m pip install "pandas>=2.1"

1. 准备订单明细

bash 复制代码
import pandas as pd

orders = pd.DataFrame(
    {
        "order_id": [
            "A001", "A002", "A003", "A004", "A005",
            "A006", "A007", "A008", "A009", "A010",
        ],
        "event_time": [
            "2026-01-01 09:10:00",
            "2026-01-01 15:20:00",
            "2026-01-02 10:05:00",
            "2026-01-04 11:30:00",
            "2026-01-04 18:45:00",
            "2026-01-05 09:00:00",
            "2026-01-07 13:40:00",
            "2026-01-08 16:10:00",
            "2026-01-10 10:20:00",
            "2026-01-10 20:15:00",
        ],
        "channel": [
            "线上", "门店", "线上", "线上", "门店",
            "线上", "门店", "线上", "线上", "线上",
        ],
        "revenue": [120, 90, 150, 180, 80, 210, 100, 160, 130, 170],
    }
)

orders["event_time"] = pd.to_datetime(
    orders["event_time"],
    errors="raise",
)
orders = orders.sort_values("event_time")

assert orders["event_time"].notna().all()
assert orders["event_time"].is_monotonic_increasing
assert orders["order_id"].is_unique
print(orders.head())

本例约定一行是一笔订单,revenue 是订单金额,时间统一使用业务时区下的本地时间。真实项目中如果原始时间带有时区,应在转换后显式统一时区。

2. 设置时间索引并按日统计

bash 复制代码
time_indexed = orders.set_index("event_time")

daily = (
    time_indexed.resample("D")
    .agg(
        order_count=("order_id", "nunique"),
        revenue=("revenue", lambda values: values.sum(min_count=1)),
        average_order_value=("revenue", "mean"),
    )
)

print(daily)

由于 2026-01-03、2026-01-06 和 2026-01-09 没有订单,它们仍可能出现在日频率结果中。order_count 对空分组通常为 0,而 revenue 使用 min_count=1 会保留缺失值,这样可以把"没有金额观测"和"金额为零"区分开。

3. 按周和按月统计

bash 复制代码
weekly = (
    time_indexed.resample("W-SUN")
    .agg(
        order_count=("order_id", "nunique"),
        revenue=("revenue", lambda values: values.sum(min_count=1)),
    )
)

monthly = (
    time_indexed.resample("ME")
    .agg(
        order_count=("order_id", "nunique"),
        revenue=("revenue", lambda values: values.sum(min_count=1)),
    )
)

print("weekly")
print(weekly)
print("monthly")
print(monthly)

本例只有 2026 年 1 月的数据,因此月统计会得到一个月末标签 2026-01-31。周统计使用周日作为周期标签,跨周时不要直接把标签当作"发生日期"使用。

4. 从日统计计算环比和移动平均

bash 复制代码
trend = daily.copy()
trend["revenue_for_rate"] = trend["revenue"].fillna(0)
trend["revenue_change"] = trend["revenue_for_rate"].diff()
trend["revenue_growth"] = (
    trend["revenue_for_rate"]
    .pct_change()
    .replace([float("inf"), -float("inf")], pd.NA)
)
trend["revenue_ma_3"] = (
    trend["revenue_for_rate"]
    .rolling(window=3, min_periods=1)
    .mean()
)

print(
    trend[
        [
            "revenue",
            "revenue_change",
            "revenue_growth",
            "revenue_ma_3",
        ]
    ]
)

这里把缺失收入填零后再计算趋势,只是为了演示"没有订单时按零收入处理"的一种业务口径。若前一个周期为零,增长率在数学上没有有限值,代码将无穷大转换为缺失,避免报表出现误导性的 inf。若缺失值表示采集失败,就不应该直接填零,而应先修复数据或保留缺失。

5. 计算周期累计值和同比基准

bash 复制代码
monthly["cumulative_revenue"] = monthly["revenue"].fillna(0).cumsum()

# 真实项目中,last_year 应来自上一年度的原始统计结果。
# 这里准备一条上一年同期基准,只演示索引对齐和同比公式。
last_year = pd.DataFrame(
    {"last_year_revenue": [980]},
    index=pd.DatetimeIndex(["2026-01-31"]),
)

monthly_compare = monthly.join(
    last_year,
    how="left",
)
monthly_compare["year_over_year"] = (
    monthly_compare["revenue"]
    / monthly_compare["last_year_revenue"]
    - 1
)

print(monthly_compare)

这里的上一年同期基准是演示数据,实际应从上一年度统计表按相同的月份标签对齐。同比计算前要确认同期基准存在,不能把不存在的基准自动当成零,否则会产生没有业务意义的增长率。

6. 按渠道和月份统计

时间重采样可以和普通分组结合:

bash 复制代码
channel_monthly = (
    time_indexed
    .groupby("channel")
    .resample("ME")
    .agg(
        order_count=("order_id", "nunique"),
        revenue=("revenue", "sum"),
    )
    .reset_index()
)

print(channel_monthly)

结果包含 channel 和月末标签,可以继续使用 pivot 生成报表:

bash 复制代码
channel_monthly_report = (
    channel_monthly
    .pivot(
        index="event_time",
        columns="channel",
        values="revenue",
    )
    .fillna(0)
)

channel_monthly_report.columns.name = None
print(channel_monthly_report)

如果数据存在渠道缺失值、跨时区时间或重复订单号,需要在分组前先明确清洗规则。

7. 封装时间趋势统计函数

bash 复制代码
def summarize_by_frequency(frame, time_column, frequency):
    required = {time_column, "order_id", "revenue"}
    missing = required - set(frame.columns)
    if missing:
        raise ValueError(f"缺少字段:{sorted(missing)}")

    data = frame.copy()
    data[time_column] = pd.to_datetime(
        data[time_column],
        errors="raise",
    )
    if data[time_column].isna().any():
        raise ValueError("时间字段存在无法解析的值")
    if data["order_id"].duplicated().any():
        raise ValueError("订单号必须唯一")

    data = data.sort_values(time_column).set_index(time_column)
    result = (
        data.resample(frequency)
        .agg(
            order_count=("order_id", "nunique"),
            revenue=("revenue", lambda values: values.sum(min_count=1)),
        )
    )
    result["average_order_value"] = (
        result["revenue"] / result["order_count"].replace(0, pd.NA)
    )
    return result


checked_monthly = summarize_by_frequency(
    orders,
    "event_time",
    "ME",
)
assert checked_monthly["order_count"].sum() == len(orders)
assert checked_monthly["revenue"].sum() == orders["revenue"].sum()

将解析、排序、字段校验和聚合规则放在一个函数中,可以避免不同报表使用不同时间口径。

五、常见问题与实践建议

1. 时间字段没有转换成 datetime

字符串时间不能可靠地参与时间窗口计算。先用 pd.to_datetime 转换,再检查 NaT 数量和异常格式,不要依赖字符串排序。

2. 没有排序就进行窗口计算

rolling、shift 和 pct_change 都依赖时间顺序。数据应先按时间排序,并在必要时检查索引是否单调递增。

3. 把空档日全部当成零

空档日可能代表没有业务,也可能代表埋点、采集或同步失败。建议同时保留记录数、数据来源状态和业务指标,不要只看填零后的曲线。

4. 直接平均日均值

例如第一天 1 笔订单、第二天 100 笔订单,直接平均两天的平均订单金额会产生偏差。跨周期计算时,应回到明细或使用数量加权。

5. 周的定义不一致

"本周"可能从周一开始,也可能从周日开始;自然周、财务周和活动周也可能不同。使用 W-SUN、W-MON 或自定义偏移时,要在指标定义中写清楚。

6. 月末和月初标签混淆

ME 的结果标签位于月末。标签用于定位统计周期,不代表所有数据发生在月末。输出报表时,可以转换成 PeriodIndex 或单独增加 period 字段,减少误读。

7. 忽略重复记录

时间序列重采样不会自动判断订单是否重复。重复订单会被重复计数和重复求和,应该在进入趋势统计前按业务主键去重或拒绝不合格数据。

8. 忽略时区和夏令时

跨地区系统如果把 UTC 和本地时间混在一起,按日统计可能把同一事件分到错误日期。应统一存储时区,并在业务时区中完成日、周、月分桶。

9. 用插值制造业务事实

升采样后出现的空档点不是原始观测。插值适合连续测量值的某些场景,但不适合订单数、交易额这类离散业务事件。

六、进阶思考

1. 固定窗口与自然周期

"最近 7 天"是滚动窗口,"按周统计"通常是自然周。两者不一定相同:

bash 复制代码
滚动 7 天:每天向前看 7 天
自然周:按照预先定义的周一到周日分桶

监控看板常用滚动窗口,经营报表常用自然周期,不能仅因为窗口长度相同就互相替代。

2. 避免数据泄漏

在预测或 异常检测 中,移动平均窗口不能使用未来数据。默认的 rolling 是向后看的窗口;如果使用居中窗口,可能把未来值带入当前特征。

3. 业务日不一定从午夜开始

夜间零售、物流和客服系统可能把凌晨 2 点作为一天的切分点。可以通过 origin、offset 或先调整时间戳实现自定义日界线,但应验证跨日和夏令时边界。

4. 时间粒度会影响异常判断

一天内的峰值在月统计中可能被平滑掉;月度异常也可能在日级别表现为多个小波动。诊断异常时,可以从月到周再到日逐级下钻。

5. 为统计结果增加数据质量字段

趋势表除了指标值,还可以增加:

  • 原始记录数;
  • 有效时间数;
  • 去重后订单数;
  • 缺失比例;
  • 数据是否完整;
  • 统计任务运行时间。

这样图表中的异常下降可以区分为业务变化和数据链路问题。

结论

时间序列分析的核心流程是:把时间字段转换为可靠的日期时间类型,统一时区和周期定义,按照日、周、月进行重采样,再结合环比、同比和移动平均观察变化。

resample 适合完成按时间频率的降采样,但不会替你判断空值、重复数据、周边界和业务日界线。只有把这些口径明确下来,统计结果才可以用于报表、监控和后续建模。下一步可以继续学习 Matplotlib,把趋势统计结果转换为清晰的时间序列图表。

参考资料

相关推荐
Databend2 小时前
OpenRaft 自定义 Membership,按部署拓扑选择 Quorum
大数据·数据库·数据分析
镰刀韭菜2 小时前
用 AI 做数据分析时,怎么保住自己的思考力
sql·数据分析·学习方法·提示工程·ai应用
倔强的石头_6 小时前
白嫖 1000 次额度,我把这个企业数据 API 的 6 个维度测了个遍
数据分析
Sharewinfo_BJ7 小时前
从“看数据”到“做决策”:AI时代,BI的下一个形态是什么?
ai·数据分析·bi·智信bi
躺柒10 小时前
读数据分析思维通识课09读后总结与感想兼导读
数据挖掘·数据分析·总结·数据思维
花漾TK10 小时前
TikTok达人索样管理:审批、跟踪与数据复盘怎么衔接?
数据分析·tiktok shop·达人营销
培培说证2 天前
大专商务数据分析与应用可以报考哪些职业证书?
人工智能·数据挖掘·数据分析
Aloudata2 天前
服饰零售数据治理如何统一款色码与库存口径,支撑门店售罄率和补货分析?
大数据·数据分析·零售
躺柒2 天前
读数据分析思维通识课07数据思维图
大数据·数据挖掘·数据分析·大数据分析·数据思维图