摘要
订单、访问量、收入和设备指标通常都带有时间字段。仅查看原始明细,很难判断业务是在增长、下降,还是只是因为某一天出现了偶然波动。时间序列分析可以把明细数据按照日、周、月重新组织,再结合移动平均、环比和同比等指标观察趋势。
本文使用 pandas 处理日期字段、构造时间索引,并通过 resample 按日、周、月进行统计。文章还会说明空档日期、重复时间戳、时区、边界标签、缺失值和时间粒度选择等问题,最后通过订单数据构建一套可复用的趋势统计流程。
一、背景与问题
1. 原始明细不适合直接观察趋势
订单表通常类似下面的结构:
bash
order_id event_time channel revenue
1001 2026-01-01 09:10:00 线上 120
1002 2026-01-01 15:20:00 门店 90
1003 2026-01-02 10:05:00 线上 150
明细数据保留了每一笔业务,但趋势分析往往需要回答:
- 每天有多少订单?
- 每周销售额如何变化?
- 哪个月的收入最高?
- 当前周期相比上一个周期增长了多少?
- 某一天没有数据,是业务为零,还是数据没有采集?
这些问题都需要把时间字段转换成可比较的统计周期。
2. 时间序列分析的关键不是画图,而是定义周期
同一批数据,按天统计可能呈现明显波动,按周统计可能比较平稳,按月统计则更适合观察长期趋势。周期选择会影响结论:
| 粒度 | 常见用途 |
|---|---|
| 小时、分钟 | 实时监控、系统性能、流量峰值 |
| 日 | 日常经营、订单量、活跃用户 |
| 周 | 周期性活动、周环比、排班和运营 |
| 月 | 月度经营、预算、财务和长期趋势 |
因此,统计前要先确认数据的时间范围、业务时区、周期边界和指标口径。
二、核心概念
1. 时间戳、日期和周期
时间戳表示一个具体时刻,例如 2026-01-01 09:10:00;日期通常只保留年月日;周期则表示一个时间区间,例如"2026 年 1 月"或"2026 年第 1 周"。
在 pandas 中,常见对象包括:
| 对象 | 说明 |
|---|---|
Timestamp |
单个时间点 |
DatetimeIndex |
一组时间点组成的索引 |
Period |
一个时间周期,例如月或季度 |
Timedelta |
时间间隔 |
2. 降采样与升采样
把分钟数据汇总到小时、把日数据汇总到月,属于降采样:
bash
分钟明细 ──聚合──→ 小时统计 ──聚合──→ 日统计
把月度数据转换成日频率,属于升采样。升采样会产生原始数据没有直接观测的时间点,不能简单地把缺失值当成真实业务值。
3. resample
resample 是 pandas 中按时间频率重新分组的接口。它要求 DataFrame 拥有日期时间索引,或者通过 on 参数指定一个日期时间列。
常见频率包括:
| 频率 | 含义 |
|---|---|
D |
日 |
W-SUN |
以星期日作为周期结束的周 |
ME |
月末 |
h |
小时 |
min |
分钟 |
月度频率使用 ME 表示月末标签。不同 pandas 版本对旧频率别名的兼容策略可能变化,项目中应以当前版本文档为准。
4. 统计周期的标签和边界
一个周期至少有两个问题:
- 哪一天属于这个周期?
- 结果索引显示周期的开始还是结束?
例如,W-SUN 可以把周日作为周边界;label="right" 可以用周期右边界标记结果。标签只是结果索引的表示方式,不一定代表该标签时刻的数据被单独计算。
5. 环比、同比和移动平均
常见趋势指标如下:
bash
环比 = 当前周期值 / 上一个周期值 - 1
同比 = 当前周期值 / 去年同期值 - 1
移动平均 = 最近 N 个周期值的平均
环比适合观察短期变化,同比适合消除季节性影响,移动平均则用于平滑单日或单周波动。
三、工作原理
1. 从日期列到时间索引
原始文件中的时间字段可能是字符串。应该先使用 pd.to_datetime 转换,并检查无法解析的值:
bash
字符串时间
↓ to_datetime
Datetime64[ns] 或带时区的时间类型
↓ sort_values
按时间排序的明细
↓ set_index
DatetimeIndex
只有时间类型正确、排序规则明确,后续的重采样和窗口计算才有可靠基础。
2. resample 本质上是时间分组
resample("D") 可以理解为按照每一天建立分组,然后对每个分组执行 sum、count、mean 或自定义聚合:
bash
2026-01-01 的记录 ──聚合──→ 2026-01-01
2026-01-02 的记录 ──聚合──→ 2026-01-02
2026-01-03 的记录 ──聚合──→ 2026-01-03
当两个订单发生在同一天时,它们会落入同一个日分组;没有记录的日期是否出现在结果中,以及空分组显示什么值,需要结合聚合方式判断。
3. "没有记录"和"指标为零"
这两种情况不能混为一谈:
- 没有记录:可能是业务确实没有发生,也可能是采集失败;
- 指标为零:表示有观测记录,但指标值确实为零。
对于收入这类指标,空日期通常更适合保留为缺失值,经过确认后再决定是否填零。对于订单数,空日期填零往往更符合"当天没有订单"的统计语义,但也要确认采集链路正常。
4. 分组后的加总不能随意平均
如果按日得到日销售额,再计算月销售额,应该对日销售额求和;如果要计算平均订单金额,则应使用订单明细中的金额总和除以订单数量,不能直接平均每天的日均订单金额,除非各天订单量相同或已经按订单量加权。
四、实战示例
下面的示例使用 Python 3.10+ 和 pandas 2.2+,各代码块按顺序运行:
bash
python -m pip install "pandas>=2.1"
1. 准备订单明细
bash
import pandas as pd
orders = pd.DataFrame(
{
"order_id": [
"A001", "A002", "A003", "A004", "A005",
"A006", "A007", "A008", "A009", "A010",
],
"event_time": [
"2026-01-01 09:10:00",
"2026-01-01 15:20:00",
"2026-01-02 10:05:00",
"2026-01-04 11:30:00",
"2026-01-04 18:45:00",
"2026-01-05 09:00:00",
"2026-01-07 13:40:00",
"2026-01-08 16:10:00",
"2026-01-10 10:20:00",
"2026-01-10 20:15:00",
],
"channel": [
"线上", "门店", "线上", "线上", "门店",
"线上", "门店", "线上", "线上", "线上",
],
"revenue": [120, 90, 150, 180, 80, 210, 100, 160, 130, 170],
}
)
orders["event_time"] = pd.to_datetime(
orders["event_time"],
errors="raise",
)
orders = orders.sort_values("event_time")
assert orders["event_time"].notna().all()
assert orders["event_time"].is_monotonic_increasing
assert orders["order_id"].is_unique
print(orders.head())
本例约定一行是一笔订单,revenue 是订单金额,时间统一使用业务时区下的本地时间。真实项目中如果原始时间带有时区,应在转换后显式统一时区。
2. 设置时间索引并按日统计
bash
time_indexed = orders.set_index("event_time")
daily = (
time_indexed.resample("D")
.agg(
order_count=("order_id", "nunique"),
revenue=("revenue", lambda values: values.sum(min_count=1)),
average_order_value=("revenue", "mean"),
)
)
print(daily)
由于 2026-01-03、2026-01-06 和 2026-01-09 没有订单,它们仍可能出现在日频率结果中。order_count 对空分组通常为 0,而 revenue 使用 min_count=1 会保留缺失值,这样可以把"没有金额观测"和"金额为零"区分开。
3. 按周和按月统计
bash
weekly = (
time_indexed.resample("W-SUN")
.agg(
order_count=("order_id", "nunique"),
revenue=("revenue", lambda values: values.sum(min_count=1)),
)
)
monthly = (
time_indexed.resample("ME")
.agg(
order_count=("order_id", "nunique"),
revenue=("revenue", lambda values: values.sum(min_count=1)),
)
)
print("weekly")
print(weekly)
print("monthly")
print(monthly)
本例只有 2026 年 1 月的数据,因此月统计会得到一个月末标签 2026-01-31。周统计使用周日作为周期标签,跨周时不要直接把标签当作"发生日期"使用。
4. 从日统计计算环比和移动平均
bash
trend = daily.copy()
trend["revenue_for_rate"] = trend["revenue"].fillna(0)
trend["revenue_change"] = trend["revenue_for_rate"].diff()
trend["revenue_growth"] = (
trend["revenue_for_rate"]
.pct_change()
.replace([float("inf"), -float("inf")], pd.NA)
)
trend["revenue_ma_3"] = (
trend["revenue_for_rate"]
.rolling(window=3, min_periods=1)
.mean()
)
print(
trend[
[
"revenue",
"revenue_change",
"revenue_growth",
"revenue_ma_3",
]
]
)
这里把缺失收入填零后再计算趋势,只是为了演示"没有订单时按零收入处理"的一种业务口径。若前一个周期为零,增长率在数学上没有有限值,代码将无穷大转换为缺失,避免报表出现误导性的 inf。若缺失值表示采集失败,就不应该直接填零,而应先修复数据或保留缺失。
5. 计算周期累计值和同比基准
bash
monthly["cumulative_revenue"] = monthly["revenue"].fillna(0).cumsum()
# 真实项目中,last_year 应来自上一年度的原始统计结果。
# 这里准备一条上一年同期基准,只演示索引对齐和同比公式。
last_year = pd.DataFrame(
{"last_year_revenue": [980]},
index=pd.DatetimeIndex(["2026-01-31"]),
)
monthly_compare = monthly.join(
last_year,
how="left",
)
monthly_compare["year_over_year"] = (
monthly_compare["revenue"]
/ monthly_compare["last_year_revenue"]
- 1
)
print(monthly_compare)
这里的上一年同期基准是演示数据,实际应从上一年度统计表按相同的月份标签对齐。同比计算前要确认同期基准存在,不能把不存在的基准自动当成零,否则会产生没有业务意义的增长率。
6. 按渠道和月份统计
时间重采样可以和普通分组结合:
bash
channel_monthly = (
time_indexed
.groupby("channel")
.resample("ME")
.agg(
order_count=("order_id", "nunique"),
revenue=("revenue", "sum"),
)
.reset_index()
)
print(channel_monthly)
结果包含 channel 和月末标签,可以继续使用 pivot 生成报表:
bash
channel_monthly_report = (
channel_monthly
.pivot(
index="event_time",
columns="channel",
values="revenue",
)
.fillna(0)
)
channel_monthly_report.columns.name = None
print(channel_monthly_report)
如果数据存在渠道缺失值、跨时区时间或重复订单号,需要在分组前先明确清洗规则。
7. 封装时间趋势统计函数
bash
def summarize_by_frequency(frame, time_column, frequency):
required = {time_column, "order_id", "revenue"}
missing = required - set(frame.columns)
if missing:
raise ValueError(f"缺少字段:{sorted(missing)}")
data = frame.copy()
data[time_column] = pd.to_datetime(
data[time_column],
errors="raise",
)
if data[time_column].isna().any():
raise ValueError("时间字段存在无法解析的值")
if data["order_id"].duplicated().any():
raise ValueError("订单号必须唯一")
data = data.sort_values(time_column).set_index(time_column)
result = (
data.resample(frequency)
.agg(
order_count=("order_id", "nunique"),
revenue=("revenue", lambda values: values.sum(min_count=1)),
)
)
result["average_order_value"] = (
result["revenue"] / result["order_count"].replace(0, pd.NA)
)
return result
checked_monthly = summarize_by_frequency(
orders,
"event_time",
"ME",
)
assert checked_monthly["order_count"].sum() == len(orders)
assert checked_monthly["revenue"].sum() == orders["revenue"].sum()
将解析、排序、字段校验和聚合规则放在一个函数中,可以避免不同报表使用不同时间口径。
五、常见问题与实践建议
1. 时间字段没有转换成 datetime
字符串时间不能可靠地参与时间窗口计算。先用 pd.to_datetime 转换,再检查 NaT 数量和异常格式,不要依赖字符串排序。
2. 没有排序就进行窗口计算
rolling、shift 和 pct_change 都依赖时间顺序。数据应先按时间排序,并在必要时检查索引是否单调递增。
3. 把空档日全部当成零
空档日可能代表没有业务,也可能代表埋点、采集或同步失败。建议同时保留记录数、数据来源状态和业务指标,不要只看填零后的曲线。
4. 直接平均日均值
例如第一天 1 笔订单、第二天 100 笔订单,直接平均两天的平均订单金额会产生偏差。跨周期计算时,应回到明细或使用数量加权。
5. 周的定义不一致
"本周"可能从周一开始,也可能从周日开始;自然周、财务周和活动周也可能不同。使用 W-SUN、W-MON 或自定义偏移时,要在指标定义中写清楚。
6. 月末和月初标签混淆
ME 的结果标签位于月末。标签用于定位统计周期,不代表所有数据发生在月末。输出报表时,可以转换成 PeriodIndex 或单独增加 period 字段,减少误读。
7. 忽略重复记录
时间序列重采样不会自动判断订单是否重复。重复订单会被重复计数和重复求和,应该在进入趋势统计前按业务主键去重或拒绝不合格数据。
8. 忽略时区和夏令时
跨地区系统如果把 UTC 和本地时间混在一起,按日统计可能把同一事件分到错误日期。应统一存储时区,并在业务时区中完成日、周、月分桶。
9. 用插值制造业务事实
升采样后出现的空档点不是原始观测。插值适合连续测量值的某些场景,但不适合订单数、交易额这类离散业务事件。
六、进阶思考
1. 固定窗口与自然周期
"最近 7 天"是滚动窗口,"按周统计"通常是自然周。两者不一定相同:
bash
滚动 7 天:每天向前看 7 天
自然周:按照预先定义的周一到周日分桶
监控看板常用滚动窗口,经营报表常用自然周期,不能仅因为窗口长度相同就互相替代。
2. 避免数据泄漏
在预测或 异常检测 中,移动平均窗口不能使用未来数据。默认的 rolling 是向后看的窗口;如果使用居中窗口,可能把未来值带入当前特征。
3. 业务日不一定从午夜开始
夜间零售、物流和客服系统可能把凌晨 2 点作为一天的切分点。可以通过 origin、offset 或先调整时间戳实现自定义日界线,但应验证跨日和夏令时边界。
4. 时间粒度会影响异常判断
一天内的峰值在月统计中可能被平滑掉;月度异常也可能在日级别表现为多个小波动。诊断异常时,可以从月到周再到日逐级下钻。
5. 为统计结果增加数据质量字段
趋势表除了指标值,还可以增加:
- 原始记录数;
- 有效时间数;
- 去重后订单数;
- 缺失比例;
- 数据是否完整;
- 统计任务运行时间。
这样图表中的异常下降可以区分为业务变化和数据链路问题。
结论
时间序列分析的核心流程是:把时间字段转换为可靠的日期时间类型,统一时区和周期定义,按照日、周、月进行重采样,再结合环比、同比和移动平均观察变化。
resample 适合完成按时间频率的降采样,但不会替你判断空值、重复数据、周边界和业务日界线。只有把这些口径明确下来,统计结果才可以用于报表、监控和后续建模。下一步可以继续学习 Matplotlib,把趋势统计结果转换为清晰的时间序列图表。