019—pandas 计算实验仪器正常运行周期时长

需求:

对指定两个状态作为一个周期,并计算出周期内的差值,写到周期结束所在的行上。pandas 非常适合实现此类有着较为复杂逻辑的问题。

思路:

  • 这个问题的难点是状态的不规律性,如何才能准确找出所有 T 和 C 的周期。
  • 我们可以先将状态 T 和 C 筛选出来,然后剔除连续的 T 或者 C 中的无效的内容,最终形成一个规范的 T-C 列表。
  • 在规范的列表中求位差,最终保留 C 位置的值并增加 Delta 列。

使用步骤:

1.引入库

代码如下(示例):

python 复制代码
import pandas as pd

2.读入数据

代码如下(示例):

python 复制代码
df=pd.DataFrame(columns=['Status','t'])

df['Status']=['A','T', 'A','C','C','A','T','T','C','A']
df['t']= pd.to_datetime(['2021-06-12 08:39:24.813000',
'2021-06-12 08:39:24.820000',
'2021-06-12 08:39:25.210000',
'2021-06-12 08:39:25.217000',
'2021-06-12 08:44:28.830000',
'2021-06-12 10:48:10.293000',
'2021-06-12 10:48:10.300000',
'2021-06-12 10:48:10.680000',
'2021-06-12 10:48:10.693000',
'2021-06-12 10:48:11.223000'])

df
# 其中,状态列我们关注的是状态 T 和 C,T 表示机器触发开始运行,C 表示出现故障。需求期望增加 Delta 列来计算显示 T(触发)和 C(结束)状态之间的时间差,并将这个时间差显示在 C 对应的列上。
# 需要注意的是,状态 C 之后不经过 T 还可能出现状态 C,我们视 T 之后到第一个 C 之间为一个正常运行周期。
python 复制代码
#增加两个辅助列,是不当前行的当是 T 下行是 C,是否当前行是 C 上行是 T:
(
    df.loc[df.Status.isin(['T', 'C'])]
    .assign(nxt_C=lambda x: (x.Status == 'T') | (x.Status.shift() == 'C'))
    .assign(pre_T=lambda x: (x.Status == 'C') | (x.Status.shift(-1) == 'T'))
)
python 复制代码
#我们筛除两个辅助列分别为 True 之外的数据:
(
    df.loc[df.Status.isin(['T', 'C'])]
    .assign(nxt_C=lambda x: (x.Status == 'T') | (x.Status.shift() == 'C'))
    .assign(pre_T=lambda x: (x.Status == 'C') | (x.Status.shift(-1) == 'T'))
    .loc[lambda x: ~((x.nxt_C==True) & (x.pre_T==True))]
)
python 复制代码
#最后求时间列的位差:
temp = (
    df.loc[df.Status.isin(['T', 'C'])]
    .assign(nxt_C=lambda x: (x.Status == 'T') | (x.Status.shift() == 'C'))
    .assign(pre_T=lambda x: (x.Status == 'C') | (x.Status.shift(-1) == 'T'))
    .loc[lambda x: ~((x.nxt_C== True) & (x.pre_T==True))]
    .assign(Delta=lambda x: x.t - x.t.shift())
)
temp
# 这样就得到的数据状态 C 对应的 Delta 值就是我们要的数据。
python 复制代码
#接下来,将这些数据写入原 df,我们采用了迭代的方式:
for index, row in temp.query('Status=="C"').iterrows():
    df.loc[index, 'Delta'] = row.Delta
df

总结

以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而pandas提供了大量能使我们快速便捷地处理数据的函数和方法。

相关推荐
databook10 小时前
Pandas 与 Polars:语法、性能和资源占用方面的对比
python·数据分析·pandas
桑年14 小时前
四、Pandas数据处理
人工智能·python·线性代数·pandas·数据可视化·数据处理
第九序言T14 小时前
Python 数据处理进阶(二十四)把脚本变成工具:argparse、logging 与定时任务
python·自动化·pandas
第九序言T17 小时前
Python 数据处理进阶(二十二)用 Pandas 做一次完整的用户行为分析
开发语言·python·数据分析·pandas
第九序言T17 小时前
Python 数据处理进阶(二十一)相关性与分组对比:数据里藏着什么关系
大数据·人工智能·python·数据分析·pandas
第九序言T2 天前
Python 数据处理进阶(十八)批量处理同结构文件:一个文件夹一次跑完
开发语言·python·自动化·pandas·数据处理
quantdash_cc2 天前
如何验证历史行情的交易日期是否完整覆盖研究区间?
python·数据分析·pandas·量化交易·股票数据·quantdash
quantdash_cc3 天前
ETF 行情数据清洗实战:字段语义拆解、标的池整理与五个校验清单
python·数据分析·pandas·量化交易·股票数据·quantdash
benchmark_cc3 天前
用 Python 拉 A 股全市场实时快照:Notebook 请求、结果校验与易错点
python·数据分析·pandas·量化交易·股票数据·quantdash
2601_966949655 天前
Python 实战:如何统计五档盘口买卖盘总挂单量?附计算公式与代码
开发语言·python·数据分析·pandas·量化交易·股票数据·quantdash