Pandas:从一个DataFrame中直接索引赋值到另一个索引位置出错的Bug及其解决方案

永康李2025-02-21 20:15

这里写自定义目录标题

动机

今天写代码，处理通量站数据的时候出错。代码逻辑没问题，但是就是得不到想要的结果，然后做个笔记。可能问题是我自己遇到的，在这里其他人也没经历，所以也看不懂。总体而言：Pandas:从一个DataFrame中直接索引赋值到另一个索引位置出错。必须使用一个中间变量去固定。虽然解决了问题，好像还是不知道为什么。我尝试过换python 版本（3.7 和 3.10），但是没用。

代码1，这个代码是有问题的

python 复制代码 
import pandas as pd
import numpy as np

# 假设 siteData_reindexed 是你的 DataFrame
# 这里是一个示例 DataFrame
# siteData_reindexed = pd.DataFrame({
#     'SW_IN': [np.nan, 1, 2, np.nan, 4, np.nan, 6, 7, 8, 9, 10, np.nan],
#     'LW_IN': [1, 2, np.nan, 4, np.nan, 6, 7, np.nan, 9, 10, np.nan, 12],
#     'WS': [5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]
# }, index=pd.date_range(start="2019-06-26 14:00:00", end="2020-11-17 10:00:00", freq='60min'))

# 计算每天的缺失值比例
rad_daily_miss_rate = siteData_reindexed[["SW_IN", "LW_IN"]].resample('D').apply(lambda x: x.isnull().mean())

# 创建一个新的 DataFrame 来存储填补后的数据
filled_data = siteData_reindexed.copy()

# 遍历每天的缺失值比例
for date, ratios in rad_daily_miss_rate.iterrows():
    print("##" * 30)
    sw_in_ratio = ratios['SW_IN']
    lw_in_ratio = ratios['LW_IN']

    print(date, sw_in_ratio, lw_in_ratio)
    print("前：")
    print(filled_data.loc[date - pd.Timedelta(hours=1): date + pd.Timedelta(hours=23), ["SW_IN", "LW_IN"]])

    # 检查缺失比例
    if sw_in_ratio == 0 and lw_in_ratio == 0:
        print("没有参加填补")
        # 如果缺失比例为0，什么都不做
        continue
    elif sw_in_ratio < 0.4 and lw_in_ratio < 0.4:
        # 如果缺失比例小于40%，使用 .ffill() 和 .bfill() 填补当天的 'SW_IN' 和 'LW_IN'
        filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']] = filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']].ffill().bfill()
    else:
        # 否则，使用前一天的24小时数据填补 'SW_IN' 和 'LW_IN'
        previous_day = date - pd.Timedelta(days=1)
        if previous_day in filled_data.index:
            print(f"填补前一天的数据: {previous_day}")
            print(filled_data.loc[previous_day:previous_day + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']])
            # 这里就是问题所在的位置
            filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']] = filled_data.loc[previous_day:previous_day + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']]
        else:
            print(f"前一天 {previous_day} 的数据不存在")

    print("后：")
    print(filled_data.loc[date - pd.Timedelta(hours=1): date + pd.Timedelta(hours=23), ["SW_IN", "LW_IN"]])

# 结果
# print(filled_data)

问题出在这里 filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']] = filled_data.loc[previous_day:previous_day + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']]。必须使用一个中间变量去将数值固定，否则在内存中索引，会匹配错误。我是这么理解的。可能也是我写代码习惯不太好。

代码2，这个代码是我调试代码。拆分代码，最后找到问题所在，这个代码是正确的

python 复制代码 
"""

"""

# 计算每天的缺失值比例
rad_daily_miss_rate = siteData_reindexed[["SW_IN","LW_IN"]].resample('D').apply(lambda x: x.isnull().mean())

# 创建一个新的 DataFrame 来存储填补后的数据
filled_data= siteData_reindexed.copy()

# 遍历每天的缺失值比例
for date, ratios in rad_daily_miss_rate.iterrows():

    if date <= pd.Timestamp("2019-06-29 23:00:00") :

        sw_in_ratio = ratios['SW_IN']
        lw_in_ratio = ratios['LW_IN']

        # 检查缺失比例
        if sw_in_ratio == 0 and lw_in_ratio == 0:
            print("没有参加填补")
            # 如果缺失比例为0，什么都不做
            continue
        elif sw_in_ratio < 0.4 and lw_in_ratio < 0.4:
            print("进入  sw_in_ratio < 0.4 and lw_in_ratio < 0.4 ")
            # 如果缺失比例小于30%，使用 .ffill() 和 .bfill() 填补当天的 'SW_IN' 和 'LW_IN'
            filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']] = filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']].ffill().bfill()
        else:
            print("进入 else")
            # 否则，使用前一天的24小时数据填补 'SW_IN' 和 'LW_IN'
            # 这个放置位置的索引
            timeRange = pd.date_range(start= date, end=date + pd.Timedelta(days=1), freq='60min')
            for date_index in timeRange:

                # 确保匹配到的是前一天的数据
                print(f"date_index: {date_index}")
                # 必须使用一个中间变量去将数值固定，否则在内存中索引，会匹配错误
                previous_day_value = siteData_reindexed.loc[date_index - pd.Timedelta(days=1), ['SW_IN', 'LW_IN']]
                print(f"前一天数据: {previous_day_value}")

                # 检查是否能成功填充
                filled_data.loc[date_index, ['SW_IN', 'LW_IN']] = previous_day_value
                print(f"填补后的数据: {filled_data.loc[date_index, ['SW_IN', 'LW_IN']]}")

        print("后：")
        print(filled_data.loc[date:date + pd.Timedelta(hours=23),["SW_IN","LW_IN"]])
# 结果
# print(filled_data)

代码3。本以为找到问题所在之后，又稍微修改了下代码 2，这个代码还是没问题的

python 复制代码 
"""

"""

# 计算每天的缺失值比例
rad_daily_miss_rate = siteData_reindexed[["SW_IN","LW_IN"]].resample('D').apply(lambda x: x.isnull().mean())

# 创建一个新的 DataFrame 来存储填补后的数据
filled_data= siteData_reindexed.copy()

# 遍历每天的缺失值比例
for date, ratios in rad_daily_miss_rate.iterrows():

    if date <= pd.Timestamp("2019-06-29 23:00:00") :

        sw_in_ratio = ratios['SW_IN']
        lw_in_ratio = ratios['LW_IN']

        # 检查缺失比例
        if sw_in_ratio == 0 and lw_in_ratio == 0:
            print("没有参加填补")
            # 如果缺失比例为0，什么都不做
            continue
        elif sw_in_ratio < 0.4 and lw_in_ratio < 0.4:
            print("进入  sw_in_ratio < 0.4 and lw_in_ratio < 0.4 ")
            # 如果缺失比例小于30%，使用 .ffill() 和 .bfill() 填补当天的 'SW_IN' 和 'LW_IN'
            filled_data.loc[date:date + pd.Timedelta(days=1), ['SW_IN', 'LW_IN']] = filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']].ffill().bfill()
        else:
            print("进入 else")
            # 否则，使用前一天的24小时数据填补 'SW_IN' 和 'LW_IN'
            # 变量前一天
            previous_day = date - pd.Timedelta(days=1)
            # 前一天的数据
            previous_day_data = siteData_reindexed.copy().loc[previous_day:date, ['SW_IN', 'LW_IN']]

            filled_data.loc[date:date + pd.Timedelta(days=1), ['SW_IN', 'LW_IN']] = previous_day_data

            # 这个放置位置的索引
            # timeRange = pd.date_range(start= date, end=date + pd.Timedelta(days=1), freq='60min')
            # for date_index in timeRange:
            #
            #     # 确保匹配到的是前一天的数据
            #     print(f"date_index: {date_index}")
            #     # 必须使用一个中间变量去将数值固定，否则在内存中索引，会匹配错误
            #     previous_day_value = siteData_reindexed.loc[date_index - pd.Timedelta(days=1), ['SW_IN', 'LW_IN']]
            #     print(f"前一天数据: {previous_day_value}")
            #
            #     # 检查是否能成功填充
            #     filled_data.loc[date_index, ['SW_IN', 'LW_IN']] = previous_day_value
            #     print(f"填补后的数据: {filled_data.loc[date_index, ['SW_IN', 'LW_IN']]}")

        print("后：")
        print(filled_data.loc[date:date + pd.Timedelta(hours=23),["SW_IN","LW_IN"]])
# 结果
# print(filled_data)

代码4。本以为找到问题所在之后，又稍微修改了下代码 1，这个代码还是没问题的

python 复制代码 
import pandas as pd
import numpy as np

# 创建一个示例 DataFrame
data = {
    'SW_IN': [np.nan, 1, 2, np.nan, 4, np.nan, 6, 7, 8, 9, 10, np.nan],
    'LW_IN': [1, 2, np.nan, 4, np.nan, 6, 7, np.nan, 9, 10, np.nan, 12],
    'WS': [5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16]
}
index = pd.date_range(start="2019-06-26 14:00:00", end="2020-11-17 10:00:00", freq='60min')
siteData_reindexed = pd.DataFrame(data, index=index)

# 计算每天的缺失值比例
rad_daily_miss_rate = siteData_reindexed[["SW_IN", "LW_IN"]].resample('D').apply(lambda x: x.isnull().mean())

# 创建一个新的 DataFrame 来存储填补后的数据
filled_data = siteData_reindexed.copy()

# 遍历每天的缺失值比例
for date, ratios in rad_daily_miss_rate.iterrows():
    print("##" * 30)
    sw_in_ratio = ratios['SW_IN']
    lw_in_ratio = ratios['LW_IN']

    print(date, sw_in_ratio, lw_in_ratio)
    print("前：")
    print(filled_data.loc[date - pd.Timedelta(hours=1): date + pd.Timedelta(hours=23), ["SW_IN", "LW_IN"]])

    # 检查缺失比例
    if sw_in_ratio == 0 and lw_in_ratio == 0:
        print("没有参加填补")
        continue
    elif sw_in_ratio < 0.4 and lw_in_ratio < 0.4:
        # 填补当天的缺失值
        filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']] = filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']].ffill().bfill()
    else:
        # 使用前一天的24小时数据填补
        previous_day = date - pd.Timedelta(days=1)
        if previous_day in filled_data.index:
            print(f"填补前一天的数据: {previous_day}")
            previous_data = filled_data.loc[previous_day:previous_day + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']]
            print("前一天的数据：")
            print(previous_data)

            # 确保赋值的索引对齐
            filled_data.loc[date:date + pd.Timedelta(hours=23), ['SW_IN', 'LW_IN']] = previous_data.copy()
        else:
            print(f"前一天 {previous_day} 的数据不存在")

    print("后：")
    print(filled_data.loc[date - pd.Timedelta(hours=1): date + pd.Timedelta(hours=23), ["SW_IN", "LW_IN"]])

# 结果
# print(filled_data)
相关推荐
花酒锄作田20 分钟前
[python]基于动态实例的命令处理设计
python
计算机毕设定制辅导-无忧学长43 分钟前
InfluxDB 与 Python 框架结合：Django 应用案例（三）
开发语言·python·django
惜.己1 小时前
python中appium
开发语言·python·appium
小沈熬夜秃头中୧⍤⃝1 小时前
Python 入门指南：从零基础到环境搭建
开发语言·python
睿思达DBA_WGX1 小时前
Python 程序设计讲义（54）：Python 的函数——函数概述
开发语言·python
真智AI1 小时前
打破数据质量瓶颈：用n8n实现30秒专业数据质量报告自动化
大数据·运维·人工智能·python·自动化
蛋仔聊测试1 小时前
基于 Playwright（python） 的前端性能测试脚本实现
前端·python
鹿邑网爬1 小时前
Python抖音关键词视频爬取实战：批量下载与分析热门视频数据
爬虫·python
砌玉成璧2 小时前
Flask一个用户同时只能在一处登录实现
后端·python·flask
2202_756749692 小时前
02 基于sklearn的机械学习-KNN算法、模型选择与调优（交叉验证、朴素贝叶斯算法、拉普拉斯平滑）、决策树（信息增益、基尼指数）、随机森林
python·算法·决策树·随机森林·机器学习·sklearn
热门推荐
01Qwen3-Coder 快速上手教程 | Qwen Code + Claude Code02全球最强模型Grok4，国内已可免费使用！（附教程）03VMware Workstation Pro虚拟机的下载和安装图文保姆级教程(附下载链接)04KGG转MP3工具|非KGM文件|解密音频05UV安装并设置国内源06MSPM0G3507——读取引脚的高低电平方法（数字信号循迹模块）07腾讯还是太全面了，限时免费！超全CodeBuddy IDE保姆级教程！（附案例）08Coze 开源了，送上保姆级私有化部署方案【建议收藏】092025电赛e题：openmv识别过程丢失矩形10扣子开源本地部署教程 丨Coze智能体小白喂饭级指南