处理数据部分必备代码

1、读取数据出现UTF-8错误

python 复制代码
encoding="gbk"

2、进行时间系列的平均,并将平均后的数据转化为时间格式

python 复制代码
data.index = pd.to_datetime(data.index)
data = data.groupby(data.index.to_period('H')).mean()
data.index = data.index.to_timestamp()
df['hour'] = df.index.hour #提取时间中的小时
df.query('hour >= 9 and hour <= 12') # 选择小时范围在9到12小时内的数据

3、将不同的datafram合并

python 复制代码
pd.concat([df1,df2,df3],axis = 1)
#axis=1按列,axis=0按行

4、补全时间

python 复制代码
t_index = pd.date_range('2022-02-01 00:00:00', '2022-02-28 23:55:00', freq='5T')
df.index = pd.to_datetime(df.index, format='%Y-%m-%d %H:%M:%S')
df = df.reindex(t_index)

5、删除缺失值

python 复制代码
data.dropna(axis=0,how='all') #只删除行中所有为Nan值的行
data.dropna(axis=0,how='any')  # 删除行中有含有任何NaN的行
# axis控制行(0)和列(1)
相关推荐
安_11 分钟前
如何构建和使用向量索引?HNSW 和 IVF 有什么区别?
python·ai
counting money1 小时前
Java IO流详解:从InputStream到文件操作实战
java·开发语言·python
坚持学习前端日记2 小时前
Python SQLAlchemy ORM 从0到1精通实战手册(基础到复杂高阶)
数据库·python·oracle
北斗落凡尘2 小时前
LangGraph 入门实战(11)--输出模式
后端·python·langchain
雪碧聊技术3 小时前
安装Python(保姆级教程)
python·版本更新·python下载
++==3 小时前
JSON和Python的 四种核心容器
python·json
张龙6875 小时前
uv 全面指南:比 pip 快 100 倍的 Python 包管理器,从安装到团队落地
后端·python
@HNUSTer6 小时前
Python数据可视化科技图表绘制系列教程(八)
python·数据可视化·科技论文·专业制图·科研图表
专注仿真6 小时前
问答大模型技术方案算法实现-熵权法融合算法 + 交叉编码器重排算法
人工智能·python·算法·语言模型·问答大模型关键算法·熵权融合算法·交叉编码器重排算法
满怀冰雪7 小时前
22-使用 PaddleClas 快速训练图像分类模型
人工智能·python·机器学习·分类·数据挖掘·paddlepaddle