python一点通:数据处理顶流Pandas 2.0有什么新功能?

Pandas 2.0及其后续版本的发布引入了各种功能和增强,标志着在使用Pandas进行数据操作和分析方面的显著演进。这里是对一些新功能的深入解析:

  1. 可选依赖的安装:

    在Pandas 2.0中,通过pip安装pandas时,可以通过指定extras来安装一组可选的依赖项,例如:pip install "pandasperformance, aws>=2.0.0"。可用的extras包括用于性能,计算,文件系统支持,云提供商,数据格式等的选项。

  2. 索引中增强的数值数据类型支持:

    现在索引可以容纳任何numpy数值数据类型,克服了之前只支持int64,uint64和float64数据类型的限制。

  3. PyArrow集成:

    Pandas 2.0的一个定义特性是它与PyArrow的集成,使得操作更加内存高效。用户现在可以使用PyArrow作为他们的内存格式,而不是最初使用的NumPy数据结构,这解决了内存使用不效率的问题。

  4. 可空数据类型:

    支持可空数据类型使得处理缺失值变得更加容易。这个特性允许在处理空值时更加直接,尤其是在整数列中,通过在读取数据到DataFrame时指定使用可空数据类型,例如:pd.read_csv(my_file, use_nullable_dtypes=True)。

  5. 写时复制性能增强:

    为了最小化内存使用并提高处理大数据集时的性能,实现了一种称为写时复制的内存优化技术。

  6. 增强的扩展数组支持和非纳秒日期时间分辨率:

    这次发布还带来了增强的扩展数组支持和非纳秒日期时间分辨率。

  7. 性能提升:

    在不同的版本中持续进行了性能改进,提高了整个库的整体效率。

这些更新是三年多持续开发努力的结果,标志着使Pandas更加健壮和用户友好以便进行数据操作和分析任务的重要一步。

示例:使用可空数据类型

复制代码
import pandas as pd

# 假设'my_file.csv'有一些列有缺失值
data = pd.read_csv('my_file.csv', use_nullable_dtypes=True)

# 这将确保有缺失值的整数数据列将使用支持空值的Int64数据类型,而不是转换为浮点数。

阅读

英文版

AI好书推荐

AI日新月异,但是万丈高楼拔地起,离不开良好的基础。您是否有兴趣了解人工智能的原理和实践? 不要再观望! 我们关于 AI 原则和实践的书是任何想要深入了解 AI 世界的人的完美资源。 由该领域的领先专家撰写,这本综合指南涵盖了从机器学习的基础知识到构建智能系统的高级技术的所有内容。 无论您是初学者还是经验丰富的 AI 从业者,本书都能满足您的需求。 那为什么还要等呢?

人工智能原理与实践 全面涵盖人工智能和数据科学各个重要体系经典

北大出版社,人工智能原理与实践 人工智能和数据科学从入门到精通 详解机器学习深度学习算法原理

相关推荐
ss2731 分钟前
AI全栈实战 | 3.2-01 Python 基础:四大数据容器怎么选,推导式为什么是 Pythonic 的灵魂
开发语言·人工智能·python
Mr_Macallon9 分钟前
C++回顾(基础)(01)
c语言·开发语言·c++·学习
计算机毕业编程指导师12 分钟前
【大数据毕设选题推荐】基于Spark的WTA职业网球赛事演变与竞技格局分析系统源码 毕业设计 选题推荐 毕设选题 数据分析 机器学习 深度学习
大数据·python·计算机·spark·毕业设计·课程设计·wta网球
未来之窗软件服务20 分钟前
Go 利器 GoReSym:剥离符号恢复 Go 二进制元数据—东方仙盟
开发语言·golang·仙盟创梦ide·东方仙盟
言乐630 分钟前
Python区分广度优先深度优先宽度优先的区别
python·算法·深度优先·广度优先·宽度优先
打工仔折腾 AI41 分钟前
LLaMA 1 到 LLaMA 3 架构演进拆解:从 RoPE、GQA 到词表扩张
人工智能·后端·python·深度学习·langchain·llama
朝朝辞暮i1 小时前
C++ 第 32 课:main()、rclcpp::init()、spin()、shutdown()
开发语言·c++·算法
旋生万物1 小时前
螺旋角分布的功率谱分析:多窗谱 + FDR 校正
开发语言·python
沫璃染墨1 小时前
《从零入门Linux系统篇(五十七):线程篇·十——生产者消费者模型进阶:从环形缓冲区到POSIX信号量》
linux·运维·服务器·开发语言·c++·系统架构·信号处理
时间的拾荒人1 小时前
Qt 窗口系统详解:从菜单栏到对话框的完整指南
开发语言·qt·面试