五分钟搞懂python生成器迭代器

1、是什么

生成器和迭代器都是Python语言中的重要概念。

1.1 生成器

是什么?

生成器是一种特殊的函数,它可以逐步产生结果并在每个步骤中保持状态

如何理解?

生成器用yield返回一个值,在每个yield语句的位置上都会暂停执行,并将当前状态保存下来。当再次调用生成器时,它会从上次暂停的位置继续执行,并且能够恢复到之前的状态。这种方式使得生成器能够记住之前的计算结果,而不需要重新计算。这样生成器就可以在每个步骤中保持状态,以便下次继续使用。

有什么作用?

由于生成器在内存中只保留了当前状态以及生成下一个值所需的信息,因此它可以处理非常大的数据流,并且比传统的数据容器占用更少的内存。 通过调用next()方法或者使用for循环逐个获取生成器中的值,可以逐步获取生成器中的数据。

1.2 迭代器

迭代器是一种实现了特定方法(iter()和__next__())的对象。通过迭代器,我们可以逐步获取集合中的元素

2、案例

这里我们通过一个面试题带大家去深入理解

4G 内存怎么读取一个 5G 的数据?

答:通过生成器,分多次读取,每次读取数量相对少的数据(比如 500MB)进行处理,处理结束后

在读取后面的 500MB 的数据。

python 复制代码
# 定义一个生成器函数,在python中只要函数中使用yield字段就是一个生成器函数。生成器函数 用于创建 生成器迭代器 (generator iterator)。
def process_data(file_path, batch_size):
    with open(file_path, 'rb') as file:
        while True:
            data = file.read(batch_size)
            if not data:
                break
            # 在此处进行对数据的处理
            # 可以将处理后的结果返回,或者做其他操作
            yield data

# 使用示例
file_path = 'your_file_path'  # 文件路径
batch_size = 500 * 1024 * 1024  # 500MB,注意单位为字节

data_generator = process_data(file_path, batch_size)

#迭代方法一
while True:
    try:
        batch = next(data_generator)
        # 对每个批次的数据进行处理
    	# 可以调用相应的函数或方法进行处理
    	print(f"Processing {len(batch)} bytes of data")
    	# 这里只是简单示例,实际处理需要根据具体需求进行编写
    except StopIteration:
        break

#迭代方法二
#for batch in data_generator:
#	print(f"Processing {len(batch)} bytes of data")
相关推荐
qq_158895411113 分钟前
Suno-API 是什么?官方 V6 模型与 Python / TypeScript 接入指南
python·ai音乐·suno api
星落梦生6 小时前
SpringAOP基础笔记(7)
java·开发语言
曹牧8 小时前
Java:“刷新雪崩”
java·开发语言
郝学胜-神的一滴9 小时前
Effective STL 条款03:容器中的对象复制要廉价且正确
开发语言·数据结构·c++·算法·rpc·stl
西西弗Sisyphus9 小时前
C++ explicit 关键字工程实践
开发语言·c++
学无止境小袁同学10 小时前
Google ADK 学习指南
python·llm·agent·多agent·google adk·llmagent·agent cli
郝学胜-神的一滴11 小时前
Effective Python 条款35:用类封装替代生成器异常注入
开发语言·人工智能·python·金融·pandas·scikit-learn·matplotlib
feixing_fx11 小时前
原始类型与引用类型:赋值时到底复制了什么
开发语言·前端·javascript·前端框架
LK_0711 小时前
【力扣】142. 环形链表 II |Python
python·leetcode·链表
wuyk55511 小时前
Python办公自动化-第02讲-Excel文件认知与四大库选型
开发语言·python·excel