迭代器和生成器的学习笔记

深蓝海拓2024-09-22 2:31

迭代器

Python 迭代器是一种对象，它实现了迭代协议，包括 __iter__() 和 __next__() 方法。迭代器可以让你在数据集中逐个访问元素，而无需关心数据结构的底层实现。与列表或其他集合相比，迭代器可以节省内存，因为它们一次只生成一个元素。

迭代器的基本特点

  1. 懒加载：迭代器不会一次性将所有数据加载到内存中，而是根据需要生成元素。
  2. 状态保持：迭代器在迭代过程中会保持其状态，可以从上次停止的地方继续迭代。
  3. 可以遍历 ：迭代器是可遍历的，可以使用 for 循环等结构来进行遍历。

下面的代码可以看出迭代器在节省内存方面的作用。

python 复制代码 
import sys
import random

# 生成 1-100的随机数的集合，共1000个元素
numbers = [random.randint(1, 100) for _ in range(1000)]
iterator = iter(numbers)

# 打印对象的内存大小
print(sys.getsizeof(numbers))   # 9016
print(sys.getsizeof(iterator))  # 48

迭代器的经典demo：

python 复制代码 
# 创建一个简单的迭代器
class MyIterator:
    def __init__(self, limit):
        self.limit = limit
        self.current = 0

    def __iter__(self):
        return self

    def __next__(self):
        if self.current < self.limit:
            self.current += 1
            return self.current
        else:
            raise StopIteration

# 使用迭代器
for num in MyIterator(5):
    print(num)

迭代器在读取大文件的经典应用：

python 复制代码 
with open('users.csv', 'r') as file:
    for line in file:
        print(line.strip())

逐行读取文件内容，而不需要将整个文件加载到内存中。这种方法节省了内存资源，特别是在处理非常大的文件时。

生成器

生成器是一种特殊类型的迭代器，它允许你在函数中暂停执行并在以后继续。

使用 yield 的基本概念

  1. 生成器函数 ：当一个函数包含yield语句时，它不再是一个普通的函数，而是一个生成器函数。当调用这个函数时，它不会立即执行，而是返回一个生成器对象。

  2. 状态保留 ：每次调用生成器的__next__()方法（或者使用next()函数）时，生成器函数会从上次执行的位置继续执行，直到遇到下一个yield语句。在此时，函数的执行状态（包括局部变量）会被保留。

  3. 迭代 ：生成器可以被用于迭代，像普通的列表或其他可迭代对象一样。使用for循环可以逐个获取生成器产生的值。

python 复制代码 
# 定义一个生成器函数
def read_users():
    with open('users.csv', 'r') as file:
        for line in file:
            yield line.strip()


r1 = read_users()  # 定义一个生成器对象
r2 = read_users()  # 定义另一个生成器对象
print(next(r1))
print(next(r1))
print(next(r1))
print(next(r1))
print(next(r2))
print(next(r2))
print(next(r2))
print(next(r2))

局部变量保留的demo

python 复制代码 
list1 = ['a', 'b', 'c', 'd', 'e', 'f']


def iterator():
    i = 0
    for x in list1:
        yield do_something(i, x)
        i += 1


def do_something(i, x):
    print(i, x)


r1 = iterator()  # 定义一个生成器对象
r2 = iterator()  # 定义另一个生成器对象
next(r1)
next(r1)
next(r1)
next(r1)
next(r2)
next(r2)
next(r2)
next(r2)
next(r2)
运行结果：
0 a
1 b
2 c
3 d
0 a
1 b
2 c
3 d
4 e

更深入理解yield的"暂停"

函数每次遇到yield就暂停，它并不在意yield时来自于循环、迭代或者是在函数体内重复定义的，这意味着一个函数中可以有不止一个yield，并且每次运行到yield时，函数就暂停运行，并保存中间结果和变量，直到下一次next()后继续运行。

python 复制代码 
list1 = ['a', 'b', 'c', 'd', 'e', 'f']


def iterator():
    for x in list1:
        yield print(x)
        yield print(x)
        yield print(x)
        yield print(x)


r1 = iterator()  # 定义一个生成器对象
next(r1)
next(r1)
next(r1)
next(r1)
next(r1)
next(r1)

# 运行结果：
# a
# a
# a
# a
# b
# b

可以将yield理解为一个中断标志

可以将yield理解为一个中断标志，当生成器遇到 yield 语句时，它会暂停执行，并返回 yield 后面跟随的值或者函数。如果yield后面没有跟随内容，那么它就仅仅是一次暂停标志而已。

python 复制代码 
list1 = ['a', 'b', 'c', 'd', 'e', 'f']


def iterator():
    i = 0
    for x in list1:
        print('loop', i)
        yield
        i += 1
        print(x)


r1 = iterator()  # 定义一个生成器对象
next(r1)
next(r1)
next(r1)
# 执行结果：
# loop 0
# a
# loop 1
# b
# loop 2

yield的灵活运用

既然函数每次遇到yield就暂停，它并不在意yield时来自于循环、迭代或者是在函数体内重复定义的，而且可以将yield理解为一个中断标志，那么我们也就可以生成一个不循环的函数，通过yield达到步进执行的效果。

python 复制代码 
list1 = ['a', 'b', 'c', 'd', 'e', 'f']


def iterator():
    i = 0
    print('breakpoint', i)
    yield
    i += 1
    print('breakpoint', i)
    yield
    i += 1
    print('breakpoint', i)
    yield
    i += 1
    print('breakpoint', i)
    yield
    i += 1
    print('breakpoint', i)


r1 = iterator()  # 定义一个生成器对象
next(r1)
next(r1)
next(r1)
# 执行结果：
# breakpoint 0
# breakpoint 1
# breakpoint 2

注意可暂停和可迭代次数

要保证调用的次数不要大于可迭代次数或者可暂停次数，否则就会报错。

python 复制代码 
def iterator():
    i = 0
    print('breakpoint', i)
    i += 1
    yield
    print('breakpoint', i)
    i += 1
    yield


r1 = iterator()  # 定义一个生成器对象
next(r1)
next(r1)
next(r1)

上面的例子，定义了两个yield，但是next（）调用了三次，所以出错。

python 复制代码 
list1 = [1, 2, 3]


def iterator():
    for i in list1:  # 遍历列表
        yield print(i)


r1 = iterator()  # 定义一个生成器对象
next(r1)
next(r1)
next(r1)
next(r1)

这个，由于调用次数大于了列表的元素数量，也会出错。

采取措施，避免程序崩溃

1、使用try

python 复制代码 
def iterator():
    i = 0
    print('breakpoint', i)
    i += 1
    yield
    print('breakpoint', i)
    i += 1
    yield


r1 = iterator()  # 定义一个生成器对象


def next_do():
    try:
        next(r1)
    except StopIteration:
        print("No more items to yield")


next_do()
next_do()
next_do()
next_do()
python 复制代码 
list1 = [1, 2, 3]


def iterator():
    for i in list1:  # 遍历列表
        yield print(i)


r1 = iterator()  # 定义一个生成器对象


def next_do():
    try:
        next(r1)
    except StopIteration:
        print("No more items to yield")


next_do()
next_do()
next_do()
next_do()
next_do()

# 运行结果：
# 1
# 2
# 3
# No more items to yield
# No more items to yield

2、指定next()的默认返回值参数，如果指定了该参数，并且迭代器没有更多的值可返回，则返回该参数的值，而不是引发 StopIteration 异常。

python 复制代码 
def iterator():
    i = 0
    print('breakpoint', i)
    i += 1
    yield
    print('breakpoint', i)
    i += 1
    yield


def next_do():
    if next(r1, 'END'):  # 指定next()的默认返回值，可以是任意非None值
        print('No more items to yield')


r1 = iterator()  # 定义一个生成器对象

next_do()
next_do()
next_do()
next_do()
next_do()

# 运行结果：
# breakpoint 0
# breakpoint 1
# No more items to yield
# No more items to yield
# No more items to yield

send()的用法

python 复制代码 
def generator_with_send():
    received = yield  # yield 语句会暂停生成器，等待 send() 方法的调用并返回 yield 语句后面的值
    yield received  # 输出接收到的值


gen = generator_with_send()

next(gen)  # 启动生成器
print(gen.send('this is send1'))  # 通过 send() 方法向生成器发送数据

多次发送

python 复制代码 
def generator_with_send():
    received = yield  # 第一次调用 `send` 时暂停在此处
    yield received  # 输出第一次接收到的值
    received = yield  # 再次暂停，准备接收下一个值
    yield received  # 输出第二次接收到的值
    received = yield  # 再次暂停，准备接收下一个值
    yield received  # 输出第三次接收到的值


gen = generator_with_send()

next(gen)  # 启动生成器
print(gen.send('this is send1'))  # 发送数据
next(gen)  # 继续执行，准备接收下一个值
print(gen.send('this is send2'))  # 发送数据
next(gen)  # 继续执行，准备接收下一个值
print(gen.send('this is send3'))  # 发送数据


# 输出结果为：
# this is send1
# this is send2
# this is send3

OR:

python 复制代码 
def generator_with_send():
    received = yield  # 第一次调用 `send` 时暂停在此处

    received = yield received  # 每次重新接收 send() 发送的值
    received = yield received  # 每次重新接收 send() 发送的值
    received = yield received  # 每次重新接收 send() 发送的值


gen = generator_with_send()

next(gen)  # 启动生成器
print(gen.send('this is send1'))  # 第一次发送 'this is send1'
print(gen.send('this is send2'))  # 第二次发送 'this is send2'
print(gen.send('this is send3'))  # 第三次发送 'this is send3'

OR:

python 复制代码 
def generator_with_send():
    received = yield  # 第一次调用 `send` 时暂停在此处
    while True:
        received = yield received  # 每次重新接收 send() 发送的值


gen = generator_with_send()

next(gen)  # 启动生成器
print(gen.send('this is send1'))  # 第一次发送 'this is send1'
print(gen.send('this is send2'))  # 第二次发送 'this is send2'
print(gen.send('this is send3'))  # 第三次发送 'this is send3'

close()的用法

close()方法用于关闭生成器，关闭后，如果尝试迭代或恢复执行生成器，会引发 StopIteration 异常。

在生成器中，close() 方法会触发 GeneratorExit 异常，通过捕捉这个异常，在生成器中进行必要的清理工作（比如释放资源、关闭文件等）。

python 复制代码 
def my_generator():
    try:
        while True:
            value = yield
            print(f"Received: {value}")
    except GeneratorExit:
        print("Generator is being closed.")

gen = my_generator()

# 启动生成器
next(gen)

# 发送一些值
gen.send('Hello')
gen.send('World')

# 关闭生成器
gen.close()

# 再次尝试发送值会引发 StopIteration 异常
try:
    gen.send('This will not work')
except StopIteration:
    print("Generator is closed and cannot receive values.")
相关推荐
TeYiToKu18 分钟前
笔记整理—linux驱动开发部分（9）framebuffer驱动框架
linux·c语言·arm开发·驱动开发·笔记·嵌入式硬件·arm
dsywws20 分钟前
Linux学习笔记之时间日期和查找和解压缩指令
linux·笔记·学习
道法自然040221 分钟前
Ethernet 系列（8）-- 基础学习::ARP
网络·学习·智能路由器
爱吃生蚝的于勒28 分钟前
深入学习指针（5）！！！！！！！！！！！！！！！
c语言·开发语言·数据结构·学习·计算机网络·算法
进击的六角龙1 小时前
Python中处理Excel的基本概念（如工作簿、工作表等）
开发语言·python·excel
一只爱好编程的程序猿1 小时前
Java后台生成指定路径下创建指定名称的文件
java·python·数据下载
Aniay_ivy1 小时前
深入探索 Java 8 Stream 流：高效操作与应用场景
java·开发语言·python
gonghw4031 小时前
DearPyGui学习
python·gui
向阳12182 小时前
Bert快速入门
人工智能·python·自然语言处理·bert
engchina2 小时前
Neo4j 和 Python 初学者指南：如何使用可选关系匹配优化 Cypher 查询
数据库·python·neo4j
热门推荐
01【HarmonyOS】HUAWEI DevEco Studio 下载地址汇总02(欧拉)openEuler系统添加网卡文件配置流程、(欧拉)openEuler系统手动配置ipv6地址流程、(欧拉)openEuler系统网络管理说明03组基轨迹建模 GBTM的介绍与实现（Stata 或 R）04【AIGC】重塑未来的科技巨轮05全面解析：构建基于深度学习的安全帽检测系统（UI界面+YOLO代码+数据集）06【经验分享】Ubuntu22.04安装微信(linux官方版)07基于YOLOv10深度学习的CT扫描图像肾结石智能检测系统【python源码+Pyqt5界面+数据集+训练代码】深度学习实战、目标检测08Ubuntu 20.04使用Livox mid 360 测试 FAST_LIO09RAG 实践- Ollama+RagFlow 部署本地知识库10红米手机使用google play