1分钟解锁Python神技:用生成器轻松处理1亿条数据!

欢迎来到「每天1分钟,轻松懂Python」!今天的主角是:生成器。

它能让你用几乎忽略不计的内存,处理无限大的数据流。比如,轻松遍历1亿条数据而不会撑爆你的内存。

核心价值就一点:惰性计算------需要时才生产,绝不提前浪费空间。

1分钟时间,我们从概念、代码、案例出发。让你不仅看懂,更能马上用起来!

容器、可迭代对象、迭代器

容器:在 Python 中一切皆为对象,对象的集合就是容器。

可迭代对象 :实现了__iter__()方法的对象,或者说,是能返回一个迭代器的对象。

所有容器都是可迭代对象,但可迭代对象不一定是容器。

迭代器 :实现了__iter__()和__next__()方法的对象。它提供一个 next 方法,当你调用这个方法后,要么得到下一个对象,要么抛出 StopIteration 异常。

1、判断可迭代对象

通过 iter() 函数尝试转换,捕获 TypeError 判断:

python 复制代码
def is_iterable(param):  
    try:  
        iter(param)  
        return True  
    except TypeError:  
        return False  

# 测试:列表、字典等返回 True,数字返回 False  

生成器:更轻量的迭代器

1、核心优势

惰性计算 :仅在调用 next() 时生成元素,(比预先生成大列表 )节省内存。

简单语法 :使用生成器表达式((i for i in range(10)) )或 yield 关键字定义。

lua 复制代码
对于 yield,可以理解为:
函数运行到这一行的时候,程序会从这里暂停,然后跳出。跳到 next() 函数。
每次调用 `next(gen)` 时,暂停的程序,就会从 yield 这里向下继续执行;
2、基础用法
python 复制代码
# 1. 生成器表达式
gen = (i for i in range(3))
print(next(gen))  # 输出 0
print(next(gen))  # 输出 1
print(next(gen))  # 输出 2
print(next(gen))  # StopIteration

# 2. yield 关键字
def my_generator():
    yield 1
    yield 2
    yield 3


gen = my_generator()
print(next(gen))  # 输出 1
print(next(gen))  # 输出 2
print(next(gen))  # 输出 3
print(next(gen))  # StopIteration

实战应用

1、内存优化对比

生成器可以避免预存大量数据,适合处理超大序列:

python 复制代码
from pympler import asizeof

# 迭代器
large_list = [i for i in range(10**5)]

# 生成器
# 仅保存生成逻辑,内存大小不随数据量大小变化,内存占用极低
large_gen = (i for i in range(10**5))

# 输出:列表占用内存: 3907.21 KB
print(f"列表占用内存: {asizeof.asizeof(large_list) / 1024:.2f} KB")
# 输出:生成器占用内存: 0.45 KB
print(f"生成器占用内存: {asizeof.asizeof(large_gen) / 1024:.2f} KB")
2、复杂逻辑实现:验证数学公式

用生成器动态生成数列,验证等式 (1+2+...+n)² = 1³+2³+...+n³:

python 复制代码
# 使用生成器
def generator(k):  
    i = 1  
    while True:  
        yield i**k  
        i += 1  

gen_1 = generator(2)  # 生成 1,4,9...
gen_3 = generator(3)  # 生成 1³,2³,3³...  
3、算法简化:子序列判断

用生成器 + 迭代器,可以更简洁实现 "判断子序列" 逻辑:

LeetCode 题目:leetcode.com/problems/is...

python 复制代码
def is_subsequence(a, b):  
    b = iter(b)  # 转为迭代器  
    return all(i in b for i in a)  

# 测试:a = [1,3,5] 是 b = [1,2,3,4,5] 的子序列  
print(is_subsequence([1, 3, 5], [1, 2, 3, 4, 5]))  # True  
print(is_subsequence([1, 4, 3], [1, 2, 3, 4, 5]))  # False

高频面试题

01、可迭代对象和迭代器的区别?

markdown 复制代码
可迭代对象:实现 __iter__,可转为迭代器(如 list )。
迭代器:实现 __iter__ 和 __next__,支持 next() 逐个取元素。

02、生成器的 yield 有什么作用?

scss 复制代码
暂停函数执行,保留当前状态(如变量值 )。返回一个值给调用者。
下次 next() 调用时从暂停处继续执行。

03、生成器为什么能节省内存?

scss 复制代码
生成器是 "惰性计算",不预存所有元素,仅在调用 next() 时动态生成。
因此,内存占用远低于预先生成大列表的迭代器。

04、for 循环如何遍历可迭代对象?

scss 复制代码
for 循环自动将可迭代对象转为迭代器(调用 iter() )。
然后,循环调用 next(),直到捕获 StopIteration 异常退出。

05、哪些场景适合用生成器?

markdown 复制代码
1. 处理超大序列(如一亿条数据 ),避免内存溢出。
2. 实现动态生成逻辑(如无限数列、实时数据流 )。
3. 简化代码(如子序列判断、复杂数学验证 )。

06、生成器迭代结束后,继续调用 next() 会怎样?

复制代码
抛出 StopIteration 异常,提示迭代已结束。

-------- 写在最后 --------

关注我,每天1分钟,轻松懂 Python

我的同名公众号正在连载《FastAPI 开发实战》、《Python 核心技术》、《职场》。


点赞 :如果觉得有收获,点赞支持一下吧!

分享 :分享给身边同样对Python感兴趣的朋友!

关注我 :不要错过每一篇 Python 实战内容!


#Python #FastAPI #API #Web开发 #程序员 #编程教程 #效率提升 #装饰器

相关推荐
wuyk5555 小时前
Python办公自动化-第01讲-环境搭建与自动化认知
python·自动化·pyqt
高洁016 小时前
数字孪生与计算机视觉:让机器看懂现场
人工智能·python·机器学习·transformer·迁移学习
ComPDFKit6 小时前
RAG 回答只显示 PDF 文件名?用 Python 保留引用页码
开发语言·python·pdf·rag
yz_aiks8 小时前
Termux 使用教程:把安卓手机变成随身 Linux(装 Python、SSH 远程、跑自动化脚本)
android·linux·python·智能手机·ssh·termux
2601_9679801110 小时前
Flask Web 应用
python·flask·web开发·环境变量·虚拟环境
aifannihao10 小时前
ß 大写变 SS:用 Python 算清 Ruby2Shell 的缓冲区账本
python·安全·标准库·缓冲区溢出·字符串编码
liwulin050610 小时前
【OLLAMA】调用SKILL的通用ReAct
python
郝学胜-神的一滴11 小时前
Effective Python 条款36:优雅拼装迭代器与生成器
开发语言·数据结构·人工智能·python·numpy·scikit-learn
Norna12 小时前
Git 给路径加了引号,这个文件就从 review 里消失了
python
wuyk55512 小时前
Python办公自动化-第04讲-批量新建Excel
开发语言·python·excel