python并发 惰性处理大型数据集

惰性计算是一种编程策略,它使得程序在何时执行计算的决定推迟到需要结果时才进行。这种策略的好处在于,它允许程序处理大规模数据或者需要大量计算的任务时节省内存和计算资源。

举例来说,当我们调用 Python 中的 range() 函数时,我们可以传递一个非常大的参数给它,比如 range(100000000),但是这并不会立即在内存中创建包含这么多数字的列表。相反,range() 函数返回一个迭代器,这个迭代器知道如何在需要时生成这么多的数字,而不会提前生成并保存所有的数字。这样做的好处是,即使处理的数据量很大,也不会立即耗尽系统的内存。

在惰性计算中,计算机首先接受你的指令并将其存储,但不会立即执行这些指令。相反,它会等到需要结果时才会执行这些命令。这意味着,如果你不要求计算机给出最终结果,它就不会执行任何中间步骤。这种行为使得程序可以更加灵活地处理数据,并且能够延迟计算,直到真正需要结果时才进行。

总的来说,惰性计算提供了一种高效地处理大规模数据和复杂计算任务的方法,它通过推迟计算来节省内存和计算资源,并且只在需要结果时才执行计算,从而提高了程序的性能和效率。

一些你需要知道的惰性函数 Map,range,filter,zip,iglob

Filter:接受一个序列,并限制其元素必须满足指定的条件

Zip:接受两个序列并返回tuple序列

Iglob: 延迟对文件系统的查询

理解迭代器

迭代器是python中所有可以遍历的数据类型的基类有,迭代过程由一个__iter__()来定义,如果一个类有这个方法,并返回一个带有__next__()方法的对象,那么我们就可以对它进行迭代

生成器:用来创建数据的函数

不必在内存中花费空间来保存列表

生成器表达式:在一行代码中包含无线的数据

当涉及到惰性计算、迭代器和生成器时,Python 提供了一些非常强大的工具,可以帮助你更有效地处理大规模数据集或者在处理数据时节省内存。

惰性计算和惰性函数

1. Map

map() 函数接受一个函数和一个可迭代对象,并返回一个将该函数应用于可迭代对象中每个元素的迭代器。

复制代码
result = map(func, iterable)
2. Filter

filter() 函数接受一个函数和一个可迭代对象,并返回一个仅包含满足指定条件的元素的迭代器。

复制代码
result = filter(func, iterable)
3. Zip

zip() 函数接受两个或多个可迭代对象,并返回一个将每个可迭代对象中对应元素组合成元组的迭代器。

复制代码
result = zip(iterable1, iterable2)
4. Iglob

iglob() 函数在文件系统中进行延迟查询,并返回一个生成文件名的迭代器。

复制代码
import glob

result = glob.iglob(pattern)

迭代器

迭代器是可以逐个访问元素的对象,它具有 __iter__() 方法,返回一个拥有 __next__() 方法的对象。

复制代码
class MyIterator:
    def __init__(self, data):
        self.index = 0
        self.data = data

    def __iter__(self):
        return self

    def __next__(self):
        if self.index >= len(self.data):
            raise StopIteration
        value = self.data[self.index]
        self.index += 1
        return value

my_iter = MyIterator([1, 2, 3])
for item in my_iter:
    print(item)

生成器

生成器是用来创建数据的函数,它可以节省内存并允许你按需生成数据。

1. 生成器函数

生成器函数使用 yield 语句来返回值,并在每次调用时暂停执行,保持局部状态。

复制代码
def my_generator():
    yield 1
    yield 2
    yield 3

gen = my_generator()
for value in gen:
    print(value)
2. 生成器表达式

生成器表达式是一种简洁的方式来创建生成器,类似于列表推导式,但使用圆括号而不是方括号。

复制代码
gen = (x for x in range(10) if x % 2 == 0)
for value in gen:
    print(value)

这些工具在处理大规模数据或需要惰性计算时非常有用,可以帮助你更高效地处理数据,并在需要时节省内存。

相关推荐
励志码农3 分钟前
JavaWeb 30 天入门:第二十三天 —— 监听器(Listener)
java·开发语言·spring boot·学习·servlet
天高云淡ylz4 分钟前
子网掩码的隐形陷阱:为何能ping通却无法HTTPS访问
开发语言·php
希望20172 小时前
Golang Panic & Throw & Map/Channel 并发笔记
开发语言·golang
朗迹 - 张伟2 小时前
Golang安装笔记
开发语言·笔记·golang
yzx9910132 小时前
生活在数字世界:一份人人都能看懂的网络安全生存指南
运维·开发语言·网络·人工智能·自动化
小周同学@3 小时前
谈谈对this的理解
开发语言·前端·javascript
乔巴先生243 小时前
LLMCompiler:基于LangGraph的并行化Agent架构高效实现
人工智能·python·langchain·人机交互
橙*^O^*安4 小时前
Go 语言基础:变量与常量
运维·开发语言·后端·golang·kubernetes
NiKo_W4 小时前
Linux 文件系统与基础指令
linux·开发语言·指令
工程师小星星4 小时前
Golang语言的文件组织方式
开发语言·后端·golang