Python优化内存占用的技巧

Python 是一门为了开发效率而生的语言，其自动内存管理机制让开发者无需手动申请和释放内存。这种便利并非没有代价，Python 对象通常比 C 或 C++ 中的对应结构消耗更多内存。在处理大规模数据或在资源受限的容器环境中运行服务时，内存溢出（OOM）是一个常见的挑战。通过理解 Python 的内存分配机制并调整编码习惯，可以显著降低程序的内存占用。

懒加载与生成器机制

处理大量数据时，最常见的错误是一次性将所有数据加载到内存中。列表（List）是 Python 中最常用的数据结构，但它会立即计算并存储所有元素。当数据量达到百万级别时，这种方式会迅速耗尽可用内存。

生成器（Generator）提供了一种替代方案。它保存的是生成数据的算法，而非数据本身。在迭代过程中，生成器按需计算下一个值，处理完即丢弃，几乎不占用额外的内存空间。这种"懒加载"模式特别适合处理日志文件、数据库查询结果或大规模数值计算。

将列表推导式转换为生成器表达式通常只需要改变括号的形式。即使是处理无限的数据流，生成器也能保持内存占用的恒定。

python 复制代码

import sys

list_comp = [x ** 2 for x in range(1000000)]
print(sys.getsizeof(list_comp))

gen_exp = (x ** 2 for x in range(1000000))
print(sys.getsizeof(gen_exp))

Python官方文档： https://docs.python.org/zh-cn/3/

对象属性存储的优化

Python 的灵活性很大程度上归功于其对象模型。默认情况下，Python 使用字典（__dict__）来存储实例属性。这种机制允许在运行时动态添加属性，但字典本身的数据结构具有较大的内存开销。如果程序需要创建成千上万个小型对象，这种开销会变得非常可观。

通过在类定义中使用 __slots__，可以显式声明该类拥有的属性。Python 将为这些属性分配固定的内存空间，并禁用 __dict__。这不仅能减少约 40% 到 50% 的内存占用，还能略微提升属性访问的速度。其代价是失去了动态添加新属性的能力，但这在大多数生产环境的代码中并不是问题。

python 复制代码

class PointWithoutSlots:
    def __init__(self, x, y):
        self.x = x
        self.y = y

class PointWithSlots:
    __slots__ = ['x', 'y']
    def __init__(self, x, y):
        self.x = x
        self.y = y

数值计算与数据类型的精细控制

在数据科学和机器学习领域，Pandas 和 NumPy 是核心工具。Python 的原生整数类型是高精度的，甚至可以存储任意大小的整数，而 Pandas 默认加载数据时通常会使用 64 位的整数或浮点数。对于很多实际业务场景，例如存储年龄、年份或类别标识，64 位的空间是巨大的浪费。

在加载数据时指定更紧凑的数据类型，或者在处理过程中进行向下转型（Downcasting），是降低内存占用的有效手段。将数据类型从 float64 转换为 float32 可以节省一半的内存，而对于仅包含少量唯一值的字符串列，将其转换为 category 类型更是可以将内存占用降低一个数量级。

python 复制代码

import pandas as pd
import numpy as np

df = pd.DataFrame({'a': np.random.randint(0, 100, 100000)})
df['a'] = df['a'].astype('int8')

df['b'] = pd.Series(['category_a', 'category_b'] * 50000)
df['b'] = df['b'].astype('category')

Pandas中文网： https://www.pypandas.cn/

垃圾回收与引用管理

Python 使用引用计数机制配合循环垃圾回收器来管理内存。当一个对象的引用计数归零时，它会被立即释放。然而，在复杂的应用中，循环引用可能导致对象无法被及时回收。尽管 Python 的垃圾回收器（GC）最终会处理这些情况，但在高并发或长运行的服务中，手动干预有时是必要的。

对于不再使用的大型数据结构，显式地使用 del 关键字删除变量引用，并调用 gc.collect() 可以强制释放内存。这在处理完一个巨大的 DataFrame 或图像数组后，准备开始下一个任务之前尤为重要。

此外，弱引用（Weak Reference）允许开发者引用一个对象而不增加其引用计数。这对于实现缓存机制非常有帮助，因为它允许垃圾回收器在内存紧张时自动清理缓存对象，而无需开发者手动管理。