Python上下文管理器与with语句——资源管理的艺术

江南十四行2026-05-09 15:01

一、引言：为什么需要上下文管理器？

在编写代码时，我们经常需要处理资源的获取和释放：打开文件后要关闭、获取锁后要释放、连接数据库后要断开等。如果忘记释放资源，会导致内存泄漏、文件句柄耗尽、死锁等问题。

Python的`with`语句和上下文管理器（Context Manager）提供了一种优雅的解决方案：它自动管理资源的设置和清理，即使在发生异常时也能保证清理代码被执行。这种模式遵循"获取-使用-释放"的生命周期，让代码更加清晰、安全。

本文将带你全面掌握Python上下文管理器，从基础协议到高级应用，并给出多个实战案例。

传统的资源管理方式在上下文管理器出现之前，我们通常使用`try/finally`来保证资源释放：

python 复制代码 
# 传统方式：手动关闭文件
f = open('data.txt', 'r')
try:
    content = f.read()
    print(content)
finally:
    f.close()

# 传统方式：手动释放锁
import threading
lock = threading.Lock()
lock.acquire()
try:
    # 临界区代码
    pass
finally:
    lock.release()

这种方式虽然可靠，但代码冗长，且容易忘记写`finally`。上下文管理器正是为了解决这个问题。

二、 `with`语句与上下文管理器协议

上下文管理器协议包含两个方法：

  • `enter(self)`：进入上下文时调用，返回值可以通过`as`子句绑定到变量

  • `exit(self, exc_type, exc_val, exc_tb)`：退出上下文时调用，用于资源清理。如果方法返回`True`，则抑制异常；返回`False`或不返回，异常会继续传播。

使用`with`语句的示例：

python 复制代码 
with open('data.txt', 'r') as f:
    content = f.read()
    print(content)
# 文件自动关闭，即使发生异常也会关闭

`open`函数返回的文件对象实现了上下文管理器协议，因此可以这样使用。

三、 基于类的上下文管理器

我们可以自定义类来实现上下文管理器。

3.1 基础示例：简单的文件管理

python 复制代码 
class ManagedFile:
    def __init__(self, filename, mode):
        self.filename = filename
        self.mode = mode
        self.file = None
    
    def __enter__(self):
        self.file = open(self.filename, self.mode)
        return self.file
    
    def __exit__(self, exc_type, exc_val, exc_tb):
        if self.file:
            self.file.close()
        # 不抑制异常，返回False即可
        return False
# 使用
with ManagedFile('hello.txt', 'w') as f:
    f.write('Hello, context manager!')

3.2 处理异常并决定是否抑制

python 复制代码 
class SuppressValueError:
    def __enter__(self):
        return self
    
    def __exit__(self, exc_type, exc_val, exc_tb):
        if exc_type is ValueError:
            print(f"捕获并抑制ValueError: {exc_val}")
            return True  # 抑制异常
        return False  # 其他异常继续传播
with SuppressValueError():
    x = int("not a number")  # 引发ValueError，但被抑制，程序不会崩溃
    print("这行不会执行")

print("继续执行")  # 会执行

3.3 支持`as`子句的多个返回值

`enter`可以返回元组，通过`as`解包：

python 复制代码 
class MultipleResources:
    def __enter__(self):
        return (open('a.txt', 'r'), open('b.txt', 'w'))
    
    def __exit__(self, *args):
        for res in self.resources:
            res.close()

# Python 3.10+ 支持解包
with MultipleResources() as (f1, f2):
    data = f1.read()
    f2.write(data)

四、 基于`contextlib`的上下文管理器

Python的`contextlib`模块提供了简化上下文管理器编写的工具。

4.1 `@contextmanager`装饰器

使用`yield`将代码分为`enter`和`exit`两部分，无需定义类。

python 复制代码 
from contextlib import contextmanager

@contextmanager
def managed_file(filename, mode):
    f = open(filename, mode)
    try:
        yield f  # 这就是__enter__返回的值
    finally:
        f.close()  # 相当于__exit__

with managed_file('test.txt', 'w') as f:
    f.write('Hello from contextmanager!')

4.2 `closing`上下文管理器

对于提供了`close()`方法但没有实现上下文协议的对象，可以使用`closing`。

python 复制代码 
from contextlib import closing
from urllib.request import urlopen

with closing(urlopen('http://example.com')) as page:
    for line in page:
        print(line)

4.3 `suppress`忽略异常

python 复制代码 
from contextlib import suppress
with suppress(FileNotFoundError):
    os.remove('temp.txt')  # 如果文件不存在，不抛出异常

4.4 `redirect_stdout`重定向输出

python 复制代码 
from contextlib import redirect_stdout
import io
f = io.StringIO()
with redirect_stdout(f):
    print("这条输出被捕获了")
output = f.getvalue()
print(output)  # 这条输出是捕获的内容

五、 嵌套上下文管理器

Python 3.1+ 允许在一个`with`语句中指定多个上下文管理器。

python 复制代码 
with open('input.txt', 'r') as infile, open('output.txt', 'w') as outfile:
    outfile.write(infile.read())

# 等价于嵌套写法
with open('input.txt', 'r') as infile:
    with open('output.txt', 'w') as outfile:
        outfile.write(infile.read())

如果需要动态数量的上下文，可以使用`ExitStack`：

python 复制代码 
from contextlib import ExitStack

files = ['a.txt', 'b.txt', 'c.txt']
with ExitStack() as stack:
    fhandles = [stack.enter_context(open(fname, 'w')) for fname in files]
    # 所有文件都会在退出时自动关闭

六、异步上下文管理器（`async with`）

Python 3.7+ 支持异步上下文管理器，用于异步资源管理（如异步数据库连接）。需要定义`aenter`和`aexit`。

python 复制代码 
import asyncio

class AsyncResource:
    async def __aenter__(self):
        print("异步进入")
        await asyncio.sleep(0.1)
        return self
    
    async def __aexit__(self, exc_type, exc_val, exc_tb):
        print("异步退出")
        await asyncio.sleep(0.1)
        return False

async def main():
    async with AsyncResource() as res:
        print("使用资源")

asyncio.run(main())

也可以使用`@asynccontextmanager`：

python 复制代码 
from contextlib import asynccontextmanager

@asynccontextmanager
async def async_managed():
    print("进入")
    yield "资源"
    print("退出")

async def main():
    async with async_managed() as value:
        print(value)

七、 实战应用场景

7.1 自动文件操作（已演示）

7.2 数据库事务管理

python 复制代码 
import sqlite3

class Transaction:
    def __init__(self, conn):
        self.conn = conn
    
    def __enter__(self):
        self.conn.execute("BEGIN")
        return self.conn
    
    def __exit__(self, exc_type, exc_val, exc_tb):
        if exc_type is None:
            self.conn.commit()
        else:
            self.conn.rollback()
        return False

conn = sqlite3.connect('mydb.db')
with Transaction(conn) as cursor:
    cursor.execute("INSERT INTO users (name) VALUES (?)", ("Alice",))
    # 若发生异常，自动回滚

7.3 计时器上下文

python 复制代码 
import time
from contextlib import contextmanager

@contextmanager
def timer(name):
    start = time.perf_counter()
    try:
        yield
    finally:
        elapsed = (time.perf_counter() - start) * 1000
        print(f"{name} 耗时: {elapsed:.4f} ms")

with timer("数据处理"):
    sum(range(10**6))

7.4 红绿灯锁（超时锁）

python 复制代码 
import threading
from contextlib import contextmanager

@contextmanager
def timed_lock(lock, timeout=1.0):
    """带超时的锁上下文，超时则抛出异常"""
    acquired = lock.acquire(timeout=timeout)
    if not acquired:
        raise TimeoutError("获取锁超时")
    try:
        yield
    finally:
        lock.release()

lock = threading.Lock()
with timed_lock(lock, timeout=0.1):
    # 临界区
    pass

7.5 临时环境变量

python 复制代码 
import os
from contextlib import contextmanager
@contextmanager
def temp_env_var(key, value):
    old_value = os.environ.get(key)
    os.environ[key] = value
    try:
        yield
    finally:
        if old_value is None:
            del os.environ[key]
        else:
            os.environ[key] = old_value

with temp_env_var("MYVAR", "hello"):
    print(os.environ["MYVAR"])  # hello
# 恢复原值

八、总结

本文详细讲解了Python上下文管理器的方方面面：

  • 上下文管理器协议：`enter`和`exit`

  • 基于类的实现和`contextlib`快捷方式

  • 嵌套上下文`ExitStack`

  • 异步上下文管理器

  • 实战场景：文件、事务、计时、锁、环境变量

使用上下文管理器可以让资源管理代码更加安全、简洁。无论是标准库中的`with open`，还是自定义的复杂资源管理，都应该优先采用这种模式。记住：但凡有获取和释放成对操作的地方，就该考虑上下文管理器。

相关推荐
时间静止不是简史6 小时前
生产事故排查：Redis 宕机导致补偿队列消费线程死亡，通话录音未上送业务平台
java·redis
2301_32241428049 小时前
基于SpringBoot+Vue的休闲零食超市管理系统的设计与实现59004-计算机毕设 原创（免费领源码+部署教程+开发环境）
java·vue.js·spring boot·redis·mysql·决策树·推荐算法
金銀銅鐵11 小时前
[Java] 用 GUI 展示 EnumSet 增减元素时的内部变化（上）
java·后端·ai编程
福建佰胜张工12 小时前
SMC 薄型气爪 MHF2-16D1 深度解析：平行开闭、低剖面结构在自动化装配中的选型与落地
java·服务器·安全·自动化
catoop12 小时前
API Key 设计与安全生成方案：结构拆解、数据库设计与 Java 实现
java·数据库·安全
Web极客码12 小时前
我用 Claude 分析 Redis 哨兵日志，实现跨机房数据不一致自动对齐
数据库·redis·php
库库的数据库笔记12 小时前
国产信创数据库的MySQL兼容性深度对比解析
大数据·数据库·mysql·oceanbase·政务
system_error_x12 小时前
SpringBoot 集成 Thymeleaf 简洁入门
java·spring boot·后端
驭渊的小故事13 小时前
Spring AI Alibaba 实战：从maven依赖治理到声明式工具调用
java·人工智能·spring
热门推荐
01国内可直接用、免费额度/永久免费的大模型API清单（含 SiliconFlow、火山、阿里、智谱、百度、Kimi、DeepSeek、DMXAPI 等）02如何新建文件夹？ 电脑新建文件夹的4种方法03GitHub 镜像站点04历年考研数学一、数学二、数学三真题试卷及答案PDF05ai安全工具:CyberStrikeAI安装部署与使用06几个好用的ip纯净度检测网站07苹果iPA游戏软件资源下载网站08昇腾910B系列芯片完全指南：四款型号对比、服务器选型与大模型部署实战09「全语录+省流版」邵艾伦 × 孙宇晨：聊风口、聊个人IP、聊年轻人如何抓住 AI 时代的机会10乙二醇水溶液物性参数