Python面试题：Python中的记忆化与缓存技术

在Python中，记忆化（Memoization）和缓存（Caching）技术是用来提高函数执行效率的重要方法。它们通过存储已经计算过的结果来避免重复计算，尤其适用于计算量大、重复调用多的函数。

记忆化（Memoization）

记忆化是一种缓存技术，主要用于递归函数中。它通过保存之前计算过的结果，避免重复计算。

手动实现记忆化

我们可以使用一个字典来手动实现记忆化。以下是计算斐波那契数列的例子：

def fib(n, memo={}):
    if n in memo:
        return memo[n]
    if n <= 1:
        return n
    memo[n] = fib(n-1, memo) + fib(n-2, memo)
    return memo[n]

# 测试
print(fib(10))  # 输出 55

在这个例子中，我们使用 memo 字典来存储已经计算过的斐波那契数。当我们需要计算一个新的斐波那契数时，首先检查它是否在 memo 中，如果在则直接返回结果，否则进行计算并将结果存储在 memo 中。

使用 functools.lru_cache

Python提供了一个更方便的记忆化方法，就是使用 functools 模块中的 lru_cache 装饰器。LRU 代表最近最少使用（Least Recently Used），它可以自动管理缓存的大小。

示例

from functools import lru_cache

@lru_cache(maxsize=None)  # maxsize 为缓存的最大数量，设置为 None 表示无限制
def fib(n):
    if n <= 1:
        return n
    return fib(n-1) + fib(n-2)

# 测试
print(fib(10))  # 输出 55

使用 @lru_cache 装饰器，我们无需手动管理缓存，functools.lru_cache 会自动处理所有细节，包括缓存的大小和过期策略。

缓存（Caching）

缓存不仅限于递归函数，还可以用于任何需要存储和重用计算结果的场景。常见的缓存库包括 cachetools 和 requests-cache。

使用 cachetools

cachetools 提供了多种缓存策略，包括LRU缓存、LFU缓存等。

from cachetools import LRUCache, cached

cache = LRUCache(maxsize=100)

@cached(cache)
def expensive_function(x):
    print(f"Computing {x}")
    return x * x

# 测试
print(expensive_function(4))  # 输出 "Computing 4" 和 16
print(expensive_function(4))  # 仅输出 16，因为结果被缓存了

使用 requests-cache

requests-cache 是一个用于缓存HTTP请求的库，可以极大地提高网络请求密集型应用的性能。

import requests
from requests_cache import CachedSession

# 创建一个缓存会话
session = CachedSession('demo_cache', expire_after=300)

# 发送HTTP请求
response = session.get('https://api.github.com')

# 测试
print(response.json())

在这个例子中，requests-cache 会将HTTP请求的响应缓存起来，避免短时间内重复请求同一个URL，提高了性能。

总结

记忆化和缓存技术是Python中优化计算性能的有效方法。记忆化主要用于递归函数，常通过手动实现或使用 functools.lru_cache 装饰器来实现。缓存则更广泛地应用于需要重用计算结果的场景，可以使用 cachetools 和 requests-cache 等库来实现。通过合理地使用这些技术，可以显著提高程序的执行效率。