函数记忆化指的是将函数的调用参数和对应的返回结果保存下来,当后续使用相同参数调用函数时,直接返回缓存的结果,不需要再次执行函数逻辑。在Python中实现函数记忆化缓存装饰器,核心是利用装饰器的特性包装目标函数,同时维护一个缓存容器存储历史调用数据。

实现核心思路
要实现通用的函数记忆化缓存装饰器,需要解决几个关键问题:如何唯一标识一次函数调用、如何存储缓存数据、如何处理不同参数类型的函数。整体思路可以分为以下几步:
- 装饰器内部维护一个字典作为缓存容器,键为函数调用的唯一标识,值为函数的返回结果
- 对函数的入参进行序列化处理,生成可哈希的键,确保相同参数能对应同一个缓存键
- 在函数执行前先检查缓存,若缓存命中则直接返回结果,否则执行函数并将结果存入缓存
- 处理函数的可变参数、关键字参数等场景,保证装饰器的通用性
基础版本实现
先实现一个支持固定位置参数的简单缓存装饰器,这个版本适合参数都是可哈希类型的场景:
def memoize(func):
cache = {}
def wrapper(*args):
# 将位置参数作为缓存键
if args in cache:
print(f"缓存命中,参数:{args}")
return cache[args]
# 执行原函数并缓存结果
result = func(*args)
cache[args] = result
return result
return wrapper
# 使用示例
@memoize
def add(a, b):
print("执行add函数计算")
return a + b
print(add(1, 2)) # 第一次调用,执行计算
print(add(1, 2)) # 第二次调用相同参数,命中缓存
print(add(2, 3)) # 新参数,执行计算
支持关键字参数的通用版本
上面的基础版本不支持关键字参数,也不支持参数包含不可哈希类型的情况,下面实现更通用的版本,处理位置参数和关键字参数,同时对参数进行哈希处理:
import functools
def memoize(func):
cache = {}
@functools.wraps(func)
def wrapper(*args, **kwargs):
# 将位置参数和关键字参数组合成可哈希的键
# 关键字参数排序后转为元组,保证相同参数不同顺序也能命中缓存
key = (args, tuple(sorted(kwargs.items())))
if key in cache:
print(f"缓存命中,参数:{key}")
return cache[key]
result = func(*args, **kwargs)
cache[key] = result
return result
return wrapper
# 使用示例
@memoize
def multiply(a, b, scale=1):
print("执行multiply函数计算")
return a * b * scale
print(multiply(2, 3)) # 第一次调用
print(multiply(2, 3, scale=1)) # 相同参数不同写法,命中缓存
print(multiply(2, 3, scale=2)) # 新参数,执行计算
带缓存过期时间的版本
实际业务中可能需要缓存一段时间后失效,下面实现支持设置缓存过期时间的装饰器,使用时间戳判断缓存是否过期:
import functools
import time
def memoize_with_expire(expire_seconds=60):
def decorator(func):
cache = {}
@functools.wraps(func)
def wrapper(*args, **kwargs):
key = (args, tuple(sorted(kwargs.items())))
current_time = time.time()
# 检查缓存是否存在且未过期
if key in cache:
result, timestamp = cache[key]
if current_time - timestamp < expire_seconds:
print(f"缓存命中,参数:{key}")
return result
# 缓存不存在或已过期,执行函数并更新缓存
result = func(*args, **kwargs)
cache[key] = (result, current_time)
return result
return wrapper
return decorator
# 使用示例
@memoize_with_expire(expire_seconds=2)
def get_data(param):
print("执行get_data函数获取数据")
return f"data_{param}"
print(get_data("test")) # 第一次调用
print(get_data("test")) # 2秒内调用,命中缓存
time.sleep(3)
print(get_data("test")) # 超过过期时间,重新执行函数
注意事项
使用自定义记忆化缓存装饰器时需要注意以下几点:
- 被缓存的函数应该是纯函数,即相同输入始终返回相同输出,且没有副作用,否则缓存结果可能导致逻辑错误
- 如果函数的参数包含不可哈希类型(如列表、字典),上面的通用版本会报错,需要额外对参数进行序列化处理,比如使用json.dumps转为字符串作为键
- 缓存会占用内存,对于调用参数非常多或者结果非常大的函数,需要评估缓存的内存开销,避免内存溢出
- 如果需要线程安全的缓存,需要给缓存操作加锁,避免多线程场景下缓存数据不一致
与内置工具的对比
Python标准库的functools模块提供了lru_cache装饰器,已经实现了完善的函数记忆化功能,支持缓存大小限制、缓存统计等特性。自定义装饰器的优势是可以根据业务需求灵活扩展,比如添加缓存过期、缓存持久化、缓存命中统计等自定义逻辑。如果只是需要基础的记忆化功能,优先使用内置的lru_cache即可,减少重复开发的工作量。
自定义记忆化缓存装饰器的核心逻辑并不复杂,理解实现思路后可以根据实际需求灵活调整,这也是掌握Python装饰器特性的很好的实践方式。