0 torch.complie(model, fullgraph, dynamic, backend, mode, options, disable)
,使用 TorchDynamo 和指定的后端优化给定的模型/函数
对于在编译区域内执行的每一帧,都会尝试编译,并将编译结果缓存到代码对象中,供将来使用。 如果之前的编译结果不适用于后续调用那么单帧可能会被编译多次,这被称为 guard_failure
,此时可以使用 TORCH_LOGS=guards
来进行调试。
TorchDynamo 是一个设计用于加速未修改的 PyTorch 程序的 Python 级即时(JIT)编译器。它通过 Python Frame Evaluation Hooks(Python 框架评估钩子)来实现这一目标,以便在运行时动态地生成和优化代码。这使得 TorchDynamo 可以有效地处理各种 Python 代码,包括包含控制流(如循环和条件语句)的代码,而无需进行任何修改。
1 参数说明
torch.complie(model, fullgraph, dynamic, backend, mode, options, disable)
- model(callable):需要进行优化的模型或者函数
- fullgraph(bool):是否可以将模型分解为多个子图
- dynamic (bool or None): 使用动态 shape 进行 tracing
- True:尝试生成尽可能动态的 kernel,但这个也不总是有效的,因为某些特化优化会使动态 kernel 失效
- False:将不生成任何动态的 kernel,只进行特化优化
- None:默认值,会自动检测是否发生了动态变化,并在重新编译时编译一个更动态的动态内核。
- backend (str or Callable):使用的后端
- inductor,默认的后端,在性能和开销之间有较好的平衡
- 可以使用
torch._dynamo.list_backends()
查看非实验性树内后端 - 可使用
torch._dynamo.list_backends(None)
查看实验性或调试性的树内后端 - 注册树外后端的方式:https://pytorch.org/docs/main/compile/custom-backends.html
- mode(str),可以配置的值:"default", "reduce-overhead", "max-autotune" or "max-autotune-no-cudagraphs"
- default:默认模式,在性能和开销之间进行很好的平衡
- reduce-overhead:降低开销模式,小 batch 的场景比较有用,降低 python 使用 CUDA garphs 的开销。降低开销的代价是使用更多的内存,因为会缓存调用所需的工作区内存,这样就在后续运行中无需重新分配。减少开销并不能保证一定有效,只是减少了不改变输入的 CUDA graphs 的开销。在 CUDA graphs 不适用的其他情况下,可以使用 TORCH_LOG=perf_hints 来进行 debug。
- max-autotune:利用基于 Triton 的矩阵乘法和卷积的模,默认开启 CUDA graphs。
- max-autotune-no-cudagraphs:与 max-autotune 模式类似,但是不开启 CUDA graphs。
- 调用
torch._inductor.list_mode_options()
可以查看每个模式的具体配置。
- options (dict): 传递给后端的一些字典选项,一些值得尝试的配置:
epilogue_fusion
,将点对点融合设置到模板中,需要同时设置max_autotune
max_autotune
,通过配置文件选择最佳的 matmul 配置fallback_random
,在调试精度问题的时候比较有用shape_padding
,填充矩阵形状,以便更好地调整 GPU 上的负载,尤其是张量内核的负载triton.cudagraphs
,可减少 Python 在使用 CUDA graphs 时的开销trace.enabled
,最好用的 debug 选项,建议打开trace.graph_diagram
,将显示融合后的 graph 的图片- 可以通过调用
torch._inductor.list_options()
查看支持的全部配置列表
- disable (bool): 将 torch.compile 设置为 no-op 的测试模式
2 额外说明
-
这个函数一开始有这么一行:
_C._log_api_usage_once("torch.compile")
,这个是用来进行调试的。_C._log_api_usage_once("torch.compile")
,这是严格意义上的调试,很可能大部分使用都是在 facebook 内部进行的。如果设置环境变量PYTORCH_API_USAGE_STDERR=1
,就能看到 PyTorch 记录了 "涉及 PyTorch 的哪些部分",这很可能会在出现意外情况时大致知道该去哪里找(以及找谁)。这个函数出现的原因是 pytorch 现在的规模已经很多大了,往往会出现很多意想不到的交互调用,这个函数可以帮助缩小 debug 的范围。
-
这个函数的作用是使用 TorchDynamo 和指定的后端优化给定的模型/函数,进行包装和参数配置的设置,最终会调用
torch._dynamo.optimize
进行优化处理。