Что такое torch.compile и какой backend он использует?

torch.compile — это функция в PyTorch, которая позволяет компилировать модель для ускорения её выполнения. Она преобразует динамическую модель PyTorch в оптимизированый статический граф, что повышает производительность.

В качестве backend torch.compile использует компилятор TorchDynamo, который анализирует и оптимизирует код модели, а затем может применять различные backend-оптимизации, включая:

• Inductor — backend, ориентированный на CPU и GPU, который генерирует эффективный машинный код.
• NVFuser — для оптимизации CUDA-ядр на GPU.

Таким образом, torch.compile позволяет автоматически ускорять модели на GPU (CUDA) и CPU, используя современные технологии компиляции и оптимизации PyTorch.

Пример:

import torch

model = MyModel()
compiled_model = torch.compile(model)
output = compiled_model(input_tensor)