Ускорьте инференс с помощью кэширования torch.compile
Кэширование torch.compile ускоряет загрузку моделей в PyTorch в 2-3 раза.
·
2 просмотров
Кэширование torch.compile ускоряет загрузку моделей в PyTorch в 2-3 раза.