Мы модель обернём в контейнер, нет?

Модель можно запускать в контейнере вместе с сервисом инференса, но контейнеризация сама по себе не решает масштабирование, управление весами и требования к GPU.

Уточните, речь об обучении или обслуживании запросов. Зафиксируйте зависимости и runtime, определите способ доставки версии весов, лимиты ресурсов и readiness после загрузки модели.

Большие веса часто удобнее хранить отдельно от базового образа, сохраняя проверяемую версию и целостность. Для GPU требуется совместимость драйвера хоста и контейнерного runtime. Добавьте контроль очереди, batching при необходимости, метрики задержки и безопасный rollout. Решение зависит от требований, а не от того, что «все сервисы должны быть контейнерами».