Как в целом устроен путь ML/LLM-приложения от Dockerfile и исходного кода до развёрнутого сервиса и пользовательского трафика в Kubernetes?

Исходники превращаются в версионированный контейнерный образ, CI проверяет его и публикует в registry. Kubernetes разворачивает реплики, а Service и входной маршрутизатор доставляют им трафик.

Конфигурация и секреты задаются отдельно от образа; веса модели могут загружаться из контролируемого хранилища с проверкой версии. Deployment описывает ресурсы, health/readiness и обновление; для GPU указывают соответствующие лимиты и размещение. После прогрева readiness открывает трафик через Ingress/Gateway. Нужны наблюдаемость, лимиты очередей, autoscaling по подходящей нагрузке, canary и откат согласованной версии кода/модели. Один успешный запуск Pod ещё не означает готовность ML-сервиса.