Сервис модели постоянно висит и раз в неделю в него отправляют клиентов — не кажется ли это неэффективным, и что можно сделать?

Если модель нужна раз в неделю и допустим холодный старт, постоянный выделенный сервис может быть избыточным. Рассмотрите пакетное задание, масштабирование до нуля или общий пул вычислений.

Сначала измерьте стоимость простоя, время загрузки модели, объём очередной партии и допустимое время получения результата. Периодический job может загружать модель, обработать пакет и освобождать ресурсы; очередь сглаживает пики и позволяет повторять отдельные задания. Если нужен немедленный ответ, оставляют минимальный тёплый экземпляр или используют общий endpoint. Решение зависит от SLA, размера модели и доступности ускорителей. «Редкие вызовы» не всегда означают бесполезный простой, если важна готовность без задержки.