Как мы определяем требуемую мощность инфраструктуры для модели?

Мощность определяют по измерениям конкретной модели и целевым RPS, задержке, длинам входа и выхода, размеру батча и запасу на пики. Одного числа параметров модели недостаточно.

Сначала оцените память под веса, промежуточные данные и кеши, затем проведите репрезентативный нагрузочный замер. Разделите latency одного запроса и общую throughput: batching может повысить вторую ценой ожидания. Учтите отказ узла, прогрев, очереди и требуемую доступность. Экстраполяция должна опираться на реальные размеры запросов и целевые процентили, а не только на среднее время.