Сколько клиентов нужно проскорить за раз и как определить требуемую мощность (например, при базе в 5 миллиардов клиентов)?

Сначала определите дедлайн и объём реально нужного пересчёта. Для N клиентов за T секунд минимальная средняя производительность — N/T; число workers оценивают по измеренной пропускной способности с запасом.

Если нужно обработать 5 млрд записей за сутки, потребуется около 57,9 тыс. клиентов в секунду в среднем. Затем учитывают получение признаков, batching, CPU/GPU, запись результатов, retries и перекос нагрузки. Размер всей базы не означает, что всех нужно скорить одновременно: возможны инкрементальный пересчёт и приоритеты. План подтверждают нагрузочным измерением, а не умножением номинальных характеристик оборудования.