Как была устроена отказоустойчивость в рекомендательном сервисе с OpenAI? Как строили промпты, как обрабатывали сбои, лимиты на пропускную способность?

Расскажите о реальных ограничениях сервиса: таймаутах, rate limits, стоимости, качестве ответа и допустимом fallback. Не приписывайте проекту механизмы, которых в нём не было.

Надёжный подход включает ограниченную конкурентность, retries подходящих ошибок с backoff, бюджет времени и наблюдаемость. Промпты версионируют, пользовательский ввод отделяют от инструкций, результат валидируют. Fallback может вернуть заранее рассчитанные рекомендации или понятную ошибку, но не вымышленный успешный ответ. Конкретные лимиты зависят от фактического провайдера и аккаунта.