[имя] спросил: При canary-деплое в Dostavista твой скрипт сравнивал метрики canary со stable: как именно ты избегал ситуации, когда у canary недостаточно трафика для статистической значимости, и при каком условии скрипт всё-таки откатывал релиз?

При недостаточном трафике canary нельзя считать успешным: нужны минимальная выборка и окно наблюдения, а для тяжёлых ошибок — отдельные аварийные пороги.

Короткий ответ

Что ответить на собеседовании

При недостаточном трафике canary нельзя считать успешным: нужны минимальная выборка и окно наблюдения, а для тяжёлых ошибок — отдельные аварийные пороги.

Подробный разбор

Ответ с пояснениями

При недостаточном трафике canary нельзя считать успешным: нужны минимальная выборка и окно наблюдения, а для тяжёлых ошибок — отдельные аварийные пороги.

Сравнивайте сопоставимые запросы и доли ошибок, учитывая интервалы неопределённости и проверяемые гипотезы. При малой выборке продлевайте этап или безопасно увеличивайте долю трафика. Нарушение жёстких ограничений, например массовые 5xx, может требовать отката без ожидания статистической значимости. Конкретные пороги проекта из вопроса неизвестны — их нельзя выдумывать.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее