[имя] автоматизировал более 200 метрик в Prometheus, и MTTA снизился с 30 до 5 минут. Как ты избежал alert fatigue? Какой процент срабатываний является настоящими инцидентами и как ты отсекаешь ложные срабатывания на этапе написания правил?

Бороться с alert fatigue нужно через полезность каждого сигнала, а долю настоящих инцидентов считать по фактической истории оповещений.

Приоритизируйте влияние на пользователя, используйте длительность условия, группировку и inhibition зависимых сигналов. Проверяйте правила на исторических данных и разбирайте ложные срабатывания. Уточните, что именно считалось MTTA; число метрик само по себе не объясняет его снижение.