Сначала ограничьте ущерб и согласуйте действия с владельцами зависимостей. Затем найдите блокирующую операцию, восстановите сервис и устраните причину длинной транзакции или нагрузки.
Как разбираться с инцидентом, когда твой сервис влияет на другие сервисы (например, блокирует таблицы в БД)?
Сначала ограничьте ущерб и согласуйте действия с владельцами зависимостей. Затем найдите блокирующую операцию, восстановите сервис и устраните причину длинной транзакции или нагрузки.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Сначала ограничьте ущерб и согласуйте действия с владельцами зависимостей. Затем найдите блокирующую операцию, восстановите сервис и устраните причину длинной транзакции или нагрузки.
Соберите идентификаторы запросов, возраст транзакций, цепочку блокировок, недавние изменения и влияние на SLO. Безопасная мера может включать остановку проблемного задания, rollback релиза или ограничение трафика.
Принудительное завершение запроса делайте осознанно: откат тоже может занять время. После инцидента исправьте порядок блокировок, размер партий, таймауты и наблюдаемость. Не перекладывайте ответственность на соседний сервис только потому, что симптом виден у него.