Система уже в проде. Как понять, что она работает, и как расследовать конкретную проблему?

Контролируйте сквозной результат: сколько событий принято, обработано, потеряно в ошибках и какова задержка.

Для расследования связывайте запрос, событие и изменение состояния общими идентификаторами. Метрики и оповещения показывают проблему, а журнал обработки и сверка с источником помогают найти конкретный сбой.