Как определить, что обработка сообщений остановилась из-за пропущенного сообщения, и в какой момент выполнять эту проверку?

Используйте последовательные номера сообщений, ожидаемый следующий номер и ограниченное время ожидания разрыва, если такой порядок предусмотрен протоколом.

Проверяйте номер при поступлении каждого сообщения и дополнительно контролируйте зависший буфер таймером или watchdog. Попросите повтор диапазона либо синхронизируйте снимок состояния. Без гарантированной нумерации отсутствие события нельзя надёжно отличить от нормальной тишины.