Кроме длительности контролируйте полноту, корректность и свежесть результата, число обработанных и ошибочных записей, повторы и потребление ресурсов. Быстро завершившаяся джоба может ничего полезного не сделать.
Что ещё нужно проверять/мониторить при выполнении батч-джобы, кроме укладывания в дедлайн?
Кроме длительности контролируйте полноту, корректность и свежесть результата, число обработанных и ошибочных записей, повторы и потребление ресурсов. Быстро завершившаяся джоба может ничего полезного не сделать.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Кроме длительности контролируйте полноту, корректность и свежесть результата, число обработанных и ошибочных записей, повторы и потребление ресурсов. Быстро завершившаяся джоба может ничего полезного не сделать.
Сравнивайте ожидаемый объём входа с фактическим, проверяйте контрольные суммы или бизнес-инварианты и фиксируйте watermark обработки. Нужны метрики прогресса, возраст необработанных данных и причины пропусков. Следите за памятью, нагрузкой на БД и внешние API. Повторный запуск должен быть безопасным, а частичный результат — отличимым от полного. Алерт должен указывать, что нарушено и что делать, а не только сообщать о завершении процесса.