Как в Hadoop обеспечивается отказоустойчивость?

В HDFS отказоустойчивость данных обеспечивают репликация блоков или erasure coding, а вычисления могут повторять задачи после сбоя. Для управляющих компонентов нужны отдельные механизмы высокой доступности.

Размещение копий учитывает узлы и стойки. DataNode передают сигналы состояния, а при потере реплик система восстанавливает требуемую избыточность. Отказоустойчивость не заменяет резервное копирование: ошибочное удаление или повреждение на уровне приложения тоже может распространиться. Архитектура HDFS.