Подготовка к интервью
Разбирайте реальные вопросы, сверяйтесь с подробными ответами и готовьтесь по технологиям и компаниям.
Проверьте, насколько резюме подходит выбранной позиции, и получите рекомендации по улучшению.
Каталог
Множество маленьких файлов создаёт много метаданных в NameNode и накладных расходов на открытие, планирование и чтение. Это плохо соответствует модели HDFS, рассчитанной на крупные последовательные данные.
Читать ответОсновные части Hadoop — HDFS для распределённого хранения, YARN для управления ресурсами, MapReduce для пакетных вычислений и Common с общими библиотеками.
Читать ответВ HDFS отказоустойчивость данных обеспечивают репликация блоков или erasure coding, а вычисления могут повторять задачи после сбоя. Для управляющих компонентов нужны отдельные механизмы высокой доступности.
Читать ответ