Подготовка к интервью
4 вопроса по Hadoop с технических собеседований
Что проверяют на интервью
На странице собраны вопросы по Hadoop — от проверки базовых принципов до практического применения и архитектурных решений. В подборке чаще встречаются темы: hadoop, Hadoop, HDFS.
Каталог
Множество маленьких файлов создаёт много метаданных в NameNode и накладных расходов на открытие, планирование и чтение. Это плохо соответствует модели HDFS, рассчитанной на крупные последовательные данные.
Читать ответОсновные части Hadoop — HDFS для распределённого хранения, YARN для управления ресурсами, MapReduce для пакетных вычислений и Common с общими библиотеками.
Читать ответNameNode управляет пространством имён HDFS и метаданными файлов и блоков. DataNode хранит сами блоки и обслуживает чтение и запись данных клиентами.
Читать ответВ HDFS отказоустойчивость данных обеспечивают репликация блоков или erasure coding, а вычисления могут повторять задачи после сбоя. Для управляющих компонентов нужны отдельные механизмы высокой доступности.
Читать ответ