Подготовка к интервью
33 вопроса с собеседований в Лоция
Что проверяют на интервью
Подборка объединяет вопросы, отмеченные на этапах интервью в Лоция. Здесь можно понять структуру технической проверки и заранее повторить связанные темы. В подборке чаще встречаются темы: project experience, Airflow, airflow.
Каталог
Возьмите зерно из банки с этикеткой «смесь». Поскольку все этикетки неверны, эта банка содержит один чистый продукт, и зерно однозначно определяет её содержимое.
Читать ответDAG описывает задачи и зависимости без направленных циклов. Airflow планирует и отслеживает их запуск; сами вычисления выполняются выбранным механизмом исполнения.
Читать ответОпишите собственный путь данных: запись Parquet с согласованной схемой, размещение в доступном хранилище, загрузку поддерживаемым механизмом целевой СУБД и проверку результата.
Читать ответRetry — повторная попытка задачи после сбоя. Она помогает пережить временную недоступность сервиса, но не исправляет постоянно неверные данные или ошибочную логику.
Читать ответВыберите реальную проблему и покажите измерения: перекос распределения, лишние пересылки данных, плохую статистику, spill на диск или ожидание ресурсов.
Читать ответДекоратор принимает функцию или класс и возвращает объект, который будет связан с прежним именем. @decorate над def f соответствует применению f = decorate(f).
Читать ответSpark делит данные на партиции и выполняет работу над ними на executors. Driver строит план, а вычисления запускаются при действиях, которым нужен результат.
Читать ответlist — изменяемая последовательность, tuple — неизменяемая последовательность. Кроме них в Python есть dict для пар ключ—значение и set/frozenset для уникальных элементов.
Читать ответSalting разбивает слишком частый ключ на несколько искусственных подгрупп, добавляя к нему «соль». Это распределяет нагрузку, которую иначе получила бы одна перегруженная партиция.
Читать ответДля SQL и DataFrame Spark строит и оптимизирует план запроса, в частности с помощью Catalyst. Опыт работы с оптимизатором показывают через анализ плана и устранение конкретной причины медленного выполнения.
Читать ответГенератор выдаёт значения по мере обхода через yield, не создавая всю последовательность сразу. Контекстный менеджер задаёт вход и выход из блока with, в том числе очистку при исключении.
Читать ответHook в Airflow инкапсулирует работу с внешним сервисом и получение параметров подключения. Благодаря этому логика задачи не должна самостоятельно разбирать и хранить учётные данные.
Читать ответ