Как передавать данные между разными задачами Airflow?
В Apache Airflow для передачи данных между задачами обычно используют XCom (Cross-Communication).
Читать ответПодготовка к интервью
39 вопросов с собеседований в FOM GROUP
Что проверяют на интервью
Подборка объединяет вопросы, отмеченные на этапах интервью в FOM GROUP. Здесь можно понять структуру технической проверки и заранее повторить связанные темы. В подборке чаще встречаются темы: clickhouse, airflow, python.
Каталог
В Apache Airflow для передачи данных между задачами обычно используют XCom (Cross-Communication).
Читать ответClickHouse — это колоночная аналитическая СУБД, оптимизированная для обработки больших объёмов данных с высокой скоростью чтения.
Читать ответЛоги задач Airflow обычно состоят из нескольких ключевых частей:
Читать ответВ PostgreSQL существуют следующие основные типы индексов:
Читать ответОконные функции в SQL используются для выполнения вычислений по набору строк, связанных с текущей строкой, без группировки данных и без изменения количества строк в результате.
Читать ответМои знания Python достаточно углублённые, я использую его для обработки данных, автоматизации и разработки ETL-процессов.
Читать ответОшибка 403 при попытке открыть логи обычно означает отказ в доступе. Нужно проверить:
Читать ответThreadPoolExecutor уместен, когда нужно эффективно управлять пулом потоков для выполнения большого количества задач параллельно, но при этом ограничить количество одновременно работающих потоков.
Читать ответClickHouse использует несколько уровней сжатия для оптимизации хранения данных и повышения скорости чтения. Основная идея — сжимать данные по столбцам, так как ClickHouse — колоночная СУБД.
Читать ответCTE (Common Table Expression) — это временный именованный результат запроса, который можно использовать внутри основного SQL-запроса.
Читать ответPandas предоставляет удобные структуры данных — Series и DataFrame — которые значительно упрощают работу с табличными данными по сравнению с обычными списками и словарями Python. Основные преимущества:
Читать ответИндексы в базах данных нужны для ускорения поиска и выборки данных. Они работают как указатели на строки в таблице, позволяя СУБД быстро находить нужные записи без полного сканирования таблицы.
Читать ответ