Подготовка к интервью
264 вопроса с собеседований в Мвидео
Что проверяют на интервью
Подборка объединяет вопросы, отмеченные на этапах интервью в Мвидео. Здесь можно понять структуру технической проверки и заранее повторить связанные темы. В подборке чаще встречаются темы: go, database, backend.
Каталог
Для переноса данных из материализованного представления Greenplum в ClickHouse можно использовать несколько подходов:
Читать ответАналитические функции (window functions) позволяют выполнять вычисления по наборам строк, связанных с текущей строкой, без группировки данных.
Читать ответДа, в системах оркестрации рабочих процессов (например, Apache Airflow) для управления зависимостями между джобами и DAG часто используют сенсоры (sensors).
Читать ответЕсли данные в топике имеют сильно структурированную древовидную форму и при этом сырые, то для их обработки стоит:
Читать ответРазбиение запроса на этапы помогает упростить обработку, повысить читаемость и масштабируемость. Обычно это делается следующим образом:
Читать ответApache Iceberg — это открытый формат таблиц для аналитических данных, который решает проблемы традиционных файловых хранилищ, таких как Hive или Parquet, особенно в контексте стриминга и больших данных.
Читать ответПомимо написания DAG в Airflow, на Python часто реализуются следующие задачи в области Data Engineering:
Читать ответВ проектах Data Engineer часто приходится работать в команде, но бывают задачи, которые я выполнял самостоятельно — от сбора требований и проектирования архитектуры до реализации и деплоя.
Читать ответGreenplum относится в первую очередь к типу OLAP (Online Analytical Processing). Это распределённая колоночная база данных, оптимизированная для аналитических запросов и обработки больших объёмов данных.
Читать ответGreenplum — это распределённая аналитическая СУБД на базе PostgreSQL, ориентированная на обработку больших объёмов данных.
Читать ответВ ClickHouse действительно нет встроенных функций для парсинга JSON, поэтому обычно парсинг JSON выполняется на стороне приложения или ETL-процесса перед загрузкой данных в ClickHouse.
Читать ответДля загрузки данных в формат Parquet обычно используют следующие технологии и механизмы:
Читать ответ