Подготовка к интервью
33 вопроса с собеседований в Лоция
Что проверяют на интервью
Подборка объединяет вопросы, отмеченные на этапах интервью в Лоция. Здесь можно понять структуру технической проверки и заранее повторить связанные темы. В подборке чаще встречаются темы: project experience, Airflow, airflow.
Каталог
Greenplum — распределённая аналитическая СУБД на базе PostgreSQL. Основное отличие — MPP: данные и выполнение запросов распределены между сегментами, которые работают параллельно.
Читать ответИнтерфейс Hook зависит от провайдера и внешней системы. Обычно он даёт доступ к настроенному соединению и операциям над сервисом; универсального набора бизнес-методов у всех hooks нет.
Читать ответpandas — библиотека табличного анализа в одном процессе, PySpark — Python-интерфейс распределённого Spark, а Polars использует колоночный движок с параллельным выполнением и ленивыми запросами.
Читать ответПартиционирование делит логическую таблицу на части по правилу, например по месяцам или регионам. Это помогает отбрасывать ненужные части при чтении и отдельно обслуживать данные.
Читать ответOperator описывает действие задачи, Hook инкапсулирует подключение к внешней системе, а XCom передаёт небольшие значения между задачами.
Читать ответДа, ключом партиционирования может быть не только дата: используют диапазоны чисел, списки значений или хеш ключа, если выбранная СУБД это поддерживает.
Читать ответОбычный VACUUM очищает место от недоступных версий строк для повторного использования и выполняет обслуживание видимости. VACUUM ANALYZE дополнительно обновляет статистику для планировщика.
Читать ответФайлы открывают через open с нужным режимом и закрывают через контекстный менеджер with. Для текста указывают кодировку, для бинарных данных используют режимы rb и wb.
Читать ответHeap хранит строки в обычных страницах и удобен для изменяемых данных. Append-optimized ориентирован на аналитические нагрузки и пакетную загрузку, поддерживает сжатие и разные ориентации хранения.
Читать ответ