За что отвечает Row Group в структуре Parquet-файла?
Row group — горизонтальная группа строк Parquet, внутри которой для каждой колонки хранится свой column chunk. Чанки состоят из страниц.
Читать ответПодготовка к интервью
3834 вопроса с собеседований в Сбер
Что проверяют на интервью
Подборка объединяет вопросы, отмеченные на этапах интервью в Сбер. Здесь можно понять структуру технической проверки и заранее повторить связанные темы. В подборке чаще встречаются темы: database, sql, backend.
Каталог
Row group — горизонтальная группа строк Parquet, внутри которой для каждой колонки хранится свой column chunk. Чанки состоят из страниц.
Читать ответБэггинг обучает модели на разных выборках и объединяет ответы, преимущественно снижая дисперсию. Бустинг последовательно добавляет модели, исправляющие ошибки ансамбля.
Читать ответРазделите числа по чётности, независимо пронумеруйте обе группы и соедините их FULL OUTER JOIN по номеру строки. Повторы сохраняются.
Читать ответSpark использует broadcast hash, shuffled hash, sort-merge и nested loop; для некоторых условий возможен Cartesian product. Выбор зависит от ключей и размеров.
Читать ответДа, условие WHERE по дате правой таблицы обычно исключит клиентов без подходящей транзакции. Чтобы сохранить всех клиентов, перенесите фильтр в ON.
Читать ответLEFT SEMI JOIN возвращает строки слева, для которых есть совпадение справа; LEFT ANTI JOIN — строки без совпадения. Колонки правой стороны не выводятся.
Читать ответПронумеруйте версии клиента по убыванию start_date и выберите первую через ROW_NUMBER. При одинаковых датах нужен дополнительный порядок.
Читать ответОсновные физические алгоритмы JOIN — nested loop, hash join и merge join. Это способы выполнения, в отличие от логических INNER, LEFT и других типов.
Читать ответУ слабо стационарного ряда постоянны среднее и дисперсия, а ковариация зависит от лага, но не от момента времени. Это важно для многих классических моделей.
Читать ответПартицирование делит таблицу на части; шардирование распределяет данные между узлами. Эти подходы можно сочетать, например партиционировать каждый шард по дате.
Читать ответParquet — типизированный колоночный формат для аналитики; CSV — текстовые строки с разделителями, обычно без встроенной схемы типов.
Читать ответИспользуйте math.prod: функция перемножает элементы и возвращает 1 для пустого списка. Альтернатива — цикл с начальным произведением 1.
Читать ответ