Подборка объединяет вопросы, отмеченные на этапах интервью в Сбер. Здесь можно понять структуру технической проверки и заранее повторить связанные темы. В подборке чаще встречаются темы: database, sql, backend.
Опишите, какие источники читала процедура, как обновляла витрину и что происходило при повторном запуске или ошибке. Важны корректность и эксплуатация, а не только синтаксис.
Вычисление Spark запускается действием вроде count, collect или записи. Job разбивается на stages по границам shuffle, а stage — на tasks для partitions.
Начните с клиентов и присоедините агрегат транзакций через LEFT JOIN. Отсутствующую сумму замените на 0; фильтр по дате оставьте внутри агрегата или ON.
Отфильтруйте транзакции за нужный день и соедините их с версией клиента, действовавшей в момент операции. Границы дня и периода лучше делать полуоткрытыми.
В классическом градиентном бустинге новый алгоритм учится на отрицательных градиентах функции потерь по текущим предсказаниям. Для квадратичной ошибки это остатки.
При равенстве даты транзакции date_start попадут только операции ровно на начало версии клиента. Остальные даты внутри периода этой версии не совпадут.
Проверка гипотез сопоставляет данные с H0. Ошибка I рода — отвергнуть верную H0, II рода — не отвергнуть ложную. p-value не равен вероятности истинности H0.