Подборка объединяет вопросы, отмеченные на этапах интервью в Сбер. Здесь можно понять структуру технической проверки и заранее повторить связанные темы. В подборке чаще встречаются темы: database, sql, backend.
AQE меняет физический план Spark во время выполнения, используя фактическую статистику. Это помогает адаптироваться к размеру данных и перекосу распределения.
Driver планирует вычисление, cluster manager выделяет ресурсы, executors выполняют задачи над разделами данных. SQL проходит анализ и оптимизацию перед исполнением.
Нормализация устраняет избыточность и аномалии изменения данных через зависимости атрибутов. Для OLTP часто используют 3НФ, но это не универсальное требование.
Проверьте график, тренд, сезонность и устойчивость статистик; дополните это ADF и KPSS. Их нулевые гипотезы различаются, а вывод зависит от настроек теста.
Бизнес определяет смысл и приемлемое качество данных, а инженер предлагает технические проверки и обеспечивает их выполнение. Важно согласовать критерии приёмки.
Логические JOIN определяют, какие пары и несопоставленные строки попадают в результат: INNER, LEFT, RIGHT, FULL и CROSS. Это не физические алгоритмы hash, merge или nested loop.
Сначала выберите интересующие задачи, затем направление: витрины, инженерная разработка, аналитика или ML/AI. Объясните, какой следующий шаг соответствует вашему реальному опыту.
ROC AUC — площадь под кривой зависимости TPR от FPR при изменении порога классификации. Для бинарной задачи она оценивает качество ранжирования положительных и отрицательных объектов.
Градиент вычисляется у функции потерь по текущим предсказаниям ансамбля, а не по порогам дерева. Новое дерево приближает направление уменьшения ошибки.