Утечка данных (data leakage) в машинном обучении — это ситуация, когда в процессе обучения модели используются данные, которые в реальной задаче недоступны или содержат информацию из будущего, что приводит к завышенной оценке качества модели.
Что такое data leakage и откуда оно берётся?
Опасность утечки данных в том, что модель кажется очень точной на тренировочных и валидационных данных, но при реальном применении она показывает плохие результаты, так как «подглядывала» в ответы заранее.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Утечка данных (data leakage) в машинном обучении — это ситуация, когда в процессе обучения модели используются данные, которые в реальной задаче недоступны или содержат информацию из будущего, что приводит к завышенной оценке качества модели.
Опасность утечки данных в том, что модель кажется очень точной на тренировочных и валидационных данных, но при реальном применении она показывает плохие результаты, так как «подглядывала» в ответы заранее. Это приводит к неправильным бизнес-решениям и потере доверия.
Пример: при предсказании кредитного дефолта, если в обучающей выборке случайно используется информация о том, что клиент уже выплатил кредит (данные из будущего), модель будет ошибочно считать, что этот клиент всегда платит вовремя.