CV-leak (Cross-Validation leakage) — это ситуация, когда в процессе кросс-валидации модель получает информацию из тестовой части данных, что приводит к завышенной оценке качества модели и плохой обобщающей способности.
Что такое CV-leak и какие источники бывают?
CV-leak (Cross-Validation leakage) — это ситуация, когда в процессе кросс-валидации модель получает информацию из тестовой части данных, что приводит к завышенной оценке качества модели и плохой обобщающей способности.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
CV-leak (Cross-Validation leakage) — это ситуация, когда в процессе кросс-валидации модель получает информацию из тестовой части данных, что приводит к завышенной оценке качества модели и плохой обобщающей способности.
Основные источники CV-leak:
- Утечка признаков (Feature leakage): признаки, которые напрямую или косвенно содержат информацию о целевой переменной, например, признаки, созданные с использованием будущих данных.
- Нарушение временного порядка: при работе с временными рядами данные из будущего попадают в тренировочную выборку.
- Неправильное разбиение данных: когда в разных фолдах оказываются связанные объекты (например, данные одного пользователя или одной сессии), что приводит к утечке информации.
- Использование агрегированных данных, рассчитанных по всей выборке, а не только по тренировочной части.
Чтобы избежать CV-leak, нужно тщательно продумывать схему разбиения данных, использовать правильные методы предобработки и не допускать попадания информации из теста в тренировку.