Опишите процесс отбора признаков с помощью деревьев решений.

Деревья помогают оценить полезность признаков по уменьшению impurity или изменению качества при перестановке. Отбор нужно проверять на независимых данных, а не только по важности на обучении.

Обучите baseline, ранжируйте признаки и сравните несколько подмножеств по валидационной метрике. Impurity importance может предпочитать признаки с большим числом вариантов, а коррелирующие признаки делят важность или заменяют друг друга. Permutation importance оценивайте на holdout. Весь отбор выполняйте внутри train-fold, оставляя финальный test нетронутым.