Важность по уменьшению impurity суммирует взвешенный выигрыш всех узлов, где использован признак, затем нормализует значения. Вес узла зависит от доли обучающих объектов, дошедших до него.
Можете ли вы подробнее рассказать, как именно вычисляется числовое значение важности признаков в дереве решений?
Важность по уменьшению impurity суммирует взвешенный выигрыш всех узлов, где использован признак, затем нормализует значения. Вес узла зависит от доли обучающих объектов, дошедших до него.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Важность по уменьшению impurity суммирует взвешенный выигрыш всех узлов, где использован признак, затем нормализует значения. Вес узла зависит от доли обучающих объектов, дошедших до него.
Для узла t вклад пропорционален nₜIₜ−n_leftI_left−n_rightI_right. После суммирования по признакам обычно делят на общую сумму. Такая важность смещена в пользу признаков с большим числом возможных разбиений; полезно дополнить её permutation importance на holdout.