Выбирают подмножество признаков в отдельных вершинах дерева или для всего дерева целиком?

В деревьях решений выбор подмножества признаков обычно происходит в каждой отдельной вершине (узле) дерева, а не для всего дерева целиком. При построении дерева в каждой вершине алгоритм выбирает лучший признак (или подмножество признаков) для разделения данных, основываясь на критериях качества разбиения (например, энтропия, индекс Джини).

Такой подход позволяет дереву адаптироваться к локальным особенностям данных на разных уровнях и улучшает качество классификации или регрессии. Если бы подмножество признаков выбиралось для всего дерева сразу, это ограничивало бы гибкость модели.

В некоторых алгоритмах ансамблей (например, случайный лес) в каждой вершине дополнительно случайно выбирается подмножество признаков для поиска лучшего разбиения, что помогает уменьшить корреляцию между деревьями и повысить обобщающую способность.