Как отбирать признаки в модели? Есть бустинг и 5000 признаков.

Для бустинга с 5000 признаков сначала исключите утечки, константы и недоступные в production данные. Затем сравнивайте подмножества по независимой метрике, стоимости и стабильности.

Ранжирование по важности полезно как отправная точка, но не как окончательный критерий: коррелирующие признаки заменяют друг друга, а train importance бывает смещённой. Используйте permutation importance и последовательные ablation на валидации. Не подбирайте признаки по финальному test. Иногда небольшой проигрыш метрики оправдан заметным снижением latency и сложности сопровождения.