Bayesian target encoding — это метод кодирования категориальных признаков в задачах машинного обучения, основанный на использовании статистики целевой переменной с применением байесовского сглаживания.
Что такое Bayesian target encoding?
Bayesian target encoding — это метод кодирования категориальных признаков в задачах машинного обучения, основанный на использовании статистики целевой переменной с применением байесовского сглаживания.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Bayesian target encoding — это метод кодирования категориальных признаков в задачах машинного обучения, основанный на использовании статистики целевой переменной с применением байесовского сглаживания.
Идея в том, чтобы заменить категорию числом, отражающим среднее значение целевой переменной для этой категории, но с учетом общего среднего и количества наблюдений, чтобы избежать переобучения на редких категориях.
Формула сглаживания обычно выглядит так:
[ \text{EncodedValue} = \frac{\text{mean_target_for_category} \times n + \text{global_mean} \times k}{n + k} ]
где:
- (n) — количество наблюдений в категории,
- (k) — параметр сглаживания (вес априорного среднего),
- (\text{global_mean}) — среднее по всей выборке.
Такой подход помогает уменьшить шум и переобучение, особенно при работе с редкими категориями, и часто используется в бустинговых алгоритмах для табличных данных.