Что такое H(X) в контексте классификации, например энтропия?

H(X) — это энтропия случайной величины X, мера неопределённости или хаоса в распределении X. В контексте классификации энтропия показывает, насколько переменная X (например, класс объекта) непредсказуема.

Формально, для дискретной случайной величины X с вероятностями p(x):

[ H(X) = -\sum_{x} p(x) \log_2 p(x) ]

Чем выше энтропия, тем больше неопределённость. В задачах классификации энтропия используется для оценки качества разбиения данных (например, в деревьях решений), где цель — уменьшить энтропию после разбиения, то есть сделать классы более однородными.

Пример: если в выборке 50% класса A и 50% класса B, энтропия максимальна (1 бит). Если все объекты одного класса, энтропия равна 0.