Что такое bias-variance trade-off и как его по-разному решают градиентный бустинг и random forest?

Bias — систематическая ошибка приближения, variance — чувствительность к обучающей выборке. Random forest прежде всего снижает variance деревьев усреднением, бустинг последовательно уменьшает ошибки ансамбля.

Глубокие деревья могут иметь низкий bias и высокий variance; случайные выборки и признаки уменьшают корреляцию в лесу. В бустинге learning rate, число и глубина деревьев управляют сложностью и переобучением. Это не абсолютное разделение: оба метода влияют на оба компонента. Сравнение проводите на валидации, а не по train loss.