Есть непрерывный неотрицательный таргет и четыре алгоритма: линейная регрессия, дерево решений, случайный лес и градиентный бустинг на деревьях. Какие из них могут выдавать отрицательные прогнозы?

Обычная линейная регрессия и градиентный бустинг могут дать отрицательный прогноз. Стандартные регрессионное дерево и случайный лес с усреднением — нет, если обучающие цели неотрицательны.

Лист обычного дерева регрессии предсказывает среднее целевых значений попавших туда объектов; лес усредняет такие прогнозы. При неотрицательных целях эти значения неотрицательны. Линейная функция не ограничена снизу, а бустинг складывает поправки, которые могут увести результат ниже нуля. Это рассуждение относится к стандартным моделям: функция потерь, link-функция, преобразования цели и специальные ограничения способны изменить вывод.