Если оптимальное количество деревьев для модели — 500, но мы случайно обучили и случайный лес, и бустинг на 1000 деревьях — какая из моделей скорее всего переобучится и почему?

При прочих равных скорее переобучится бустинг: дополнительные деревья продолжают исправлять ошибки обучения, включая шум. У случайного леса добавление деревьев обычно стабилизирует усреднение.

Это не гарантия для любой выборки. Эффект boosting зависит от learning rate и регуляризации, а test-качество леса тоже может колебаться. «Оптимальные 500» должны быть определены на validation; выбирать число деревьев по test некорректно.