Что делать, если у тебя нет validation set? Как валидировать модель?

Выделите validation из доступных данных либо используйте cross-validation. Способ разбиения должен отражать применение: по времени, пользователям или группам связанных объектов.

Не подбирайте параметры по финальному test. При малом объёме используйте повторные разбиения и показывайте разброс, а для временных рядов — последовательные окна. Если нет независимых размеченных примеров вообще, полноценная оценка качества ограничена: нужны разметка и сбор данных.