В какой момент и какие тесты следует автоматизировать?

Автоматизируют повторяемые, значимые и достаточно определённые проверки, когда польза от быстрых запусков превышает стоимость создания и сопровождения. Не нужно ждать полного завершения продукта.

Ранние unit и contract tests полезны ещё при разработке, а UI-автоматизация требует понятного поведения и устойчивых точек взаимодействия. Приоритет получают критические пути, частые регрессии и проверки, трудные для ручного повторения. Исследование новой функции и оценка UX могут остаться ручными. Учитывайте данные, окружение, oracle и частоту изменений. Автоматизация хаотичного сценария без ясного ожидания только ускорит получение неинформативного результата.