Если одна из виртуальных машин upstream полностью выключилась, что произойдёт?

Запрос к выключенному upstream-серверу завершится ошибкой соединения или тайм-аутом.

Дальнейшее зависит от настроек исключения узла и повторной передачи запроса другому серверу. Не любую операцию безопасно повторять: особенно важно не создавать повторный эффект у запросов записи.