Что такое TCP Slow Start и как этот механизм влияет на задержку первых запросов к бэкенду? Почему для межсервисного взаимодействия внутри одного дата-центра критически важно использовать постоянные соединения (Keep-Alive / Connection Pooling)?

TCP Slow Start постепенно увеличивает допустимый объём неподтверждённых данных нового соединения. Постоянные соединения сокращают повторные handshake и прогрев, но не гарантируют нулевую задержку.

Для крупных ответов первые раунды передачи могут ограничиваться congestion window. Пул соединений позволяет повторно использовать TCP и часто TLS-сессию вместо нового установления на каждый запрос. Выигрыш зависит от RTT, размера ответа и состояния соединения; после простоя окно тоже может уменьшаться. Размер пула нужно ограничивать, а соединения проверять и обновлять при сбоях — бесконечный пул лишь переносит перегрузку.

Источник: www.rfc-editor.org.