После рестарта pod будет знать, что нужно продолжить ретраить?

Только если сведения о незавершённой работе сохранены вне памяти pod: в брокере, БД или durable-хранилище заданий. Локальный таймер после рестарта не восстановится.

Сохраняйте статус, next_attempt_at, число попыток и идентификатор операции. Worker забирает задачу с lease, а просроченные lease возвращаются в обработку. Результат может быть неизвестен после сбоя, поэтому перед повтором важны идемпотентность и сверка уже выполненного действия.