Как обеспечить отсутствие дублей при переключении между машинами (одна деградирует, вторая подхватывает)?

Чтобы избежать дублирования обработки при переключении между машинами (failover), нужно обеспечить согласованность и уникальность обработки задач. Основные подходы:

• Лидирование (leader election) — только одна машина в кластере считается активной и обрабатывает задачи. При деградации лидера другой узел становится лидером.
• Использование распределённых блокировок — например, через Redis, ZooKeeper или etcd, чтобы гарантировать, что задача выполняется только одним экземпляром.
• Идемпотентность операций — чтобы повторный запуск одной и той же задачи не приводил к ошибкам или дублированию эффекта.
• Хранение состояния в общем хранилище — чтобы при переключении новая машина могла понять, какие задачи уже выполнены.

Пример с Redis для блокировки задачи:

func acquireLock(client *redis.Client, key string, ttl time.Duration) (bool, error) {
    ok, err := client.SetNX(ctx, key, "locked", ttl).Result()
    return ok, err
}

// При переключении пытаемся получить lock, если не удалось — значит задача уже выполняется

Таким образом, переключение происходит без дублирования, так как только одна машина удерживает lock и обрабатывает задачи.