Организация обработки файлов из S3 в Kubernetes‑кластерe
Сохраняйте долговечные результаты обратно в объектное хранилище, а в БД — их ключи, статус задачи и метаданные. Локальный диск pod используйте только как временный.
Читать ответПодготовка к интервью
46 вопросов по S3 с технических собеседований
Что проверяют на интервью
На странице собраны вопросы по S3 — от проверки базовых принципов до практического применения и архитектурных решений. В подборке чаще встречаются темы: s3, devops, infrastructure.
Каталог
Сохраняйте долговечные результаты обратно в объектное хранилище, а в БД — их ключи, статус задачи и метаданные. Локальный диск pod используйте только как временный.
Читать ответРазделите ETL на обнаружение объектов S3, определение формата, потоковый разбор и запись через соответствующий sink. Повторный запуск не должен дублировать уже обработанные данные.
Читать ответРазделите ETL на обнаружение объектов, чтение, выбор parser по формату и запись через соответствующий sink. Ведите журнал обработанных версий файлов, чтобы повторный запуск не дублировал результат.
Читать ответДля воспроизводимости сохраняют код, данные, конфиг, окружение и артефакты с версиями. Восстановление удалённого файла требует заранее настроенного хранения версий или резервной копии, а не только seed.
Читать ответДобавьте слой метаданных: users → buckets → objects, где объект связывает (bucket_id, key) с идентификатором внешнего Storage. Доступ проверяет ваш API.
Читать ответРазделение статики и пользовательских файлов помогает независимо управлять доступом, кешированием, сроками хранения и жизненным циклом. Но конкретную причину проекта нужно подтвердить.
Читать ответDNS помогает найти адрес сервиса, балансировщик направляет запросы к приложению, а данные и файлы обслуживаются подходящими хранилищами и кешами.
Читать ответЕсли ресурс сохранился, восстановите его привязку к правильному Terraform-адресу через import и затем внимательно проверьте plan.
Читать ответОстановите новые apply, сохраните версии state и сопоставьте фактические ресурсы, конфигурацию и результаты обоих запусков.
Читать ответDynamoDB исторически использовали для блокировки state в S3 backend, чтобы несколько процессов Terraform не изменяли его одновременно.
Читать ответВ S3 backend Terraform с поддержкой нативной блокировки включают use_lockfile = true; отдельная таблица DynamoDB не нужна.
Читать ответПишите результат запуска в отдельный staging-префикс, проверяйте полноту и только затем публикуйте новую версию. Не очищайте рабочие файлы до успешной записи.
Читать ответ