Подготовка к интервью
46 вопросов по S3 с технических собеседований
Что проверяют на интервью
На странице собраны вопросы по S3 — от проверки базовых принципов до практического применения и архитектурных решений. В подборке чаще встречаются темы: s3, devops, infrastructure.
Каталог
В обычном S3 префикс — часть ключа объекта, а не настоящая папка. Он помогает группировать данные, ограничивать выборки и задавать правила обработки.
Читать ответРазделите основное хранение, промежуточные слои и обслуживающие системы. S3 может хранить файлы, а БД, каталог и кеш — решать другие задачи той же платформы.
Читать ответРезультат запроса можно материализовать в S3 как набор Parquet-файлов. Это снимок данных, а не SQL-представление с автоматически актуальным результатом.
Читать ответТеги S3 — пары ключ–значение для управления ресурсами, например владельцем, средой и жизненным циклом. Теги bucket и object задаются отдельно.
Читать ответНа подготовке raw-данных выравнивают схему, типы, время и служебные метаданные, сохраняя возможность восстановить исходник. Формат S3 выбирают под последующее чтение.
Читать ответРазделите каталог источников, очередь заданий, ограниченные по API workers, raw-слой S3 и контроль загрузок. Аналитику дайте декларативный интерфейс, а не доступ к секретам.
Читать ответFlink нужен для вычислений над потоком: состояния, окон, объединений и event time. Для простой доставки событий в Iceberg может хватить Kafka Connect.
Читать ответПайплайн не воспроизводим из-за now() и может удваивать raw и агрегаты при retry. Кроме того, дубли userMetadata способны размножить транзакции при JOIN и завысить выручку.
Читать ответКоличество S3 buckets выбирают по границам доступа, окружениям, жизненному циклу и требованиям к данным. Не обязательно создавать отдельный bucket для каждой таблицы.
Читать ответОдин из подходов — внешняя таблица Greenplum через PXF для чтения S3, затем INSERT SELECT в staging и проверенная загрузка в целевую таблицу. Конкретный способ зависит от версии и формата.
Читать ответВ DAG видны проблемы с импортом S3KeySensor, вычислением даты через now(), глобальным клиентом БД и передачей всего DataFrame через XCom. Их нужно устранить до запуска.
Читать ответДа, знаком с этим стеком технологий.
Читать ответ