Количество S3 buckets выбирают по границам доступа, окружениям, жизненному циклу и требованиям к данным. Не обязательно создавать отдельный bucket для каждой таблицы.
Использовали один S3 bucket или несколько? По какому принципу?
Количество S3 buckets выбирают по границам доступа, окружениям, жизненному циклу и требованиям к данным. Не обязательно создавать отдельный bucket для каждой таблицы.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Количество S3 buckets выбирают по границам доступа, окружениям, жизненному циклу и требованиям к данным. Не обязательно создавать отдельный bucket для каждой таблицы.
Префиксы внутри bucket удобны для слоёв raw/processed и разбиения по датам. Отдельные buckets оправданы при разных владельцах, регионах, политиках retention, шифрования или изоляции production от тестов.
В ответе о проекте поясните фактическое решение и его ограничения: кто имел доступ, как удалялись старые данные, где лежали временные результаты. Само по себе увеличение числа buckets не решает проблему мелких файлов или неверной модели прав.