При 3–5 тысячах событий в секунду выбор оптимизации зависит от размера события, запросов, retention и железа. Одной цифры RPS недостаточно, чтобы обосновать шардирование.
Какие оптимизации хранения и обработки данных применялись при потоке 3–5 тысяч событий в секунду: индексы, партиционирование, шардирование?
При 3–5 тысячах событий в секунду выбор оптимизации зависит от размера события, запросов, retention и железа. Одной цифры RPS недостаточно, чтобы обосновать шардирование.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
При 3–5 тысячах событий в секунду выбор оптимизации зависит от размера события, запросов, retention и железа. Одной цифры RPS недостаточно, чтобы обосновать шардирование.
Часто сначала проверяют пакетную запись, число индексов, партиции по времени и предварительные агрегаты. Индексы ускоряют чтение, но увеличивают цену вставок; партиции могут упростить удаление старых данных и отбор по времени.
На вопрос о проекте отвечайте только фактически применёнными мерами и их эффектом при сопоставимой нагрузке. Шардирование вводят при доказанной необходимости, учитывая горячие ключи и межшардовые запросы. Не приписывайте рост производительности инструменту без измерений.