Too many parts означает, что части создаются быстрее, чем объединяются, либо достигнут их лимит. Обычно начинают с укрупнения вставок и проверки партиционирования.
Сталкивались ли вы с ошибкой ClickHouse `Too many parts` при вставке? Как её решали?
Too many parts означает, что части создаются быстрее, чем объединяются, либо достигнут их лимит. Обычно начинают с укрупнения вставок и проверки партиционирования.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Too many parts означает, что части создаются быстрее, чем объединяются, либо достигнут их лимит. Обычно начинают с укрупнения вставок и проверки партиционирования.
Смотрите активные parts по partition, скорость merges, свободное место и I/O. Частые маленькие INSERT и высокая кардинальность partition key усугубляют проблему. Помогают batching или корректно настроенные async inserts с ожиданием подтверждённой записи. Простое увеличение лимита parts скрывает симптом, но не устраняет причину и может ухудшить состояние сервера.
Источник: clickhouse.com.