Много маленьких вставок создаёт множество частей MergeTree и увеличивает работу фоновых слияний. Это ухудшает пропускную способность и может вызвать ограничение вставок.
Почему не стоит делать много маленьких инсертов в ClickHouse?
Много маленьких вставок создаёт множество частей MergeTree и увеличивает работу фоновых слияний. Это ухудшает пропускную способность и может вызвать ограничение вставок.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Много маленьких вставок создаёт множество частей MergeTree и увеличивает работу фоновых слияний. Это ухудшает пропускную способность и может вызвать ограничение вставок.
Объединяйте записи в пакеты с учётом допустимой задержки или используйте подходящую асинхронную буферизацию. Следите за количеством частей и скоростью их слияния.
Размер пакета выбирают по данным и нагрузке, а не по универсальному числу строк. Также проверьте число затрагиваемых партиций: один пакет может породить много частей.