Зачем в ClickHouse батчить инсерты?

Пакетные вставки уменьшают число мелких частей MergeTree и накладные расходы на их последующее слияние, повышая пропускную способность.

Каждая небольшая вставка может создавать новые части данных. Когда частей слишком много, возрастают расходы на метаданные и фоновые слияния, а приём данных может замедлиться.

Собирайте строки в разумные пакеты, учитывая допустимую задержку и память клиента. Альтернатива — асинхронные вставки с подходящими настройками подтверждения. Универсального размера пакета нет: оцените скорость записи, число частей и нагрузку на merge-процессы.

Источник: clickhouse.com.