Для MergeTree обычно выгоднее вставки достаточно крупными пачками: множество маленьких INSERT создаёт много частей и нагрузку на слияния. Размер пачки выбирают с учётом задержки и памяти.
Назовите реальный опыт оптимизации ClickHouse и исходную проблему: медленное чтение, тяжёлая загрузка или рост хранения. Отделите самостоятельные изменения от постановки задач инженерам.
Расскажите о фактической процедуре сверки: общий ключ, согласованный срез времени, сравнение количества и содержимого записей. Учитывайте задержку доставки и преобразования между Oracle и ClickHouse.
ClickHouse ориентирован на аналитическое чтение больших объёмов, а не на универсальный OLTP. Частые мелкие вставки, тяжёлые изменения и неудачная организация хранения могут сделать нагрузку дорогой.
Добавлю отдельный диалект генерации через существующий контракт и проверю различия типов, ключей, распределения и поддерживаемых DDL-операций. StarRocks нельзя считать просто PostgreSQL с другим именем.
PostgreSQL обычно выбирают для транзакционных реляционных данных, MongoDB — для документной модели, ClickHouse — для аналитического чтения больших объёмов. Выбор определяется запросами и гарантиями.
Основные группы движков ClickHouse — семейство MergeTree, простые Log-движки, интеграционные и специальные движки. Движок определяет хранение, чтение и обработку данных таблицы.
Разделите ассистента на получение схемы, генерацию SQL, проверку и ограниченное исполнение. Для ClickHouse используйте отдельную учётную запись только с нужными правами чтения.
В MergeTree данные организованы по колонкам и отсортированы внутри частей по ключу. Утверждение «ORDER BY вообще нельзя менять, колонки только в конец» неточно.
Накапливайте записи вместе с cookies, сбрасывайте буфер до переполнения, затем подтверждайте каждый cookie строго по порядку. Commit возможен только после успешного Process соответствующих данных.
Сначала стоит проверить, нельзя ли решить проблему планом запроса, индексами, статистикой, агрегациями или репликой. Миграция в ClickHouse оправдана характером аналитической нагрузки.