Как решить проблему, когда читающий процесс может увидеть промежуточное (неконсистентное) состояние таблицы во время многоэтапного ETL (delete+insert) в Iceberg?

Минусы Apache Iceberg:

• Сложность настройки и эксплуатации. Для полноценной работы требуется интеграция с вычислительными движками (Spark, Flink и др.), что усложняет инфраструктуру.
• Производительность при мелких обновлениях. Несмотря на поддержку ACID, частые мелкие транзакции могут приводить к накладным расходам на управление метаданными и компактизацию.
• Относительная новизна и экосистема. Iceberg еще не так широко распространён, как классические СУБД, поэтому меньше инструментов и опыта у команды.
• Зависимость от S3 и сетевой задержки. Работа с объектным хранилищем может быть медленнее по сравнению с локальными дисками, особенно при большом количестве мелких операций.

Таким образом, минус Iceberg — это баланс между удобством работы с большими данными в S3 и сложностью обеспечения высокой производительности и надежности в реальных условиях.