Зачем в пайплайне Kafka/Redpanda → S3/Iceberg используется Flink, если можно применить Kafka Connect с Iceberg-коннектором?

Flink нужен для вычислений над потоком: состояния, окон, объединений и event time. Для простой доставки событий в Iceberg может хватить Kafka Connect.

Не добавляйте вычислительный движок только ради записи файлов. Сначала проверьте возможности выбранного Iceberg-коннектора: маршрутизацию, изменения схемы, commit и обработку повторов. Flink оправдан, когда до записи нужны сложные преобразования с состоянием или обработка опоздавших событий. Гарантии доставки оценивают для всей цепочки и конкретной конфигурации, а не по названию инструмента.

Источник: Документация Apache Kafka.