Потребитель Kafka или подходящий connector читает события и записывает их в БД порциями. Offset фиксируют после устойчивой записи, а повторы обрабатывают идемпотентно.
Как загрузить данные из Kafka в Greenplum или PostgreSQL?
Потребитель Kafka или подходящий connector читает события и записывает их в БД порциями. Offset фиксируют после устойчивой записи, а повторы обрабатывают идемпотентно.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Потребитель Kafka или подходящий connector читает события и записывает их в БД порциями. Offset фиксируют после устойчивой записи, а повторы обрабатывают идемпотентно.
В PostgreSQL часто используют upsert по ключу. Для Greenplum может быть выгоднее загрузка в staging с последующим пакетным объединением, чем множество одиночных операций.
Продумайте удаления, порядок версий, несовместимую схему и сбой между commit БД и commit offset. Один лишь выбор connector не гарантирует exactly-once на всей цепочке.