Как инструмент Debezium (CDC) считывает изменения из WAL-логов БД и транслирует их в Kafka?

Для PostgreSQL Debezium получает поток через logical decoding и replication slot, преобразует изменения строк в события и передаёт их в Kafka. Обычно сначала выполняется согласованный начальный snapshot.

Коннектор хранит позицию чтения, чтобы продолжить после перезапуска; потребители должны учитывать возможные повторы. Это не опрос всей таблицы на каждом цикле и не произвольное чтение WAL-файлов приложением. Нужны настройки logical replication, права и контроль lag. Зависший коннектор может удерживать WAL и расходовать диск; ограничения retention и failover требуют отдельного плана восстановления.

Источник: debezium.io.