Предложите решение задачи регулярной инкрементальной загрузки большой таблицы с гибкой (изменяемой) частотой обновления из Postgres в Data Lake.

Для большой изменяемой таблицы предпочтителен согласованный snapshot с последующим CDC из WAL. Частоту публикации в Data Lake можно менять независимо от захвата изменений.

Фиксируют начальную позицию журнала, загружают snapshot и применяют последующие события с ключами, версиями и удалениями. Данные пишут в raw-слой идемпотентными партиями, затем публикуют согласованные снимки таблицы. Нужны мониторинг lag и удерживаемого WAL, контроль схемы, восстановления и повторов. Если CDC недоступен, polling по updated_at требует составного курсора, перекрытия и дедупликации; без tombstones он не обнаружит физические удаления.