Есть Spark job, который забирает данные из Kafka, пишет их в Greenplum, а затем строит Data Vault. Какие задачи вы создадите в Airflow, если обрабатывается тысяча строк?

Разбейте поток по этапам и точкам восстановления, а не создавайте задачу на каждую строку: загрузка в staging, проверка и построение зависимых объектов Data Vault.

Для тысячи строк запуск Spark может быть избыточен, но существующий job можно оркестрировать одной задачей. Зафиксируйте диапазон Kafka offsets и идентификатор партии; повторный запуск должен быть идемпотентным. Затем выполняются проверки, загрузки hubs, links и satellites с нужными зависимостями. Если job непрерывный, Airflow не должен бесконечно запускать его копии: требуется управление долгоживущим процессом.