Как технически была реализована параллельная выгрузка большой таблицы из PostgreSQL в Spark в кейсе [контекст]?

Spark может параллельно читать PostgreSQL через JDBC по диапазонам partitionColumn или набору predicates. Число параллельных запросов ограничивают нагрузкой источника.

Для диапазонного чтения задают partitionColumn, lowerBound, upperBound и numPartitions. Границы служат для расчёта разбиения, а не автоматически отсекают все строки вне диапазона; фильтр выборки задают отдельно.

Проверьте равномерность ключа, fetch size и число соединений. Параллельные запросы могут видеть разные состояния изменяемой таблицы, поэтому согласованность снимка требует отдельного решения. Контекст конкретного проекта скрыт: приведён общий механизм, а не утверждение о его реализации.

Источник: Документация Apache Kafka.