Для диапазонного чтения Spark JDBC используют partitionColumn, lowerBound, upperBound и numPartitions. Альтернатива — явно заданные непересекающиеся predicates.
Какие параметры Spark JDBC использовались для распараллеливания чтения?
Для диапазонного чтения Spark JDBC используют partitionColumn, lowerBound, upperBound и numPartitions. Альтернатива — явно заданные непересекающиеся predicates.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Для диапазонного чтения Spark JDBC используют partitionColumn, lowerBound, upperBound и numPartitions. Альтернатива — явно заданные непересекающиеся predicates.
Колонка разбиения должна иметь поддерживаемый числовой, date или timestamp-тип. Границы рассчитывают шаг диапазонов, а не заменяют фильтр набора данных.
Ограничивайте соединения и следите за перекосом. query и partitionColumn нельзя произвольно сочетать: для разбиения подзапрос задают через dbtable по правилам API. Документация Spark JDBC.