Spark JDBC — источник данных для чтения и записи в СУБД через JDBC-драйвер. Большую таблицу читают ограниченным числом параллельных запросов с подходящим разбиением.
Что такое Spark JDBC и как эффективно загрузить через него большую таблицу?
Spark JDBC — источник данных для чтения и записи в СУБД через JDBC-драйвер. Большую таблицу читают ограниченным числом параллельных запросов с подходящим разбиением.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Spark JDBC — источник данных для чтения и записи в СУБД через JDBC-драйвер. Большую таблицу читают ограниченным числом параллельных запросов с подходящим разбиением.
Используйте фильтры и проекцию колонок, настройте fetchsize и партиционирование. Не повышайте numPartitions без учёта мощности источника и лимита соединений.
Учитывайте согласованность снимка при параллельном чтении изменяемой таблицы. Это отдельная задача, которую JDBC-разбиение само не решает. Документация Spark JDBC.