Как вы загружали данные из S3 в Greenplum?

Один из подходов — внешняя таблица Greenplum через PXF для чтения S3, затем INSERT SELECT в staging и проверенная загрузка в целевую таблицу. Конкретный способ зависит от версии и формата.

Настраивают сервер PXF, endpoint, права и профиль CSV/Parquet, согласуют схему и распределение. Параллельное чтение должно соответствовать структуре файлов: один большой несегментируемый объект может ограничивать скорость.

Перед публикацией проверяют число строк, типы, дубликаты и контрольные показатели. Повторный запуск обрабатывает тот же зафиксированный набор файлов и не удваивает записи. Секреты храните в конфигурации/секретном хранилище, а не в тексте DDL. В ответе об опыте называйте только действительно использованный вариант.

Источник: knowledge.broadcom.com.