Какой порядок или тип сжатия используется в Parquet?

Parquet сначала кодирует значения внутри колонок, затем может сжимать страницы выбранным кодеком. Единственного обязательного алгоритма сжатия нет.

Короткий ответ

Что ответить на собеседовании

Parquet сначала кодирует значения внутри колонок, затем может сжимать страницы выбранным кодеком. Единственного обязательного алгоритма сжатия нет.

Подробный разбор

Ответ с пояснениями

Parquet сначала кодирует значения внутри колонок, затем может сжимать страницы выбранным кодеком. Единственного обязательного алгоритма сжатия нет.

Для кодирования применяются, например, dictionary, RLE и delta-подходы, а для сжатия — Snappy, ZSTD, GZIP и другие поддерживаемые кодеки. Кодек определяется настройкой записи и фиксируется в метаданных. Поэтому вопрос «какое сжатие в Parquet» требует уточнить конкретный файл или writer. Колонная организация помогает сжимать похожие значения эффективнее.

Источник: Документация Apache Kafka, Документация Apache Kafka.

ИИ-помощник для собеседований

Хочешь уверенно проходить собеседования?

Попробуй ИИ-помощник для собеседований: слышит вас и собеседника, анализирует экран, подсказывает ответы в реальном времени, работает без VPN и не попадает в захват экрана.

Подробнее