Parquet сначала кодирует значения внутри колонок, затем может сжимать страницы выбранным кодеком. Единственного обязательного алгоритма сжатия нет.
Какой порядок или тип сжатия используется в Parquet?
Parquet сначала кодирует значения внутри колонок, затем может сжимать страницы выбранным кодеком. Единственного обязательного алгоритма сжатия нет.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Parquet сначала кодирует значения внутри колонок, затем может сжимать страницы выбранным кодеком. Единственного обязательного алгоритма сжатия нет.
Для кодирования применяются, например, dictionary, RLE и delta-подходы, а для сжатия — Snappy, ZSTD, GZIP и другие поддерживаемые кодеки. Кодек определяется настройкой записи и фиксируется в метаданных. Поэтому вопрос «какое сжатие в Parquet» требует уточнить конкретный файл или writer. Колонная организация помогает сжимать похожие значения эффективнее.
Источник: Документация Apache Kafka, Документация Apache Kafka.