За что отвечает Row Group в структуре Parquet-файла?

Row group — горизонтальная группа строк Parquet, внутри которой для каждой колонки хранится свой column chunk. Чанки состоят из страниц.

Такая организация позволяет читать выбранные колонки и делить обработку файла на крупные независимые участки. Метаданные и статистика помогают движку пропускать группы, не подходящие фильтру, если это поддерживается чтением.

Большие row groups могут улучшать сжатие, но требуют больше ресурсов на обработку и уменьшают число участков для параллельного чтения. Маленькие увеличивают накладные расходы. Row group не равен Spark-партиции: движок самостоятельно планирует чтение.

Источник: Документация Apache Kafka.