Parquet читают подходящим движком, например Spark или pandas, по возможности выбирая только нужные колонки и фильтры до чтения.
Как именно вы читали Parquet?
Parquet читают подходящим движком, например Spark или pandas, по возможности выбирая только нужные колонки и фильтры до чтения.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Parquet читают подходящим движком, например Spark или pandas, по возможности выбирая только нужные колонки и фильтры до чтения.
В Spark базовый вызов — spark.read.parquet(path), после него задают select и filter; применённые оптимизации проверяют в плане. В pandas пример: pd.read_parquet(path, columns=['id', 'amount'], engine='pyarrow'). Уточните, читали ли отдельные файлы или партиционированный набор, где он хранился и как обрабатывалось изменение схемы. Эффект фильтров зависит от движка и организации данных.
Источник: pandas.pydata.org.