Как реализовать GROUP BY под капотом при агрегации CSV-файла без БД?

Как работают алгоритмы агрегации данных: внутреннее устройство GROUP BY при обработке CSV без БД

• построчная обработка с чтением CSV целиком в память либо последовательным потоком
• формируется структура группировки, как правило хеш-таблица
• в качестве ключа используются значения столбцов, по которым выполняется группировка
• для каждой строки вычисляется ключ, после чего данные добавляются в группу и агрегируются
• агрегатные функции (SUM, COUNT, AVG) инкрементально пересчитываются при обработке строк
• после завершения обхода для каждого ключа формируются агрегированные результаты
• подходит для файлов небольшого размера; большие объёмы требуют внешней сортировки или постраничной обработки

В основе лежит хеширование ключей группировки и накопление агрегатных значений.

Развёрнутый ответ

Основная идея

Алгоритм агрегации данных с GROUP BY сначала объединяет строки по общему ключу, а затем рассчитывает агрегатные функции отдельно для каждой получившейся группы. Если СУБД не используется и обрабатывается CSV-файл, необходимые операции выполняются в памяти либо с применением промежуточных структур данных. Типовая последовательность выглядит так: файл читается строка за строкой, из каждой строки извлекается ключ группировки, после чего обновляются агрегаты соответствующей группы.

Что важно учитывать

• Хэширование ключа группировки: чтобы быстро находить уже созданную группу, применяют хеш-таблицу. Её ключом служит комбинация значений столбцов группировки, а значением — объект, содержащий накопленные агрегаты: сумму, счетчик, максимум и другие показатели.
• Пошаговое накопление: для каждой прочитанной строки вычисляется ключ, затем в хеш-таблице находится нужная запись или создаётся новая. После этого агрегаты обновляются, благодаря чему весь файл можно обработать за один проход (one-pass).
• Память и масштабируемость: при чрезмерно большом числе уникальных ключей может потребоваться выгрузка промежуточных данных на диск или external sort (сортировка слиянием). В последнем случае строки сначала упорядочиваются по ключу, а затем отсортированный файл просматривается один раз для выполнения группировки.
• Учёт типов агрегатов: значения sum и count удобно увеличивать инкрементально, для min/max достаточно выполнять сравнение, а для avg нужно хранить сумму и счетчик. Более сложные вычисления, например stddev, требуют сохранения дополнительных промежуточных данных.

Практическое применение

При обработке больших CSV-файлов без БД обычно используют именно такую схему: разбирают строки, преобразуют нужные значения в ключ и накапливают результаты в хеш-таблице. В Python и Go этот вариант распространён благодаря сочетанию простоты и производительности. Для особо крупных наборов данных применяют external sort, а затем выполняют группировку. Такой механизм встречается в ETL-пайплайнах и нативных утилитах вроде csvkit или pandas при загрузке CSV в память.