Что такое Split Queries и как они повышают производительность загрузки связанных сущностей?

Что такое Split Queries и как они повышают производительность загрузки связанных сущностей?

• Технический контекст: ORM и загрузка связанных данных (Eager Loading)
• Split Queries выполняют несколько самостоятельных SQL-запросов вместо единого запроса с JOIN
• Помогают избежать проблемы "N+1", при которой один запрос вызывает множество дополнительных
• Сокращают размер и сложность одного большого JOIN-запроса, тем самым уменьшая нагрузку на базу данных
• Обеспечивают эффективную загрузку данных с несколькими связями, распределяя запросы между сущностями
• Ускоряют работу за счёт более эффективных планов выполнения и кэширования результатов
• Особенно полезны при больших объёмах данных и сложных связях, когда JOIN становится узким местом

Итог: Split Queries разбивают сложный запрос с JOIN на несколько более простых, уменьшая нагрузку на БД и ускоряя загрузку связанных сущностей.

Подробный ответ

Основной ответ

Split Queries — это техника оптимизации запросов в ORM, например в Entity Framework Core 5+, предназначенная для загрузки связанных сущностей. Вместо формирования одного сложного запроса с большим количеством JOIN, который способен вызвать дублирование данных и существенные накладные расходы, ORM выполняет несколько более простых запросов. Благодаря этому уменьшается объём повторяющихся данных и повышается производительность при работе со сложными графами объектов.

Ключевые моменты

• При использовании обычного Single Query (Single SQL) ORM формирует единый запрос с множеством JOIN. В результате выборка может содержать повторяющиеся строки, увеличивая сетевой трафик и объём памяти, необходимой для обработки данных.
• Split Queries разделяют выборку на отдельные запросы для каждой связанной коллекции или навигации. Затем ORM объединяет полученные данные в памяти, устраняя дублирование строк и сокращая общий объём передаваемой информации.
• Split Queries обычно эффективнее при работе с большим числом связанных коллекций и множеством строк, когда Single Query приводит к экспоненциальному увеличению размера результата. При этом обращений к базе становится больше, поэтому применять такой подход без необходимости не следует.

Практический контекст

В проектах на Entity Framework Core 5 и выше Split Queries часто включают с помощью метода AsSplitQuery(). Например, при загрузке заказов с большим количеством позиций и клиентов Single Query способен сформировать огромную выборку с дублирующимися данными. Split Queries вместо этого разделяют загрузку на три лёгких запроса, уменьшая задержки и сетевую нагрузку. В результате API становится более отзывчивым, а приложение потребляет меньше памяти.