Как получить уникальные записи в выборке без DISTINCT?

Как обеспечить уникальность записей без DISTINCT?

• агрегатные функции с GROUP BY — объединение строк по ключам
• оконные функции (ROW_NUMBER(), RANK()) с последующей фильтрацией по порядковому номеру
• подзапросы с EXISTS/IN, позволяющие исключать дубликаты
• уникальные индексы и ключи на уровне БД для контроля уникальности
• отбор по уникальному идентификатору, например по первичному ключу
• UNION вместо UNION ALL — объединение наборов данных с удалением повторов
• Для простого удаления дублей оптимальнее использовать DISTINCT, а остальные подходы подходят для более сложной логики

Выбор метода зависит от задачи и объема данных: эти способы позволяют гибко управлять уникальностью и нередко применяются для оптимизации производительности либо специальной фильтрации.

Подробный ответ

Основной ответ

Уникальные записи в выборке можно получить не только с помощью DISTINCT. Для этого используют GROUP BY, а также аналитические и оконные функции, например ROW_NUMBER(). Кроме того, агрегатные функции позволяют выбрать из каждой группы, например, первый или последний элемент.

Ключевые моменты

• С помощью GROUP BY строки объединяются по уникальному набору полей, а значения в остальных колонках можно вычислять агрегатными функциями (SUM, MAX, MIN). Если правильно определить поля группировки, результат будет уникальным.
• Выражение ROW_NUMBER() OVER (PARTITION BY ... ORDER BY ...) присваивает строкам номера внутри каждой группы. Благодаря этому можно оставить только первую строку из каждой группы, например запись, уникальную по определенному атрибуту. Такой подход часто реализуют в подзапросах или CTE.
• В PostgreSQL есть и другой вариант — DISTINCT ON. Он позволяет получать уникальные записи по конкретной колонке и выбирать нужную строку с помощью ORDER BY, поэтому предоставляет больше возможностей, чем обычный DISTINCT.

Практический контекст

В прикладных проектах ROW_NUMBER() часто применяют для дедупликации при сложной фильтрации или когда из каждой группы требуется выбрать одну уникальную запись с учетом дополнительного порядка сортировки, например самую свежую. В PostgreSQL 12+ и других СУБД, поддерживающих оконные функции, это стандартный способ гибко работать с уникальностью. В отличие от него, простой DISTINCT иногда оказывается слишком грубым и не позволяет выбрать конкретную версию записи.