Дубликаты когда-нибудь искали, обнаруживали? Каким образом подходили к этому процессу?

Сначала определите, что считается дублем: совпадение всех полей, бизнес-ключа или одной сущности с разными записями.

Точные повторы находят группировкой или проверкой ключей, а неоднозначные совпадения требуют правил подтверждения; удалять их без выбора сохраняемой записи нельзя.