Теория
Дубликаты когда-нибудь искали, обнаруживали? Каким образом подходили к этому процессу?
Сначала определите, что считается дублем: совпадение всех полей, бизнес-ключа или одной сущности с разными записями.
Читать ответ