Contrastive learning — это метод обучения представлений (эмбеддингов), при котором модель учится отличать похожие объекты от непохожих. Основная идея — максимизировать сходство между положительными парами (например, разные аугментации одного и того же изображения) и минимизировать сходство между отрицательными парами (разными изображениями).
Что такое contrastive learning в общем виде (SimCLR, MoCo)?
Contrastive learning — это метод обучения представлений (эмбеддингов), при котором модель учится отличать похожие объекты от непохожих.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Contrastive learning — это метод обучения представлений (эмбеддингов), при котором модель учится отличать похожие объекты от непохожих. Основная идея — максимизировать сходство между положительными парами (например, разные аугментации одного и того же изображения) и минимизировать сходство между отрицательными парами (разными изображениями).
В SimCLR и MoCo:
- SimCLR: берутся два разных преобразования одного изображения (аугментации), и модель обучается так, чтобы их эмбеддинги были близки, а эмбеддинги других изображений — далеки.
- MoCo: использует очередь отрицательных примеров и специальный механизм обновления памяти (memory bank), чтобы эффективно обучаться на большом количестве отрицательных примеров.
Это позволяет обучать мощные представления без явных меток, что полезно для последующих задач классификации, кластеризации и т.д.