Можем ли мы использовать одни и те же метрики, когда меряем качество по top-K, и метрику, которую спрашиваем у пользователя (лайк/дизлайк)? Или это разные вещи?

Top-K метрики и лайк/дизлайк измеряют разные стороны качества. Recall@K или NDCG оценивают выдачу относительно релевантности, а пользовательский отклик зависит также от интерфейса и ожиданий.

Лайк можно использовать как шумный сигнал разметки, но отсутствие лайка не равно отрицательной оценке. Пользователь видит только показанные варианты, поэтому возникает selection bias. Сопоставляйте offline-метрики с online-поведением на экспериментах и сохраняйте контекст показа. Одно число не заменяет проверку релевантности и удовлетворённости.