Как это можно сделать технически — что клик должен ранжироваться выше скипа и тому подобное?

Можно обучать pairwise ranking: для сопоставимого показа положительный объект должен иметь score выше отрицательного. Но пропуск не всегда означает отрицательное предпочтение пользователя.

Формируйте пары с учётом видимости и позиции, используйте loss вроде log(1+exp(−(s_click−s_skip))). Учитывайте задержанные события и различия ценности действий. Простое назначение весов click > skip не устраняет смещение политики показа и ошибки наблюдения.