Ещё, наверное, качество плея должно быть как-то оценено в онлайне — если начал смотреть пользователь, то сколько посмотрел?

Да, кроме старта воспроизведения нужны длительность просмотра и доля досмотра, но их следует отделять от технического качества плеера. Долгий ролик и короткий нельзя сравнивать одной сырой метрикой.

Для вовлечённости измеряют watch time, долю просмотренной длины, completion и возвраты с учётом autoplay/background. Для качества — время до первого кадра, ошибки старта, rebuffering ratio и падение качества. Сегментируйте по длине видео, устройству и сети; исключайте дубликаты событий. Рост watch time не всегда означает улучшение: пользователь мог ждать буферизацию, поэтому технические и продуктовые события должны различаться.