Бывало ли, что такое «A/B-тестирование» проваливалось и новый интерфейс оказывался хуже?

Если такой случай был, расскажите о метрике, результатах и решении оставить контроль или переработать гипотезу.

Нужно отличить реальное ухудшение от шума, ошибки распределения и проблем трекинга. Отрицательный результат эксперимента полезен, если помог избежать неудачного массового выпуска. Если подобного опыта нет, не придумывайте провал: объясните, как проверяли бы такую ситуацию.