Нужно ли смотреть на другие метрики, кроме целевой?

Да: улучшение целевой метрики ещё не означает, что изменение полезно для продукта в целом. Нужны три дополнительные группы показателей:

• Защитные метрики: ограничения на допустимый вред — например, маржа, отмены, ошибки и время ответа.
• Диагностические метрики: помогают объяснить результат, например переходы между шагами воронки и использование новой функции.
• Качество данных: полнота событий, корректность идентификаторов и соответствие фактических размеров групп запланированному распределению.

Учебный пример: новая скидка повышает число заказов, но может снизить маржу. Без второго показателя решение о внедрении будет неполным. Классификация метрик Microsoft Research

Набор метрик, допустимые ухудшения и критерии успеха фиксируют до запуска. Отсутствие значимого ухудшения не доказывает отсутствие вреда: важны доверительный интервал и чувствительность проверки. Для множества подтверждающих сравнений заранее выбирают способ контроля ошибок; исследовательские находки не выдают за исходную гипотезу. Нельзя задним числом заменить неуспешную целевую метрику случайно «выигравшей».