Есть ли смысл проводить A/B-тест при α = 1?

Как проверка статистической значимости — нет; как сбор экспериментальных данных — иногда да.

В стандартной процедуре с правилом «отклонить H₀, если p ≤ α» значение α = 1 делает решение предопределённым: любой корректно вычисленный p-value находится между 0 и 1. И p = 0,01, и p = 0,8, и даже p = 1 приведут к отклонению H₀. Это прямое следствие выбранного правила сравнения, а не свидетельство различия вариантов. Уровень значимости и p-value, NIST

Если H₀ действительно истинна, такая процедура даст ложноположительное решение в 100% повторений. При заданной ложной H₀ мощность формально тоже станет равна единице, а β — нулю, но лишь потому, что тест всегда отвергает H₀. Отличать отсутствие эффекта от его наличия он перестал.

Это не означает, что 100% всех объявленных эффектов обязательно ложны: среди проверяемых изменений могут быть реальные. Частота ошибки при истинной H₀ и вероятность истинности H₀ после получения данных — разные величины. Ни α, ни p-value сами по себе не являются такой апостериорной вероятностью. Разъяснение ASA

Рандомизированное сравнение всё ещё может дать оценку изменения конверсии, выручки или другой метрики. Однако результат нужно сопровождать обоснованной оценкой неопределённости. Для обычной проверки заранее выбирают содержательный уровень α, практически важный эффект и требуемую мощность. Если цель — оценивание или иной способ принятия решения, его также определяют заранее, а не маскируют правилом, которое всегда объявляет значимость.