Какие правила хуков нарушаются, если хук вызывается после условного return или внутри условия?

Условные вызовы обычных хуков нарушают постоянство их порядка между рендерами; переносите вызовы выше раннего return.

Условие помещают внутрь эффекта либо выделяют отдельный компонент. Это относится, например, к useState и useEffect. API use — специальное исключение: допускает условия и циклы, но вызывается внутри компонента или хука.

Источник: react.dev, react.dev.