Имеет ли смысл использовать useMemo или useCallback для функции, которая возвращает JSX?

useCallback кеширует функцию, а useMemo — вычисленное значение, в том числе JSX; польза зависит от того, как результат используется.

Если функцию сразу вызывают при каждом рендере, useCallback не отменяет её работу. Мемоизация полезна для дорогого вычисления или стабильных props мемоизированного потомка; сначала рассмотрите отдельный компонент и измерьте реальную стоимость.