Как работает функция hex()?

hex(x) возвращает шестнадцатеричное представление целого числа в строке с префиксом 0x. Для отрицательного числа добавляется минус; фиксированная разрядность не задаётся.

hex(255)   # '0xff'
hex(-255)  # '-0xff'
format(255, 'X')  # 'FF'

Функция принимает int или объект с index. Для преобразования байтов в шестнадцатеричную строку используют bytes.hex(), а для обратного разбора числа — int(text, 16). Это разные операции над разными типами данных.