Как можно использовать LLM для задач классификации и как получить вероятности классов с помощью LLM?

LLM можно попросить выбрать класс по инструкции и примерам либо дообучить классификатор. Вероятности, написанные моделью текстом, не равны надёжно откалиброванным вероятностям классов.

Если доступны logits/logprobs, сравнивайте вероятности допустимых меток; для многотокенных названий учитывайте всю последовательность и неодинаковую длину. Нормировка среди разрешённых меток даёт условное распределение, а не гарантию качества. Калибруйте на независимых данных, проверяйте устойчивость к формулировке prompt и сравнивайте с простым supervised baseline.