Перед сэмплингом что делают с логитами и какие параметры сэмплинга знаешь?

Логиты преобразуют в распределение вероятностей, обычно после temperature и ограничений кандидатов. Основные параметры: temperature, top-k, top-p, штрафы повторов и длина генерации.

Softmax переводит скоры в вероятности; temperature меняет их концентрацию. Top-k оставляет заданное число кандидатов, top-p — набор с нужной накопленной вероятностью. Реальный порядок фильтров и смысл штрафов зависят от реализации. Жадный выбор берёт максимум вместо случайной выборки; фиксированный seed полезен для сравнения, но не обещает идентичность на любом окружении.