Что такое prompt tuning и где он применяется?

Prompt tuning — это метод адаптации больших языковых моделей (LLM) без полного переобучения модели. Вместо изменения всех весов модели, prompt tuning обучает небольшое количество дополнительных параметров, которые выступают в роли «подсказок» (prompt), влияющих на поведение модели.

Применяется prompt tuning, когда нужно быстро и эффективно адаптировать LLM под конкретную задачу, например, классификацию текста, генерацию ответов или перевод, при ограниченных ресурсах. Это особенно полезно, когда нет возможности или желания дообучать всю модель из-за её размера или стоимости.

Пример: вместо полного fine-tuning модели GPT, можно обучить только специальные векторные представления (soft prompts), которые подаются на вход модели и направляют её генерацию в нужное русло.