Supervised fine-tuning (SFT) — это процесс дообучения предварительно обученной модели (например, большой языковой модели) на размеченных данных с целью адаптации её под конкретную задачу. В отличие от обучения с нуля, SFT использует уже существующие знания модели и уточняет их.
Что такое supervised fine-tuning (SFT)? Какие данные нужны?
Supervised fine-tuning (SFT) — это процесс дообучения предварительно обученной модели (например, большой языковой модели) на размеченных данных с целью адаптации её под конкретную задачу.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Supervised fine-tuning (SFT) — это процесс дообучения предварительно обученной модели (например, большой языковой модели) на размеченных данных с целью адаптации её под конкретную задачу. В отличие от обучения с нуля, SFT использует уже существующие знания модели и уточняет их.
Для SFT нужны данные с четкими входами и соответствующими правильными выходами (метками). Например, для задачи классификации — тексты с категориями, для генерации ответов — пары вопрос-ответ. Такие данные позволяют модели учиться выдавать желаемый результат на конкретных примерах.
Пример: дообучение LLM на наборе диалогов, где каждому вопросу соответствует правильный ответ, чтобы улучшить качество ответов в чат-боте.