Основные настройки LoRA: ранг r, масштаб lora_alpha, lora_dropout и целевые модули. Дополнительно важны learning rate, batch size и число шагов обучения.
Какие гиперпараметры LoRA знаешь?
Основные настройки LoRA: ранг r, масштаб lora_alpha, lora_dropout и целевые модули. Дополнительно важны learning rate, batch size и число шагов обучения.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Основные настройки LoRA: ранг r, масштаб lora_alpha, lora_dropout и целевые модули. Дополнительно важны learning rate, batch size и число шагов обучения.
В классической LoRA поправка масштабируется α/r; у вариантов формула может отличаться. Больший ранг увеличивает число обучаемых параметров, но не гарантирует качество. Выбор target_modules определяет, какие преобразования адаптируются; всё сравнивают на независимой валидации.
Источник: huggingface.co.