Как происходит обучение с LoRA простыми словами?

LoRA оставляет основные веса модели замороженными и обучает небольшие низкоранговые добавки к выбранным матрицам. Это уменьшает число обучаемых параметров и затраты на хранение адаптации.

Вместо изменения полной матрицы W обучают произведение двух меньших матриц: W + BA с заданным rank. Градиенты обновляют адаптеры, а базовая модель сохраняется. Это всё ещё обучение на данных с loss и валидацией, а не добавление документов в память. Малый размер адаптера не защищает от переобучения или плохой разметки.

Источник: arxiv.org.