Ты указываешь опыт с трансформерами — что конкретно делали с архитектурой трансформеров в RAG?

Уточните, использовали ли готовые Transformer-модели для embeddings, reranking и генерации или действительно меняли архитектуру. Это разные уровни участия.

Расскажите о конкретной модели, способе адаптации и проверке качества. Настройка chunking, prompts и retrieval — важная инженерная работа, но не изменение архитектуры Transformer. Если дообучали веса, отделите это от добавления новых слоёв или изменения attention.