Какую локальную LLM вы использовали и как её настраивали?

Назовите реально использованную модель, размер и формат весов, среду запуска и задачу. Затем объясните, как подбирали параметры и измеряли качество на своём наборе примеров.

Хороший ответ содержит память устройства, квантование, длину контекста, шаблон диалога и настройки генерации. Покажите компромисс: снижение потребления памяти может ухудшить ответы, а длинный контекст увеличивает стоимость обработки и объём KV-кеша.

Отделяйте настройку inference от обучения: системный промпт и RAG не являются fine-tuning. Расскажите о повторяемых проверках качества, задержке первого токена и скорости генерации. Если дообучения не было, не приписывайте его себе. При отсутствии практики допустимо описать план эксперимента, явно назвав его планом, а не выполненным проектом.