Что такое VLM (Vision Language Model)?

VLM — модель, связывающая визуальную информацию и язык. Она может отвечать на вопросы по изображению, описывать сцену или извлекать информацию, но не гарантирует безошибочное понимание картинки.

Один распространённый подход соединяет визуальный энкодер с языковой моделью через обучаемую проекцию; архитектуры VLM различаются. На вход подаются изображение и текстовая инструкция, на выходе получается текст либо другое представление. Нужно отдельно проверять OCR, мелкие детали, пространственные отношения и склонность к выдумыванию объектов.

Источник: arxiv.org.