Почему structured output всегда выдаёт валидный JSON? На каком уровне это реализуется?

Structured output не «всегда» успешен: при поддерживаемой схеме ограничения декодирования обеспечивают структуру завершённого ответа. Обрыв, отказ и ошибки транспорта требуют отдельной обработки.

В constrained decoding недопустимые продолжения отсекаются во время генерации согласно грамматике или схеме. Это реализуется в inference backend, а не только инструкцией «верни JSON». Обычный parsing с повторными попытками — другой механизм. Даже валидный JSON может содержать неверные факты; приложение проверяет бизнес-правила и полноту ответа независимо от синтаксиса.

Источник: dottxt-ai.github.io.