Что можно сделать, чтобы модель не отвечала, если в контексте нет информации для ответа на вопрос?

Задайте правило ответа только по достаточному контексту и явный вариант отказа или уточнения. Дополните prompt проверкой retrieval и тестами на неответимые вопросы.

Требуйте подтверждать ключевые утверждения источниками и проверяйте соответствие цитат, а не только наличие ссылок. Порог релевантности подбирайте по размеченным данным. Полезно измерять одновременно галлюцинации и лишние отказы: инструкция сама по себе не гарантирует корректное поведение.