Какие приёмы prompt compression вы знаете (LLMLingua)?

Prompt compression — это техники сокращения или оптимизации входных запросов (prompt) для больших языковых моделей (LLM), чтобы уменьшить их длину и повысить эффективность без потери качества ответа. Основные приёмы:

• Удаление избыточной информации: убрать повторяющиеся или несущественные части текста.
• Использование сокращений и аббревиатур: заменять длинные фразы на короткие, понятные модели.
• Переформулирование: переписать запрос более компактно, сохраняя смысл.
• Использование контекстных ссылок: вместо повторения информации использовать ссылки на ранее предоставленные данные.
• Кодирование или сжатие: применять специальные форматы или токенизацию для уменьшения размера.

Эти методы помогают снизить потребление токенов и ускорить обработку, что важно при работе с ограничениями моделей и стоимостью запросов.