Какие проблемы возникают при batched inference LLM с разной длиной запросов?

При batched inference больших языковых моделей (LLM) с разной длиной запросов возникают следующие проблемы:

• Паддинг и вычислительные затраты: Чтобы объединить запросы в один батч, короткие запросы дополняются паддингом до длины самого длинного. Это увеличивает вычислительные затраты и снижает эффективность.
• Неоднородность по времени обработки: Длинные запросы требуют больше времени, из-за чего короткие запросы в батче вынуждены ждать, что увеличивает задержку.
• Проблемы с маскированием: Нужно корректно маскировать паддинговые токены, чтобы модель не учитывала их при генерации.
• Управление памятью: Разная длина запросов усложняет оптимальное распределение памяти на GPU.

Эти проблемы требуют балансировки между эффективностью и временем отклика, часто используют динамические батчи или группировку запросов по длине.