Как рост диалога и контекста сказывается на скорости обработки ответов?

Рост контекста увеличивает стоимость обработки входа, память KV-cache и обычно задержку ответа. Время до первого токена и скорость дальнейшей генерации нужно измерять отдельно.

Для стандартного dense attention prefill включает взаимодействия между позициями, а при декодировании новый токен обращается к накопленному контексту. Кеширование префикса и оптимизированные kernels помогают, но не делают длинный диалог бесплатным. Ограничивайте историю, сжимайте повторяющиеся tool results и измеряйте реальные перцентили на целевой модели.