Считайте токены по всем вызовам модели в одном пользовательском сценарии, отдельно вход и выход. История, tool results, повторные попытки и многократная передача контекста входят в суммарный расход.
Сколько примерно было токенов на один проход end-to-end?
Считайте токены по всем вызовам модели в одном пользовательском сценарии, отдельно вход и выход. История, tool results, повторные попытки и многократная передача контекста входят в суммарный расход.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
Считайте токены по всем вызовам модели в одном пользовательском сценарии, отдельно вход и выход. История, tool results, повторные попытки и многократная передача контекста входят в суммарный расход.
Опираться лучше на usage-метаданные вызовов с общим trace ID, а не на длину финального ответа. Укажите медиану и верхние перцентили, размер retrieval-контекста и число шагов. Cached input выделяйте отдельно, если он тарифицируется иначе. Без измерений нельзя назвать честное число; объясните метод сбора и границы сценария.