Сколько работал поиск/полный цикл ответа в RAG-системе?

Назовите измеренную задержку retrieval и полного ответа отдельно, желательно медиану и p95. Время до первого токена также не равно времени завершения всей генерации.

Укажите размер корпуса, тип запросов, число найденных фрагментов, модель и нагрузку измерения. Разберите время embeddings, поиска, reranker, очереди и генерации. Если точных метрик нет, не придумывайте секунды: объясните, как собирали бы trace и какие этапы сравнили.