Как у локальной модели обстояли дела со скоростью работы и количеством токенов?

Скорость локальной модели зависит от модели, квантования, оборудования, длины контекста и параллелизма. Без этих данных конкретные токены в секунду назвать нельзя.

В ответе приведите свои измерения: время до первого токена, скорость генерации, объём входа/выхода и потребление памяти. Разделите максимальное окно контекста и реально использованный размер. Если измерений не было, честно опишите субъективное наблюдение, не превращая его в точную производительность.