Где ты запускал локальные модели?

Назовите реальное окружение запуска: собственный компьютер, рабочая станция или выделенный сервер, а также использованный runtime.

Расскажите, как ограничения памяти и доступного ускорителя влияли на размер модели и скорость, если это проверяли сами. Разделите локальный inference и обращение к облачному API: это не одно и то же. Если опыта локального запуска нет, не выдумывайте оборудование и показатели производительности.