Если бы дали неограниченное количество GPU для повышения качества системы, какое направление ты бы выбрал в первую очередь?

Даже неограниченные GPU не устраняют плохие данные и неверную постановку. Первое направление выбирают по разбору ошибок и ожидаемому улучшению пользовательского результата.

Если bottleneck в retrieval, улучшайте индекс и ранжирование; если в знаниях или поведении модели — проверяйте данные и дообучение; если в reasoning — оцените более сильную модель. Начните с небольшого контролируемого эксперимента и ablation. Учитывайте inference latency, стоимость сопровождения и безопасность: ресурсы обучения не делают любое решение пригодным для продукта.