Как ускорить градиентный спуск при очень большом числе признаков?

Сначала улучшите обусловленность и стоимость одного шага: масштабируйте признаки, используйте разреженное представление и mini-batch. Затем настройте оптимизатор и learning rate по измерениям.

Удалите бесполезные признаки или рассмотрите снижение размерности с проверкой качества. Векторизация и подходящий hardware ускоряют вычисления, но не лечат плохую постановку. Momentum и адаптивные шаги могут ускорить сходимость; сравнивайте время до нужной валидационной метрики, а не только число итераций.