AWQ (Adaptive Weight Quantization) — это метод квантования весов нейронных сетей, направленный на уменьшение размера модели и ускорение инференса без значительной потери качества. Идея заключается в адаптивном снижении точности представления весов, при этом учитывая их важность и распределение.
Что такое AWQ и в чём идея per-channel scaling?
AWQ (Adaptive Weight Quantization) — это метод квантования весов нейронных сетей, направленный на уменьшение размера модели и ускорение инференса без значительной потери качества.
Короткий ответ
Что ответить на собеседовании
Подробный разбор
Ответ с пояснениями
AWQ (Adaptive Weight Quantization) — это метод квантования весов нейронных сетей, направленный на уменьшение размера модели и ускорение инференса без значительной потери качества. Идея заключается в адаптивном снижении точности представления весов, при этом учитывая их важность и распределение.
Per-channel scaling — это техника масштабирования весов по отдельным каналам (например, в сверточных слоях). Вместо того, чтобы применять один масштаб к всему тензору весов, для каждого канала вычисляется свой коэффициент масштабирования. Это позволяет более точно сохранить динамику весов и улучшить качество квантованной модели, так как разные каналы могут иметь разный диапазон значений.
Пример: если у вас есть сверточный слой с 64 выходными каналами, то для каждого канала вычисляется свой масштаб, и веса этого канала квантируются с учётом этого масштаба. Это снижает ошибку квантования по сравнению с одним общим масштабом для всех каналов.