Квантование без математики
Языковая модель — это очень большая куча чисел. Квантование означает хранить эти числа меньшим количеством бит. Вся идея в этом. Интересные вопросы другие: какие именно числа, сколько бит и что ломается первым.
Почему это вообще работает
Большинство весов небольшие и сгруппированы около нуля. Вместо 16 бит на каждое число можно хранить общий масштаб и маленький индекс в сетке значений. Функция модели сохраняет форму, а памяти нужно вчетверо меньше.
Работает это потому, что нейросети устойчивы: их обучали с шумом, dropout и приблизительной арифметикой. Небольшое возмущение весов редко меняет ответ на обычном тексте.
Что деградирует и когда
Отказы не случайны, они концентрируются в нескольких местах:
- Длинная арифметика. Ошибка накапливается по шагам. Модель, которая прекрасно пересказывает, всё равно может ошибиться в умножении пятизначных чисел.
- Редкие токены и языки. На малых языках примеров на параметр меньше, поэтому та же абсолютная ошибка бьёт сильнее.
- Строгий формат. JSON-схемы и точные форматы цитирования — там, где небольшое смещение превращается в ошибку разбора.
- Очень длинная генерация. Ошибки накапливаются на тысячах токенов; короткие ответы проблему просто скрывают.
Обратите внимание, чего в списке нет: тона, беглости, базовых рассуждений, пересказа. Всё это 4-битное квантование переживает настолько хорошо, что в слепом тесте большинство разницы не замечает.
Почему перплексия — плохой ориентир
Квантованные модели обычно сравнивают по перплексии — насколько модель «удивлена» эталонным текстом. Рост часто в пределах нескольких процентов, что звучит незначительно — и для продолжения текста так и есть. Но перплексия усредняет по всему, размывая именно те отказы, которые важны: неверная цифра, невалидный JSON, выдуманная ссылка.
Если число усредняет по всему распределению задач, оно скроет подмножество, которое вам важно.
Практические правила
- Берите 4 бита, если нет особой причины поступать иначе: экономия памяти вчетверо, потеря качества обычно небольшая.
- Предпочитайте аккуратный квант известного автора самодельному: калибровочные данные важнее названия алгоритма.
- Проверяйте на своих примерах, особенно на задачах со структурированным выводом.
- Держите полную версию модели для эталонного прогона: это самый быстрый способ отличить «модель ошибается» от «квант её сломал».
Квантование — не трюк и не компромисс. Именно так эти модели и разворачивают. Навык в том, чтобы понимать, какие части вашей задачи к нему чувствительны.