Квантование без математики

Основы 21 октября 2026·5 мин чтения

Языковая модель — это очень большая куча чисел. Квантование означает хранить эти числа меньшим количеством бит. Вся идея в этом. Интересные вопросы другие: какие именно числа, сколько бит и что ломается первым.

Почему это вообще работает

Большинство весов небольшие и сгруппированы около нуля. Вместо 16 бит на каждое число можно хранить общий масштаб и маленький индекс в сетке значений. Функция модели сохраняет форму, а памяти нужно вчетверо меньше.

Работает это потому, что нейросети устойчивы: их обучали с шумом, dropout и приблизительной арифметикой. Небольшое возмущение весов редко меняет ответ на обычном тексте.

Что деградирует и когда

Отказы не случайны, они концентрируются в нескольких местах:

  • Длинная арифметика. Ошибка накапливается по шагам. Модель, которая прекрасно пересказывает, всё равно может ошибиться в умножении пятизначных чисел.
  • Редкие токены и языки. На малых языках примеров на параметр меньше, поэтому та же абсолютная ошибка бьёт сильнее.
  • Строгий формат. JSON-схемы и точные форматы цитирования — там, где небольшое смещение превращается в ошибку разбора.
  • Очень длинная генерация. Ошибки накапливаются на тысячах токенов; короткие ответы проблему просто скрывают.

Обратите внимание, чего в списке нет: тона, беглости, базовых рассуждений, пересказа. Всё это 4-битное квантование переживает настолько хорошо, что в слепом тесте большинство разницы не замечает.

Почему перплексия — плохой ориентир

Квантованные модели обычно сравнивают по перплексии — насколько модель «удивлена» эталонным текстом. Рост часто в пределах нескольких процентов, что звучит незначительно — и для продолжения текста так и есть. Но перплексия усредняет по всему, размывая именно те отказы, которые важны: неверная цифра, невалидный JSON, выдуманная ссылка.

Если число усредняет по всему распределению задач, оно скроет подмножество, которое вам важно.

Практические правила

  • Берите 4 бита, если нет особой причины поступать иначе: экономия памяти вчетверо, потеря качества обычно небольшая.
  • Предпочитайте аккуратный квант известного автора самодельному: калибровочные данные важнее названия алгоритма.
  • Проверяйте на своих примерах, особенно на задачах со структурированным выводом.
  • Держите полную версию модели для эталонного прогона: это самый быстрый способ отличить «модель ошибается» от «квант её сломал».

Квантование — не трюк и не компромисс. Именно так эти модели и разворачивают. Навык в том, чтобы понимать, какие части вашей задачи к нему чувствительны.

← Все статьи