Запуск вменяемой модели дома

Локальный инференс 3 ноября 2026·7 мин чтения

Локальный инференс давно перестал быть экзотикой. Видеокарта за 12 ГБ памяти запускает модель, которая отвечает на вопросы, пересказывает документы и пишет сносный код. Интересно другое: понять, что значит «вменяемая» на каждом уровне памяти и где усилия перестают окупаться.

Сначала считаем память

Параметры — не вся история, но нижняя граница. При 4-битном квантовании модели нужно примерно 0,55 ГБ на миллиард параметров под веса, плюс 1–3 ГБ на KV-кэш в зависимости от длины контекста и размера батча.

  • 8 ГБ — модели 7–9B в 4 бита. Хватает для пересказа, извлечения данных и чата.
  • 12 ГБ — 12–14B в 4 бита или 8B с длинным контекстом.
  • 24 ГБ — 27–32B в 4 бита. Здесь помощник по коду становится действительно рабочим.
  • 48 ГБ и больше — модели класса 70B или 32B с большим батчем на несколько пользователей.

Если модель не влезает, рантайм выгружает слои в системную память. Работать будет, но скорость упадёт на порядок — часто с 30 токенов в секунду до 3. Это и есть разница между инструментом и демонстрацией.

Квантование — главный рычаг

Почти всё, что можно скачать, уже квантовано. На практике полезны GGUF для процессора и смешанных схем и AWQ или GPTQ для чистой видеокарты. Аккуратный 4-битный квант теряет на удивление мало: на большинстве задач разница в пределах шума, а провалы проявляются в длинной арифметике и редких языках, а не в обычном тексте.

Ниже 4 бит картина меняется. 3- и 2-битные варианты существуют и запускаются, но деградация видна: модель начинает повторяться, теряет следование инструкциям и становится ненадёжной в структурированном выводе. Если вам нужно 2 бита, чтобы влезть, — скорее нужна модель поменьше.

Скорость: чего ждать

На современной потребительской карте модель 8B в 4 бита выдаёт примерно 40–80 токенов в секунду, 32B — около 12–25. Обработка промпта идёт быстрее, но одним всплеском, поэтому первый токен после длинного документа может появиться через секунду-две.

Две детали важнее пиковой цифры:

  • Длина контекста стоит памяти и скорости. Удвоение окна не бесплатно: KV-кэш растёт линейно, внимание замедляется.
  • Для обслуживания батч лучше параллельности. Если моделью пользуются несколько человек, один процесс с небольшим батчем эффективнее, чем процесс на каждого.

Когда локальная модель действительно выигрывает

Она выигрывает в приватности, в предсказуемой стоимости и там, где важна задержка до внешнего API. Она проигрывает в возможностях: передовая модель с бюджетом рассуждения обойдёт локальную 32B на сложных задачах, и промпт-инжинирингом этот разрыв не закрыть.

Разумное разделение: локально — массовая обработка, приватные документы и фоновые задачи; удалённо — сложные случаи. Маршрутизация между ними — десяток строк кода, и она экономит и деньги, и репутацию.

← Все статьи