Запуск вменяемой модели дома
Локальный инференс давно перестал быть экзотикой. Видеокарта за 12 ГБ памяти запускает модель, которая отвечает на вопросы, пересказывает документы и пишет сносный код. Интересно другое: понять, что значит «вменяемая» на каждом уровне памяти и где усилия перестают окупаться.
Сначала считаем память
Параметры — не вся история, но нижняя граница. При 4-битном квантовании модели нужно примерно
0,55 ГБ на миллиард параметров под веса, плюс 1–3 ГБ на KV-кэш в зависимости от длины контекста
и размера батча.
- 8 ГБ — модели 7–9B в 4 бита. Хватает для пересказа, извлечения данных и чата.
- 12 ГБ — 12–14B в 4 бита или 8B с длинным контекстом.
- 24 ГБ — 27–32B в 4 бита. Здесь помощник по коду становится действительно рабочим.
- 48 ГБ и больше — модели класса 70B или 32B с большим батчем на несколько пользователей.
Если модель не влезает, рантайм выгружает слои в системную память. Работать будет, но скорость упадёт на порядок — часто с 30 токенов в секунду до 3. Это и есть разница между инструментом и демонстрацией.
Квантование — главный рычаг
Почти всё, что можно скачать, уже квантовано. На практике полезны GGUF для процессора и смешанных схем и AWQ или GPTQ для чистой видеокарты. Аккуратный 4-битный квант теряет на удивление мало: на большинстве задач разница в пределах шума, а провалы проявляются в длинной арифметике и редких языках, а не в обычном тексте.
Ниже 4 бит картина меняется. 3- и 2-битные варианты существуют и запускаются, но деградация видна: модель начинает повторяться, теряет следование инструкциям и становится ненадёжной в структурированном выводе. Если вам нужно 2 бита, чтобы влезть, — скорее нужна модель поменьше.
Скорость: чего ждать
На современной потребительской карте модель 8B в 4 бита выдаёт примерно 40–80 токенов в секунду, 32B — около 12–25. Обработка промпта идёт быстрее, но одним всплеском, поэтому первый токен после длинного документа может появиться через секунду-две.
Две детали важнее пиковой цифры:
- Длина контекста стоит памяти и скорости. Удвоение окна не бесплатно: KV-кэш растёт линейно, внимание замедляется.
- Для обслуживания батч лучше параллельности. Если моделью пользуются несколько человек, один процесс с небольшим батчем эффективнее, чем процесс на каждого.
Когда локальная модель действительно выигрывает
Она выигрывает в приватности, в предсказуемой стоимости и там, где важна задержка до внешнего API. Она проигрывает в возможностях: передовая модель с бюджетом рассуждения обойдёт локальную 32B на сложных задачах, и промпт-инжинирингом этот разрыв не закрыть.
Разумное разделение: локально — массовая обработка, приватные документы и фоновые задачи; удалённо — сложные случаи. Маршрутизация между ними — десяток строк кода, и она экономит и деньги, и репутацию.