Сколько на самом деле стоит инференс

Экономика 14 ноября 2026·5 мин чтения

Цены на инференс выглядят просто: число за миллион входных токенов и большее число за миллион выходных. Счёт редко бывает простым. Четыре эффекта решают, заплатите вы сотни или тысячи за один и тот же продукт.

1. Выход доминирует

Выходные токены обычно стоят в три-пять раз дороже входных. Модель, которая пишет два абзаца там, где хватило бы одного, не «немного дороже» — она может удвоить счёт. Если в промпте не задана длина, вы молча выбираете дорогой вариант.

2. Повторы умножают всё

Запрос, не прошедший валидацию и повторённый, стоит дважды: неудачная попытка плюс успешная. При 15% повторов вы платите на 15% больше за каждую функцию, всегда, и это не видно ни в одном сравнении цен. Считайте повторы отдельно — это самая недооценённая статья расходов в продакшене.

3. Контекст оплачивается многократно

В чате каждый ход пересылает историю. Разговор, доросший до 20 тысяч токенов, на двадцатом сообщении стоит 20 тысяч входных токенов. Кэш помогает — часто радикально — но только если префикс стабилен. Перестановка системного промпта или вставка текущего времени в начало тихо убивает кэш.

4. Бюджет рассуждения не виден заранее

С регулятором «сколько думать» один и тот же запрос может стоить цент или двадцать. Назначать бюджет под задачу, а не глобально, — разница между предсказуемым счётом и сюрпризом.

Полезное упражнение: возьмите логи за прошлый месяц и посчитайте стоимость решённой задачи, включая повторы и брошенные сессии. Число почти всегда выше оценки — и только его стоит оптимизировать.

Где резать в первую очередь

  • Короткий вывод. Явно задавайте длину и формат.
  • Стабильные префиксы. Держите кэшируемую часть в начале и не переставляйте её.
  • Меньшая модель для простого. Маршрутизируйте по сложности: большая часть трафика — простая.
  • Меньше контекста. Поиск вместо всего документа часто дешевле, чем кажется, потому что сокращает и вывод.

Ничего из этого не требует новой модели. Требуется знать, какая строка в счёте растёт.

← Все статьи