Сколько на самом деле стоит инференс
Цены на инференс выглядят просто: число за миллион входных токенов и большее число за миллион выходных. Счёт редко бывает простым. Четыре эффекта решают, заплатите вы сотни или тысячи за один и тот же продукт.
1. Выход доминирует
Выходные токены обычно стоят в три-пять раз дороже входных. Модель, которая пишет два абзаца там, где хватило бы одного, не «немного дороже» — она может удвоить счёт. Если в промпте не задана длина, вы молча выбираете дорогой вариант.
2. Повторы умножают всё
Запрос, не прошедший валидацию и повторённый, стоит дважды: неудачная попытка плюс успешная. При 15% повторов вы платите на 15% больше за каждую функцию, всегда, и это не видно ни в одном сравнении цен. Считайте повторы отдельно — это самая недооценённая статья расходов в продакшене.
3. Контекст оплачивается многократно
В чате каждый ход пересылает историю. Разговор, доросший до 20 тысяч токенов, на двадцатом сообщении стоит 20 тысяч входных токенов. Кэш помогает — часто радикально — но только если префикс стабилен. Перестановка системного промпта или вставка текущего времени в начало тихо убивает кэш.
4. Бюджет рассуждения не виден заранее
С регулятором «сколько думать» один и тот же запрос может стоить цент или двадцать. Назначать бюджет под задачу, а не глобально, — разница между предсказуемым счётом и сюрпризом.
Полезное упражнение: возьмите логи за прошлый месяц и посчитайте стоимость решённой задачи, включая повторы и брошенные сессии. Число почти всегда выше оценки — и только его стоит оптимизировать.
Где резать в первую очередь
- Короткий вывод. Явно задавайте длину и формат.
- Стабильные префиксы. Держите кэшируемую часть в начале и не переставляйте её.
- Меньшая модель для простого. Маршрутизируйте по сложности: большая часть трафика — простая.
- Меньше контекста. Поиск вместо всего документа часто дешевле, чем кажется, потому что сокращает и вывод.
Ничего из этого не требует новой модели. Требуется знать, какая строка в счёте растёт.