Задержка, пропускная способность и цифры, которые важны

Производительность 16 ноября 2026·5 мин чтения

«Выдаёт 80 токенов в секунду» — самая цитируемая и самая бесполезная цифра в локальном инференсе. Она описывает бенчмарк, а не ваш опыт. Вы чувствуете время до первого токена и время до конца, и оба зависят от того, что заголовочное число скрывает.

Три числа, три разные проблемы

  • Время до первого токена (TTFT). Сколько ждать после нажатия Enter. На длинном промпте его определяет prefill — чтение входа — и это могут быть секунды даже на быстром железе.
  • Скорость генерации. Токены в секунду после старта. Именно её все цитируют, и именно она меньше всего важна для коротких ответов.
  • Полное время. TTFT плюс генерация, умноженная на длину. Ответ в чате — 20 токенов, рефакторинг — 2000. Скорость одна, опыт совершенно разный.

Почему заголовочное число врёт

Модель, выдающая 80 токенов в секунду, но читающая тридцать страниц четыре секунды, ощущается медленнее той, что даёт 40 и стартует за полсекунды. В чате доминирует prefill, в генерации кода — сама генерация. Одна модель, разный вердикт в зависимости от задачи.

Батчинг делает хуже: параллельное обслуживание повышает пропускную способность — суммарные токены в секунду для всех — и увеличивает задержку каждого отдельного запроса. Однопользовательский бенчмарк этого не покажет.

Что мерить под свою нагрузку

Возьмите десять реальных запросов той длины, которая у вас в работе. Измерьте:

  • p50 и p95 времени до первого токена;
  • p50 и p95 полного времени;
  • токены в секунду после первого токена;
  • пиковую память — своп убивает всё перечисленное.

Дальше сравните с порогом, после которого инструментом перестают пользоваться. Для автодополнения это примерно 200 мс, для чата — две секунды, для пакетной задачи минуты вообще не важны.

Два дешёвых улучшения

Кэшируйте промпт. Если системный промпт или документ переиспользуется, кэш prefill убирает большую часть TTFT. Это поддерживают и локальные рантаймы, и облачные API, и обычно бесплатно попробовать.

Сократите вывод. Просить меньше — самая надёжная оптимизация: короткий ответ быстрее, дешевле и часто лучше. «Объясни тремя пунктами» полезнее любой настройки инференса.

Правило: оптимизируйте ту метрику, на которую жалуются пользователи. Если никто не жалуется, вы, скорее всего, измеряете не то.

← Все статьи