Длинный контекст: как не утонуть
Контекстные окна измеряются сотнями тысяч токенов, и вендоры соревнуются в цифре, будто это лошадиные силы. На практике большое окно — инструмент с острым краем: он убирает необходимость выбирать, что положить в промпт, и в этом же проблема.
Для чего это хорошо
Длинный контекст сияет, когда ответ зависит от маленькой детали внутри большого связного документа: пункта договора, строки в логе, абзаца в спецификации. Прочитать целиком надёжнее, чем угадывать, какой фрагмент достать поиском.
И он отлично работает для сравнений «за один проход»: «вот три версии файла — что изменилось и какая безопаснее?» Поиск так не умеет, потому что ценность в связи между частями.
Чего это стоит
- Денег. Вы платите за каждый токен в каждом вызове. Пересылать 200-страничное руководство на каждый запрос — быстрый путь к неожиданному счёту.
- Задержки. Prefill растёт с входом: огромный промпт — медленный первый токен.
- Качества внимания. Модели всё ещё теряют детали в середине очень длинного входа. «Влезло» не значит «прочитало».
- Дисциплины. Когда влезает всё, никто не чистит. Промпты превращаются в папки.
Три правила, которые держат форму
1. Вопрос — в конце. Модели надёжнее смотрят на начало и конец. Длинный документ, а после него вопрос, работает лучше обратного порядка.
2. Размечайте разделы. Заголовки и короткие идентификаторы делают документ навигируемым для модели, а не только для вас. «Раздел 4: расторжение» стоит трёх пустых строк.
3. Просите цитаты. Требование процитировать или указать раздел заставляет модель реально использовать документ и делает отказ видимым: если не может сослаться — скорее всего, угадывает.
Когда возвращаться к поиску
Если корпус часто меняется, если он заметно больше окна или если один и тот же текст запрашивают много раз, поиск плюс кэш дешевле и быстрее. Моё правило: длинный контекст для чтения, поиск для масштаба.
Лучший промпт — тот, который вам самим было бы комфортно прочитать. Если это стена неразмеченного текста, задача модели сложнее, чем нужно.