RAG, который работает

Поиск 8 октября 2026·8 мин чтения

У поиска по документам проблемы с репутацией. Демо собирается за вечер, а система, которая выживает на реальных вопросах, — за месяц. Почти вся разница в трёх местах: как нарезаны документы, как вы их ищете и можете ли измерить результат.

Нарезка — это половина дела

Чанк — единица поиска. Слишком маленький теряет контекст, слишком большой размывает сигнал. Фиксированные 512 токенов — разумный дефолт для прозы, но плохой выбор для реальных документов:

  • Инструкции хотят куски по заголовкам, где список шагов остаётся вместе.
  • Договоры хотят границы пунктов, а раздел определений должен ехать с каждым пунктом.
  • Код хочет функции, а не строки, и docstring должен идти вместе с телом.

Два дешёвых улучшения: приклеивать к каждому чанку краткое описание родительского раздела и хранить в тексте чанка название документа. Оба дают поисковику за что зацепиться, когда вопрос сформулирован другими словами.

Гибридный поиск, а не только векторы

Эмбеддинги хороши в смысле и плохи в идентификаторах. Спросите про «код ошибки 4312» — плотный поиск охотно вернёт абзац про другую ошибку, которая звучит похоже. Лексический поиск — BM25 или простой обратный индекс — попадает в идентификатор, но пропускает перефразирование.

Практический ответ — запускать оба и объединять ранжирования. Взвешенной комбинации достаточно; изощрённость функции слияния важна меньше, чем наличие обоих сигналов.

Реранк, затем сжатие

Достаньте тридцать кандидатов, переранжируйте кросс-энкодером или небольшой моделью, оставьте четыре-пять. Этот один этап обычно улучшает ответ сильнее, чем переход на более крупный генератор, и заодно уменьшает промпт.

После реранка выбросьте предложения, в которых нет слов запроса или их соседей. Длинные чанки с одним релевантным предложением — типичная причина, по которой система игнорирует нужный фрагмент.

Оценивайте поиск отдельно

Этот этап чаще всего пропускают. Если мерить только финальный ответ, нельзя понять, где произошёл отказ — в поиске или в генерации, — и недели уходят на настройку не того компонента.

Соберите набор вопросов вместе с документом, где лежит ответ. Мерьте две цифры:

  • Recall@k — как часто нужный документ попадает в выдачу.
  • Точность ответа при правильном поиске — как часто генератор прав, когда нужный документ уже найден.

Низкий recall — чините нарезку и поиск. Высокий recall и неверные ответы — чините промпт или модель. Общего у этих проблем только то, что обе выглядят как «RAG плохой».

Отказы, под которые стоит проектировать

  • Ответа нет. Система должна это сказать. Поиск всегда что-то вернёт; генератору нужно разрешить отказаться.
  • Противоречивые документы. Явно предпочитайте более свежий источник и показывайте оба, если противоречие реальное.
  • Устаревший индекс. Идеальный конвейер по прошлогодним документам хуже отсутствия конвейера, потому что уверенно ошибается.

Ничего экзотического здесь нет. Это просто работа, которая не помещается в демо.

← Все статьи