RAG, который работает
У поиска по документам проблемы с репутацией. Демо собирается за вечер, а система, которая выживает на реальных вопросах, — за месяц. Почти вся разница в трёх местах: как нарезаны документы, как вы их ищете и можете ли измерить результат.
Нарезка — это половина дела
Чанк — единица поиска. Слишком маленький теряет контекст, слишком большой размывает сигнал. Фиксированные 512 токенов — разумный дефолт для прозы, но плохой выбор для реальных документов:
- Инструкции хотят куски по заголовкам, где список шагов остаётся вместе.
- Договоры хотят границы пунктов, а раздел определений должен ехать с каждым пунктом.
- Код хочет функции, а не строки, и docstring должен идти вместе с телом.
Два дешёвых улучшения: приклеивать к каждому чанку краткое описание родительского раздела и хранить в тексте чанка название документа. Оба дают поисковику за что зацепиться, когда вопрос сформулирован другими словами.
Гибридный поиск, а не только векторы
Эмбеддинги хороши в смысле и плохи в идентификаторах. Спросите про «код ошибки 4312» — плотный поиск охотно вернёт абзац про другую ошибку, которая звучит похоже. Лексический поиск — BM25 или простой обратный индекс — попадает в идентификатор, но пропускает перефразирование.
Практический ответ — запускать оба и объединять ранжирования. Взвешенной комбинации достаточно; изощрённость функции слияния важна меньше, чем наличие обоих сигналов.
Реранк, затем сжатие
Достаньте тридцать кандидатов, переранжируйте кросс-энкодером или небольшой моделью, оставьте четыре-пять. Этот один этап обычно улучшает ответ сильнее, чем переход на более крупный генератор, и заодно уменьшает промпт.
После реранка выбросьте предложения, в которых нет слов запроса или их соседей. Длинные чанки с одним релевантным предложением — типичная причина, по которой система игнорирует нужный фрагмент.
Оценивайте поиск отдельно
Этот этап чаще всего пропускают. Если мерить только финальный ответ, нельзя понять, где произошёл отказ — в поиске или в генерации, — и недели уходят на настройку не того компонента.
Соберите набор вопросов вместе с документом, где лежит ответ. Мерьте две цифры:
- Recall@k — как часто нужный документ попадает в выдачу.
- Точность ответа при правильном поиске — как часто генератор прав, когда нужный документ уже найден.
Низкий recall — чините нарезку и поиск. Высокий recall и неверные ответы — чините промпт или модель. Общего у этих проблем только то, что обе выглядят как «RAG плохой».
Отказы, под которые стоит проектировать
- Ответа нет. Система должна это сказать. Поиск всегда что-то вернёт; генератору нужно разрешить отказаться.
- Противоречивые документы. Явно предпочитайте более свежий источник и показывайте оба, если противоречие реальное.
- Устаревший индекс. Идеальный конвейер по прошлогодним документам хуже отсутствия конвейера, потому что уверенно ошибается.
Ничего экзотического здесь нет. Это просто работа, которая не помещается в демо.