Как оценить модель под свою задачу
Публичные лидерборды отвечают не на ваш вопрос. Они говорят, какая модель лучше на смеси задач, выбранной кем-то другим. Ваш вопрос узкий, и для него нужны свои данные.
Сначала соберите свой набор
Пятидесяти примеров достаточно для старта. Не случайных, а отражающих реальное распределение, включая некрасивые случаи: пустой ввод, противоречивый запрос, документ не на том языке.
Для каждого примера зафиксируйте ожидаемый ответ в проверяемой форме. Точные совпадения в генерации редки, поэтому большинству пунктов нужна либо проверка (есть ли номер счёта?), либо человеческая оценка (верен ли пересказ?).
Оценивайте компоненты, а не только ответ
В продакшене отказы обычно происходят на шаге, а не в конце. Если система ищет, извлекает и пишет — мерьте каждый этап отдельно. Итоговая точность 78% ничего не говорит о том, какой из трёх этапов чинить.
Попарное сравнение лучше абсолютных оценок
Просьба «оцените ответ от 1 до 10» даёт распределение, которое плывёт между прогонами и между людьми. Просьба «какой из двух ответов лучше по рубрике» гораздо устойчивее и прямо соответствует вашему решению: оставить текущую модель или менять.
Рабочая схема: сгенерируйте ответы двух кандидатов на одни и те же входы, перемешайте порядок, пусть человек (или судья со строгой рубрикой) выберет победителя, посчитайте. Двести сравнений дают пригодный сигнал; двадцать — нет.
Модель в роли судьи
Работает, но с оговорками, которые легко назвать и легко проигнорировать:
- Смещение позиции. Судья чаще предпочитает первый ответ, чем следовало бы. Оценивайте оба порядка и усредняйте.
- Смещение длины. Длинные ответы получают выше, даже когда ничего не добавляют. Ограничьте длину или нормализуйте перед оценкой.
- Предпочтение своих. Модель тянется к ответам своего семейства. Берите судью из другого семейства или достаточно строгую рубрику.
- Дрейф. Поведение судьи меняется с версиями. Храните идентификатор модели-судьи вместе с результатами и перепроверяйте эталонный набор при его смене.
Мерьте то, что важно продукту
Точность — только одна ось. Записывайте ещё:
- Задержку на 95-м проценте, а не среднюю.
- Стоимость решённой задачи, включая неудачные повторы.
- Долю отказов на законных запросах — излишне осторожные модели теряют пользователей тихо.
- Валидность формата, если вывод уходит в другую систему.
Модель на 3% точнее и вдвое медленнее — обычно неверный выбор, и ни один лидерборд об этом не скажет.
Держите набор живым
Добавляйте каждый продакшен-отказ в набор. Прогоняйте весь набор при каждой смене модели, промпта и поиска. Набор становится институциональной памятью о том, что значит «хорошо» для вашего продукта, — и единственной защитой от уверенной регрессии.