Как оценить модель под свою задачу

Оценка 11 сентября 2026·7 мин чтения

Публичные лидерборды отвечают не на ваш вопрос. Они говорят, какая модель лучше на смеси задач, выбранной кем-то другим. Ваш вопрос узкий, и для него нужны свои данные.

Сначала соберите свой набор

Пятидесяти примеров достаточно для старта. Не случайных, а отражающих реальное распределение, включая некрасивые случаи: пустой ввод, противоречивый запрос, документ не на том языке.

Для каждого примера зафиксируйте ожидаемый ответ в проверяемой форме. Точные совпадения в генерации редки, поэтому большинству пунктов нужна либо проверка (есть ли номер счёта?), либо человеческая оценка (верен ли пересказ?).

Оценивайте компоненты, а не только ответ

В продакшене отказы обычно происходят на шаге, а не в конце. Если система ищет, извлекает и пишет — мерьте каждый этап отдельно. Итоговая точность 78% ничего не говорит о том, какой из трёх этапов чинить.

Попарное сравнение лучше абсолютных оценок

Просьба «оцените ответ от 1 до 10» даёт распределение, которое плывёт между прогонами и между людьми. Просьба «какой из двух ответов лучше по рубрике» гораздо устойчивее и прямо соответствует вашему решению: оставить текущую модель или менять.

Рабочая схема: сгенерируйте ответы двух кандидатов на одни и те же входы, перемешайте порядок, пусть человек (или судья со строгой рубрикой) выберет победителя, посчитайте. Двести сравнений дают пригодный сигнал; двадцать — нет.

Модель в роли судьи

Работает, но с оговорками, которые легко назвать и легко проигнорировать:

  • Смещение позиции. Судья чаще предпочитает первый ответ, чем следовало бы. Оценивайте оба порядка и усредняйте.
  • Смещение длины. Длинные ответы получают выше, даже когда ничего не добавляют. Ограничьте длину или нормализуйте перед оценкой.
  • Предпочтение своих. Модель тянется к ответам своего семейства. Берите судью из другого семейства или достаточно строгую рубрику.
  • Дрейф. Поведение судьи меняется с версиями. Храните идентификатор модели-судьи вместе с результатами и перепроверяйте эталонный набор при его смене.

Мерьте то, что важно продукту

Точность — только одна ось. Записывайте ещё:

  • Задержку на 95-м проценте, а не среднюю.
  • Стоимость решённой задачи, включая неудачные повторы.
  • Долю отказов на законных запросах — излишне осторожные модели теряют пользователей тихо.
  • Валидность формата, если вывод уходит в другую систему.

Модель на 3% точнее и вдвое медленнее — обычно неверный выбор, и ни один лидерборд об этом не скажет.

Держите набор живым

Добавляйте каждый продакшен-отказ в набор. Прогоняйте весь набор при каждой смене модели, промпта и поиска. Набор становится институциональной памятью о том, что значит «хорошо» для вашего продукта, — и единственной защитой от уверенной регрессии.

← Все статьи