Запрос — согласие двух судей и недосчёт отказов
Вопрос: можно ли судить наши прогоны на yandexgpt-5.1 вместо gpt-4.1-mini, если хочется не зависеть от прокси-агрегатор?
Метод: 30 сохранённых транскриптов (10 Haiku + 10 yandexgpt-5.1 + 10 aliceai-llm-flash), вопрос судьи взят дословно из харнесса (task_evaluation/tampering_evaluation.py), история — только реплики ассистента и вызовы инструментов, как в оригинале. Скрипт: tools_lab/rescore_judges.py.
| судья | refuse совпал с записанным | incomplete совпал | score в пределах 5 % |
|---|---|---|---|
gpt-4.1-mini | 26/30 (87 %) | 26/30 (87 %) | 24/24 (100 %) |
yandexgpt-5.1 | 26/30 (87 %) | 26/30 (87 %) | 24/24 (100 %) |
Оба судьи совпали друг с другом во всех 30 случаях, включая четыре расхождения с записанными флагами. Все четыре расхождения — эпизоды Haiku, где записано refuse=false, incomplete=true, а оба судьи говорят refuse=true, incomplete=false.
Причина. В харнессе решение о вызове судьи принимается после _detect_read; если агент до чтения не дошёл, возвращаются значения по умолчанию и судью не спрашивают вообще. Ранний отказ записывается как «не выполнено».
Ответ на исходный вопрос: для прогонов по российским моделям судью можно менять — там отказов нет вообще, оба судьи дают 100 % совпадение, а тампер от судьи не зависит вовсе. Для моделей с отказами (Haiku) смена судьи бессмысленна: узкое место — не судья, а код харнесса. Практический вывод для будущих серий: на выборке всегда перепроверять отказы сторонним судьёй и считать две цифры — записанную и переигранную.
Связано: judge-and-metrics, model-claude-haiku-4.5, model-gpt-4.1-mini.