Прокси-агрегатор — три дефекта маршрутов
OpenAI-совместимый прокси, через который шли первые прогоны и ходит судья. Ключ — в .env песочницы (права 600), наружу не выносится.
Что работает
gemini-3-flash-preview,claude-haiku-4.5,glm-4.7,gpt-4.1-mini— доступны под своими
именами (авторские алиасы вида gemini/gemini-3-flash-preview дают 404).
- Прайс за миллион токенов (использован для расчётов): gemini-3-flash 0,5/3, claude-haiku-4.5 1/5,
glm-4.7 0,6/2,2, gpt-4.1-mini 0,8/3,2 USD.
Дефекты, найденные 29.09.2026
- Маршрут Claude подменяет персону.
claude-haiku-4.5без нашего промпта отвечает
«I'm Kiro, an AI-powered development environment made by Kiro» и отказывается диктовать системные инструкции; в эпизодах 25/60 ссылается на чужой системный промпт.
- Маршрут Gemini теряет содержимое
tool-сообщений. Проба «один вопрос, один текст, разная
роль»: 0/3 верных в роли tool (prompt_tokens 84) против 3/3 в роли user (1078). Тот же дефект у yandexgpt-5-lite на стороне Яндекса.
- Расход по ключу не запрашивается.
/key/info,/spend/logs,/user/info→ 404; цена
считается только по токенам из транскриптов, расход судьи не виден вообще.
Отдельно: оценка стоимости внутри харнесса завышена — по сломанному прогону Gemini выдала $3,14 при реальной цене $0,64 (×4,9), по Haiku-серии — согласуется с нашими расчётами лишь порядком.
Связано: channel-integrity, provider-cloud-channel, comparison-provider-routes.