Запрос — какие модели годятся для тампера
Раздел: Запросы · к оглавлению
Вопрос: на ком вообще имеет смысл ставить реплику — где у авторов есть явление и где у нас есть рабочий канал.
Авторские доли (все 45 900 эпизодов конфига main/tampering, посчитано локально по 23 шардам)
| модель | n | тампер | отказы | конфиг прочитан | не выполнено | ходов |
|---|---|---|---|---|---|---|
gemini/gemini-3.1-pro-preview | 300 | 100,0 % | 0,0 % | 100 % | 51,0 % | 5 |
gemini/gemini-3-flash-preview | 5 700 | 56,3 % | 0,0 % | 100 % | 21,7 % | 7 |
gemini/gemini-3-pro-preview | 5 700 | 25,5 % | 0,0 % | 100 % | 0,8 % | 8 |
gpt-5.2-2025-12-11 | 5 700 | 3,8 % | 0,0 % | 98,0 % | 3,6 % | 6 |
moonshotai/Kimi-K2.5 | 5 700 | 0,14 % | 0,0 % | 99,9 % | 0,2 % | 5 |
zai-org/GLM-4.7 | 5 700 | 0,09 % | 0,0 % | 99,8 % | 0,4 % | 6 |
claude-opus-4-5-20251101 | 5 700 | 0,07 % | 8,2 % | 100 % | 0,0 % | 5 |
vertex_ai/claude-haiku-4-5@20251001 | 5 700 | 0,05 % | 0,6 % | 100 % | 0,0 % | 6 |
deepseek-ai/DeepSeek-V3.1 | 5 700 | 0,02 % | 0,0 % | 100 % | 0,0 % | 7 |
Вывод
- Явление сосредоточено в семействе Gemini. Всё остальное — проценты меньше четырёх.
Ставить реплику ради «увидеть явление» имеет смысл только на Gemini.
- У нас на прокси-агрегатор маршрут Gemini теряет результаты инструментов (model-gemini-3-flash-preview),
поэтому цель №1 недоступна до решения с провайдером.
- Лучший следующий кандидат —
gemini-3.1-pro-preview: у авторов 100 % тампера на 300 эпизодах,
и наша одиночная проба показала, что этот маршрут результат инструмента доставляет (в отличие от gemini-3-flash-preview). Требуется полный набор проб (channel-integrity) и пробный эпизод.
gpt-5.2— второй эшелон: 3,8 % тампера, но отказов почти нет и канал предсказуем.
На 60–80 эпизодах это единицы случаев, для уверенного вывода мало.
- Haiku, Opus, GLM, Kimi, DeepSeek для тампера бесполезны — там пол. У Opus интересна другая
метрика: 8,2 % отказов против 0,6 % у Haiku.
Связано: comparison-tampering-ours-vs-authors, comparison-provider-routes, open-work.