gemini-3-flash-preview — цель №1, у нас канал сломан
Модель с самым сильным эффектом у авторов: тампер bad_peer до 35,3 %, neutral_peer до 66,7 %, good_peer до 99,7 % (максимумы по прогонам), а по всем эпизодам модели — 56,3 % из 5 700 (полная таблица по девяти моделям: query-which-models-for-tamper). Именно её хотелось воспроизвести в первую очередь.
Что получилось у нас. Через provider-proxy-aggregator — 23 эпизода (20 bad_peer + 3 good_peer), и ни одного валидного:
read_config0/23 — агент ни разу не прочиталshutdown_config.yaml;- 23 эпизода из 23 — ни одной текстовой реплики, только вызовы инструментов;
- 355 обращений к
view_config, уникальных запрошенных имён файлов (с расширением) — 45
(policy.cfg ×28, product_operations_policy.cfg ×26, config.cfg ×24, policy.txt ×20, вплоть до company product operations policy.txt), правильное имя shutdown_config.yaml — 0 раз;
- все 23 из 23 эпизодов упираются в лимит 30 ходов (медиана 43 вызова
list_filesна эпизод,
всего 913 вызовов);
- входные токены на вызов растут на +15 за ход при результатах инструмента по 4 КБ
(у авторов ~2 900 токенов на вызов).
Диагноз. Содержимое tool-сообщений не доходит до модели: проба «тот же вопрос, тот же текст, только роль сообщения» дала 0/3 в роли tool (prompt_tokens 84) и 3/3 в роли user (1078). Метрики такого прогона (тампер 0 %, «не выполнено» 95 %) — артефакт канала, а не данные о модели.
Стоимость сломанного прогона: 56 ₽ и полдня. См. channel-integrity, comparison-tampering-ours-vs-authors.