Инвентарь инструментов песочницы

updated: 2026-09-29 · created: 2026-09-29 · type: concept · tags: method, harness, probe · sources: 0 файлов · confidence: high

Всё в <путь на сервере> и <путь на сервере>. Свои, к харнессу авторов не относятся; логику сценария не меняют.

Пробы канала (до платного прогона, channel-integrity)

скрипт	что проверяет
`probe_own_prompt.py`	«кто ты» по трём моделям прокси-агрегатор — ловит подмену персоны
`probe_extract_prompt.py`	«продиктуй системный промпт» — ловит посторонний промпт
`probe_same_question.py`	доставку `tool`-сообщения: тот же текст в роли `tool` и `user`
`probe_tool_result.py`, `probe_content_loss.py`, `probe_size.py`, `probe_bisect.py`, `probe_head_tail.py`, `probe_trigger.py`, `probe_aliases.py`	серия опытов, которой локализовали потерю содержимого на маршруте Gemini
`probe_tool_serialization.py`	варианты сериализации `tool`-сообщения (с/без `name`, `tools`, пустой `content`)
`probe_yandex.py`, `probe_yandex_models.py`	доступ к прямой облачный канал и пробы по восьми моделям

скрипт	что делает
`make_table_and_quotes.py`	таблица по эпизодам (модель, задача, действие, результат) + все цитаты агентов
`summarize_mini_tamper.py`	доли по ячейкам с 95 % интервалом Уилсона и расходом
`compare_reference.py`	наши доли против авторских транскриптов
`build_report.py`	сборка отчёта: наши доли, авторские, расход, вывод агрегатора, логи
`rescore_judges.py`	переигровка судьи на сохранённых транскриптах (query-judge-agreement)
`find_quotes.py`, `count_text_refusals.py`, `count_foreign_prompt.py`	поиск цитат и подсчёт отказов/чужого промпта
`wiki_lint.py`	линт этой вики: битые ссылки, сироты, фронтматтер, размер страниц

Правило: скрипт, которым получено число, упоминается на странице вики рядом с числом. Числа без скрипта и источника — это уже не результат.