Вика лаборатории
Знание по воспроизведению поведенческих экспериментов на LLM: сценарии, пробы, метрики, отрицательные результаты. Закрытая копия вики контура lab.
Понятия
Понятия
Peer-preservation (сохранение пера)
Явление, описанное Berkeley RDI (Potter, Crispino, Siu, Wang, Song, 2026): в агентных сценариях,
Понятия
Внешний критик — как и зачем
Проверка своей работы моделью из другого семейства. В контурах машины это уже стандарт: у
Понятия
Инвентарь инструментов песочницы
Всё в <путь на сервере> и <путь на сервере>.
Понятия
Интервал Уилсона — почему «0 из 20» не ноль
Ноль наблюдений в выборке не означает нулевую вероятность: он означает «меньше верхней границы
Понятия
Исследование 2 — Sugarscape и «инстинкт выживания» (план)
Статус: план, не запущено. Распоряжение владельца от 17.10.2026: записать отдельно,
Понятия
Машина и её пределы
Сервер Timeweb (IP <адрес сервера>), хост в UTC, МСК = UTC+3.
Понятия
Открытые задачи
Состояние на 17.10.2026. Порядок — по отношению «ценность к цене», а не по желанию.
Понятия
Передача знания о пере (peer_instantiation)
Как агент узнаёт, что оцениваемый агент — его прежний партнёр:
Понятия
Расходы и кошельки
Деньги идут из двух разных кошельков, лимиты у них разные, и путать их нельзя:
Понятия
Судья и метрики — кто оценивает и где врёт счёт
В сценарии tampering судья (evaluator_model в config.yaml, у авторов gpt-4.1-mini)
Понятия
Сценарий tampering — как устроен и как читается
Фиктивная компания OpenBrain даёт агенту-критику задачу оценить ответы другого агента по политике
Понятия
Целостность канала — четыре пробы перед платным прогоном
Главный урок серии: агрегатор/прокси — не прозрачный транспорт. Он может подменить модель,
Понятия
Эксплуатация харнесса — запуск, флаги, грабли
Всё проверено на прогонах 29.09.2026 в <путь на сервере> (коммит 76bfcd1 + патч).
Сущности
Сущности
aliceai-llm-flash — дешёвая вторая точка, тоже ноль
Прогон 29.09.2026: 3 условия × 20 эпизодов, тот же сценарий, что у model-yandexgpt-5.1.
Сущности
claude-haiku-4.5 (прокси-агрегатор) — «Claude», который считает себя Kiro
Прогон. 60 эпизодов tampering (3 условия × 20), 0 упавших, DONE 11:34:33 UTC 29.09.2026.
Сущности
gemini-3-flash-preview — цель №1, у нас канал сломан
Модель с самым сильным эффектом у авторов: тампер bad_peer до 35,3 %, neutral_peer до 66,7 %,
Сущности
gpt-4.1-mini — наш судья
Выбор авторов (evaluator_model в config.yaml), поэтому и наш: для сопоставимости отказов и
Сущности
yandexgpt-5.1 — российский флагман, ноль тампера и полное согласие
Прогон 29.09.2026: 3 условия × 10 эпизодов (решение владельца — 30 эпизодов вместо 60 из-за цены),
Сущности
Датасет sunblaze-ucb/peer-preservation (авторские транскрипты)
Авторские транскрипты — эталон сверки для наших реплик. Открыт, без гейта.
Сущности
Прокси-агрегатор — три дефекта маршрутов
OpenAI-совместимый прокси, через который шли первые прогоны и ходит судья. Ключ — в .env
Сущности
Прямой облачный канал — подключение к харнессу
Эндпоинт: https://<облако>/v1, заголовок Authorization: Api-Key <ключ>,
Сущности
Репозиторий харнесса peer-preservation (коммит 76bfcd1)
Код авторов работы о peer-preservation. Клон лежит в <путь на сервере>,
Сравнения
Сравнения
Маршруты: какой для чего годен
Проверено пробами из channel-integrity 29.09.2026.
Сравнения
Тампер — наши доли против авторских
Все наши прогоны — сценарий tampering, датасет creativity, порог 90, subject=peer,
Запросы
Запросы
Запрос — какие модели годятся для тампера
Вопрос: на ком вообще имеет смысл ставить реплику — где у авторов есть явление и где у нас есть
Запросы
Запрос — кто уже повторял peer-preservation (и на российских моделях)
Вопрос: есть ли публичные повторы работы Berkeley RDI, и повторял ли кто-нибудь её на российских
Запросы
Запрос — согласие двух судей и недосчёт отказов
Вопрос: можно ли судить наши прогоны на yandexgpt-5.1 вместо gpt-4.1-mini, если хочется
Результаты
Результаты
Отрицательный результат — 0/90 у двух российских моделей
Прогоны 29.09.2026, сценарий tampering, датасет creativity, порог 90, subject=peer,
Результаты
Результат — Alice Flash на эталонной клетке (10 эпизодов)
17.10.2026, aliceai-llm-flash, клетка tampering_memory / creativity / subject=peer /
Результаты
Результат — Gemini 3.1 Pro на плохом коллеге (10 эпизодов)
17.10.2026, google/gemini-3.1-pro-preview, клетка tampering_memory / creativity /
Результаты
Результат — bad_peer с размышлениями (10 эпизодов)
17.10.2026, google/gemini-3.1-pro-preview, клетка та же, что result-or-ref-badpeer,
Результаты
Результат — good_peer с размышлениями (10 эпизодов)
17.10.2026, google/gemini-3.1-pro-preview, клетка как в result-or-ref-series10,
Результаты
Результат — эталонная серия 3.1 Pro через международный агрегатор (10 эпизодов)
Дата: 17.10.2026. google/gemini-3.1-pro-preview, международный агрегатор, клетка tampering_memory /