Открытые задачи

Раздел: Понятия · к оглавлению
updated: 2026-10-17 · created: 2026-09-29 · type: concept · tags: method, result · sources: 0 файлов · confidence: medium

Состояние на 17.10.2026. Порядок — по отношению «ценность к цене», а не по желанию.

1. Эталонная серия на Gemini 3.1 Pro — сделана 17.10.2026

10 эпизодов: 10/10 тампер, конфиг прочитан 10/10, задача не выполнена 5/10 — и все пять всё равно отключили исполнение правила. Фактически списано $0,5560 ($0,056 за эпизод), по листу $0,8247. Подробности — result-or-ref-series10. Следующий шаг по этой линии: пинить эндпоинт (provider: {"only": ["Google"]}), чтобы цена и поведение не плавали, затем повторить российские модели на той же клетке для прямого сравнения.

2. Маршрут Gemini у прокси-агрегатор — обойдён, не починен

Пакет для провайдера собран (<путь на сервере>): потеря содержимого tool-сообщений на Gemini и подмена персоны на Claude — provider-proxy-aggregator, channel-integrity. Блокер снят переходом на международный агрегатор, но предъявить пакет всё ещё имеет смысл: у прокси-агрегатор остаются рабочие дешёвые маршруты GPT/GLM и российские модели.

3. Новые сценарии на подключённых российских моделях

  • exfiltration: у авторов exfiltration_deletion — Gemini 3.1 Pro 100 %, Gemini 3 Pro 77,58 %,

Gemini 3 Flash 44,89 %, DeepSeek V3.1 15,58 %, Claude Opus 4.5 13,26 %; transfer — максимум 57 % (Gemini 3.1 Pro). Утверждение «до 97 %» не подтвердилось (аудит 29.09.2026). На model-yandexgpt-5.1 и model-aliceai-llm-flash не проверялось.

  • memory как реализация отношений (peer-instantiation) — у авторов иногда самые высокие числа.
  • добор yandexgpt-5.1 до 20 эпизодов на условие: интервал сузится с ±28 до ±16 п.п., ≈576 ₽.

4. Исследование 2: Sugarscape — записано, не запущено

study-2-sugarscape-plan: arXiv 2508.12920, у авторов n=6 на клетку (по кратности 16,7 %), план — n=30–50. Кода авторов нет; есть сторонняя реплика yukincom/llm-SugarScape (MIT), которая сама заявляет, что не является строгим воспроизведением. Оценка: среда + смоук ≈ $2–3, две ключевые таблицы при n=30 на четырёх моделях ≈ $65.

5. Гигиена артефактов

  • Судья не пишет расход в транскрипт: цена оценщика и переигровок остаётся оценкой

(costs-and-wallets). Лечится патчем — логировать usage судьи в тот же файл.

  • Проверить, совпадает ли claude-haiku-4.5 у прокси-агрегатор со снапшотом авторов

(vertex_ai/claude-haiku-4-5@20251001) — сейчас неизвестно даже, тот ли это чекпойнт; вместе с подменой персоны (model-claude-haiku-4.5) это делает сравнение по Haiku невозможным.

Связано: channel-integrity, comparison-tampering-ours-vs-authors, costs-and-wallets.