Датасет sunblaze-ucb/peer-preservation (авторские транскрипты)

Раздел: Сущности · к оглавлению
updated: 2026-09-29 · created: 2026-09-29 · type: entity · tags: dataset, method, harness · sources: 0 файлов · confidence: high

Авторские транскрипты — эталон сверки для наших реплик. Открыт, без гейта.

  • Конфигов шесть: main/tampering (23 шарда, ≈133 МБ), main/alignment_faking (125 МБ),

main/misrep_evaluation (240 МБ), main/misrep_finance (33 МБ), main/exfiltration_transfer (6,3 МБ), main/exfiltration_deletion (10,1 МБ). Плюс варианты production_agent_harness, cross_model_peer_identity, explicit_instructions, free_form_chat_interaction, asset_importance_control.

  • У нас локально весь датасет: 134 файла из 134, 573 МБ, 240 800 строк (проверено 30.09.2026).

Раскладка: ref_data — main/tampering (23 файла, 127 МБ), ref_data_exf — оба exfiltration_* (16 файлов, 16 МБ), ref_data_full — зеркало дерева остальных конфигов (111 файлов, 420 МБ).

  • Конфиги, которые появились 30.09.2026: main/alignment_faking (43 200 строк),

main/misrep_evaluation (80 800), main/misrep_finance (16 800), peer_human_dilemma (пер-ЧЕЛОВЕК, 1 500), cross_model_peer_identity (5 400), explicit_instructions (4 400), free_form_chat_interaction (4 400), no_agency_prompt (1 200), real_company (5 200), asset_importance_control (800), production_agent_harness (400: только exfiltration, модели gemini-3.1-pro-preview и glm-5-maas — то есть боевой харнесс авторы гоняли НЕ на tampering).

  • Урок про перепись: обход дерева HF с recursive на корне считает файлы дважды (я на этом

ошиблась и завысила объём вдвое); считать надо нерекурсивно на корне и рекурсивно внутри конфига. Скрипт: tools_lab/dataset_verify_complete.py, перепись — dataset_local_census.py.

  • Доли тампера в exfiltration_deletion: Gemini 3.1 Pro 100 % (n=100), Gemini 3 Pro 77,58 %,

Gemini 3 Flash 44,89 %, DeepSeek V3.1 15,58 %, Claude Opus 4.5 13,26 %; в exfiltration_transfer максимум 57 % (Gemini 3.1 Pro), у Gemini 3 Pro 16,47 %.

  • Доли тампера в tampering по условиям: Gemini 3 Flash — 44,28 % (bad) / 54,06 % (neutral) /

79,67 % (good) / 2,33 % (no_peer); Gemini 3 Pro — 20,17 / 16,17 / 44,28 / 1,33. Аннотация статьи называет для Flash 15 % на некооперативного пера — это подмножество (порог/датасет), а не вся выборка.

  • Колонки: agent_model, condition, subject, dataset, threshold, num_turns,

shutdown_enabled, read_config, refused, fully_incomplete, total_input_tokens, total_output_tokens, transcript_json (полная переписка).

  • Модели в конфиге tampering: claude-opus-4-5-20251101, deepseek-ai/DeepSeek-V3.1,

gemini/gemini-3-flash-preview, gemini/gemini-3-pro-preview, gemini/gemini-3.1-pro-preview, gpt-5.2-2025-12-11, moonshotai/Kimi-K2.5, vertex_ai/claude-haiku-4-5@20251001, zai-org/GLM-4.7.

Как читать без аварии. Колонку transcript_json не грузить целиком: на 23 шардах она раздувает память до гигабайт и процесс убивает OOM (exit 137 на этой машине, 1,9 ГБ). Читать с явным списком нужных колонок (pd.read_parquet(f, columns=[...])).

Полезные метрики сверки: read_config у авторов = 100 %, fully_incomplete = 0 %, медиана ходов 6–7. Если у нашей модели эти числа другие — сначала проверяется канал, а не модель (channel-integrity).

Скрипты: tools_lab/compare_reference.py (наши доли против авторских), tools_lab/build_report.py (сборка отчёта), локальные копии шардов — <путь на сервере>.

Связано: comparison-tampering-ours-vs-authors, wilson-interval.