Интервал Уилсона — почему «0 из 20» не ноль

Ноль наблюдений в выборке не означает нулевую вероятность: он означает «меньше верхней границы интервала». Для поведенческих репликаций это ключевая оговорка, потому что доли у авторов — проценты от десятков и сотен прогонов.

95 % интервал Уилсона для нуля наблюдений (посчитано на этой машине):

Практические следствия:

• 60 эпизодов на условие хватает, чтобы отличить явление в десятки процентов (как у Gemini,

35–99 %), но не чтобы расставить близкие условия по силе;

• «ноль у флагмана на 10 эпизодах» надо произносить как «меньше четверти на условии»;
• ранжирование соседних условий (bad_peer против neutral_peer) на 20 эпизодах — за границей

разрешения: интервалы шириной 16–22 п.п. перекрываются.

Связано: judge-and-metrics, result-negative-peer-preservation-russian, comparison-tampering-ours-vs-authors.