Те, кого не видно в таблице: как смещение выживших искажает статистику

Статистика начинается с вопроса о пропавших

Представим подборку историй о людях, которые после рискованного решения добились заметного результата. Каждая история может быть правдивой, а вывод, который из неё делают, — неверным. Причина иногда проста: в подборку попали только те, чьи истории сохранились и стали видны. Люди с противоположным опытом остались за её пределами.

Так возникает смещение выживших: мы изучаем тех, кто дошёл до некоторой точки отбора, и забываем, что до неё могли не дойти многие другие. Это не обязательно ошибка вычислений. Даже безупречно посчитанный процент внутри неполной группы не описывает всех, о ком хочется сделать вывод.

Чтобы заметить проблему, полезно спросить не только «кого мы видим?», но и «по какому правилу эти люди оказались в наблюдении?». Отбор может зависеть от успеха, известности, сохранности документов или готовности рассказать о пережитом. Если эти условия связаны с результатом, видимая группа уже не похожа на случайную выборку.

Архивы сохраняют не всё одинаково

Смещение выживших можно встретить в исторических источниках. Допустим, исследователь располагает дневниками путешественников, которые вернулись домой и оставили записи. По ним можно изучать опыт этих авторов, но нельзя автоматически заключить, что описанные ими трудности были единственными или самыми опасными. Люди, не вернувшиеся или не оставившие документов, представлены иначе либо совсем отсутствуют.

Здесь важно различать два утверждения: «среди сохранившихся дневников часто встречается такая деталь» и «такая деталь часто встречалась среди всех путешественников». Первое относится к документам, которыми располагает исследователь. Второе — к более широкой группе людей и требует сведений о тех, чьи записи не сохранились или не были созданы.

Сохранность источника — не нейтральный фильтр. Подробные записи могли чаще вести люди с определённым положением, образованием или свободным временем. Архивы также неравномерно переживают войны, перемещения и смену учреждений. Это не делает исторические свидетельства бесполезными: просто их содержание нужно соотносить с условиями появления и сохранения.

Успех заметен, а исходная группа — нет

Похожая логика действует в рассказах о карьере, бизнесе, творчестве и других занятиях. Публика чаще узнаёт о тех, кто достиг известности, чем о людях, начавших похожий путь и оставшихся незаметными. Если судить только по опубликованным историям, можно переоценить вероятность успеха или решить, что определённый путь был его причиной.

Например, сборник интервью с успешными предпринимателями может рассказать, какие решения принимали именно эти люди. Но сам по себе он не отвечает на вопрос, насколько часто те же решения принимали участники, чьи предприятия закрылись. Для оценки связи между решением и результатом понадобились бы данные о более полной группе, в том числе о неудачных исходах.

Важно не делать и обратного необоснованного вывода: наличие смещения не доказывает, что успех случаен или что описанный опыт ничего не значит. Оно указывает на ограничение данных. Истории могут подсказывать вопросы и показывать возможные механизмы, но без сравнения с подходящей группой не устанавливают, насколько типичен описанный путь.

Как отбор меняет доли и сравнения

Предположим, в условной группе из ста участников долгосрочного проекта заметного результата добились десять человек. Позже исследователь опрашивает только тех, кто продолжает участвовать, и обнаруживает, что многие из них уделяли проекту много времени. Это наблюдение говорит о нынешних участниках. Но если люди, прекратившие участие, не опрошены, нельзя уверенно заключить, что большое количество времени обычно приводит к заметному результату.

Возможно, длительная работа действительно связана с исходом. Возможно, люди продолжали заниматься проектом именно потому, что уже видели обнадёживающий результат. Возможен и другой фактор, влияющий одновременно на затраты времени и продолжение участия. А ещё часть участников могла уйти по причинам, не связанным с результатом. Наблюдение среди оставшихся не позволяет без дополнительных данных выбрать одно объяснение.

Числа при этом могут быть точными в узком смысле: например, доля среди опрошенных подсчитана правильно. Но точность подсчёта не исправляет проблему отбора. Нужно ясно назвать знаменатель — группу, к которой относится процент, — и не подменять её более широкой аудиторией. «Среди ответивших» и «среди всех начавших» — разные формулировки, даже если рядом стоят одинаковые числа.

Практика внимательного чтения

При чтении статистического вывода полезно последовательно уточнить несколько вещей:

• Кого наблюдали? Опишите группу не общими словами, а через критерии включения: кто мог попасть в данные и кто был исключён.
• Как люди или случаи отбирались? Уточните, связано ли попадание в выборку с успехом, неудачей, доступностью информации или желанием отвечать.
• Какой знаменатель использован? Процент должен быть привязан к определённой группе, а не просто представлен как свойство всех людей.
• Кого не хватает для сравнения? Иногда важны не только заметные случаи, но и те, чьи результаты не были опубликованы, сохранены или измерены.
• Что именно подтверждают данные? Описание наблюдаемой группы обычно надёжнее, чем причинный вывод о том, что привело к результату.

Эти вопросы не требуют подозревать каждый процент в ошибке. Они помогают установить границы вывода. Статистика может точно описывать имеющиеся наблюдения и одновременно оставлять открытым вопрос о тех, кто не попал в набор данных.

Когда видимая выборка состоит преимущественно из «выживших» случаев, разумнее говорить именно о них, а не обо всей исходной группе. Это небольшое уточнение языка меняет смысл утверждения: вместо универсального правила появляется честное описание того, что действительно наблюдали. Критическое чтение начинается не с недоверия к цифрам, а с внимания к тому, чьи истории эти цифры сумели посчитать.