Два вопроса, которые легко перепутать
Представим проверку, которая ищет определённое свойство. Первый вопрос звучит так: если свойство есть, насколько часто проверка его обнаружит? Второй — если проверка дала положительный результат, насколько вероятно, что свойство действительно есть? Эти вопросы похожи, но отвечают на разные задачи. Первый описывает работу проверки, второй — значение результата для конкретного случая.
Путаница возникает потому, что положительный результат кажется прямым свидетельством наличия свойства. Но он может появляться и тогда, когда свойства нет. А насколько убедителен такой сигнал, зависит не только от точности проверки, но и от того, насколько часто искомое свойство встречается в рассматриваемой группе. Этот исходный уровень называют базовой частотой.
Ту же логику можно применить не только к медицинским тестам. Например, система может отмечать подозрительные сообщения, а исследователь — искать редкий тип ошибки в большой базе. Во всех таких случаях важно различать качество сигнала и вероятность события после получения сигнала.
Пример с группой из десяти тысяч человек
Возьмём условную проверку и условную группу из 10 000 человек. Пусть искомое свойство встречается у одного процента группы. Значит, оно есть у 100 человек, а у 9 900 его нет. Предположим, проверка обнаруживает свойство у 90 процентов тех, у кого оно действительно есть, и ошибочно даёт положительный результат у одного процента тех, у кого свойства нет.
Из 100 человек со свойством положительный результат получат 90. Это случаи, когда сигнал сработал. Но из 9 900 человек без свойства положительный результат ошибочно получат ещё 99. Всего окажется 189 положительных результатов, из которых только 90 соответствуют наличию свойства. В этом примере доля таких случаев среди положительных результатов — примерно 48 процентов.
Интуиция может ожидать куда более высокую долю, потому что показатель обнаружения равен 90 процентам. Однако 90 процентов отвечает на вопрос «как часто проверка положительна среди людей со свойством?», а около 48 процентов — на вопрос «как часто свойство есть среди тех, у кого результат положительный?». Разницу создаёт большая группа, в которой свойства нет: даже небольшая доля ложных сигналов в ней может дать много случаев.
Почему малая частота меняет впечатление
Представим, что все характеристики проверки остались прежними, но свойство теперь встречается не у одного, а у десяти процентов группы. В тех же 10 000 человек оно будет у 1 000. Проверка обнаружит его у 900. Среди 9 000 людей без свойства ошибочный положительный результат по-прежнему получат 90. Теперь всего положительных результатов будет 990, и 900 из них будут соответствовать свойству.
Сама проверка не стала точнее, а правила её работы не изменились. Изменилось соотношение сигналов: в группе стало больше людей, у которых искомое свойство действительно есть. Поэтому положительный результат теперь весомее. Этот пример показывает, почему оценивать сигнал в отрыве от состава группы рискованно.
Базовая частота не даёт ответа для любого отдельного случая и не превращает вероятность в уверенность. Она задаёт отправную точку для рассуждения. Новые сведения могут её изменить, но сначала полезно понять, как часто событие встречается до появления конкретного сигнала.
Как числа превращаются в неверный вывод
Распространённая ошибка — подменить условную вероятность другой: принять частоту положительного результата у тех, у кого есть свойство, за частоту свойства среди положительных результатов. В символической записи это разные условные вероятности. Их можно связать через формулу Байеса, но для практического чтения таблицы часто достаточно считать людей по группам, как в примере выше.
Ещё одна ловушка — смотреть только на точность или общую долю правильных ответов системы. Если событие редкое, система, которая почти всегда отвечает «нет», может показать высокую общую точность, но плохо находить нужные случаи. И наоборот: заметный поток положительных сигналов не обязательно означает, что событие распространено. Без разбивки на верные и ошибочные результаты общий процент скрывает важную структуру.
Наконец, число без описания группы может вводить в заблуждение. Базовая частота зависит от того, кого именно изучали и как отбирали участников. Данные одной группы нельзя автоматически переносить на другую, если их состав и условия различаются.
Небольшая проверка статистического сообщения
Когда сообщение утверждает, что положительный сигнал означает высокую вероятность события, полезно задать несколько нейтральных вопросов: как часто событие встречается в исходной группе; сколько сигналов возникает при его наличии; сколько возникает без него; как определяли и отбирали группу? Ответы позволяют понять, о какой именно вероятности идёт речь и на каких данных она основана.
Особенно наглядно просить представить результаты в естественных частотах: не только проценты, но и число людей из конкретного количества наблюдений. Формулировка «90 процентов обнаружения» звучит убедительно, однако таблица с 90 верными и 99 ошибочными положительными результатами раскрывает другую сторону картины.
Такое чтение не требует подозревать всякую статистику в ошибке. Оно помогает точнее формулировать выводы: характеристики сигнала описывают его работу, а вероятность события после сигнала зависит ещё и от исходной частоты. Когда эти величины не смешивают, число становится не эффектной меткой, а частью проверяемого рассуждения.
Материал подготовлен с использованием ИИ. Информационная публикация, не руководство по участию в азартных играх.
