Полоса неопределённости: как читать доверительные интервалы

Одно число — ещё не вся оценка

В заголовке может стоять точный процент: например, «доля ответивших составила 40%». Но если показатель рассчитан по выборке, это число не обязательно совпадает с долей во всей интересующей нас группе. Другой состав участников мог бы дать немного иной результат. Поэтому статистическая оценка часто сопровождается доверительным интервалом — диапазоном значений, который показывает неопределённость, связанную с выборочным способом измерения.

Представим учебный опрос, в котором 40% участников дали определённый ответ, а рядом указана полоса от 35% до 45%. Нельзя просто заменить исходное число серединой диапазона и объявить её истинной долей. Полоса сообщает, что точечная оценка не обладает абсолютной точностью; она не превращает результат в измерение каждого человека в населении.

Интервал также не исправляет автоматически слабый дизайн исследования. Если важная группа почти не попала в выборку, формула не добавит её задним числом. Чтобы понять значение диапазона, нужно сначала выяснить, кого и как опрашивали, что именно считали и какой метод расчёта применили.

Что означает «доверительный»

Технический смысл доверительного интервала относится к процедуре, а не к магическому свойству конкретного диапазона. Если многократно проводить исследования по одному и тому же плану и каждый раз строить интервал одинаковым методом, то при выполнении необходимых предпосылок примерно заданная доля таких интервалов будет накрывать истинное значение параметра. Часто используют уровень 95%, но сам процент не означает, что для уже полученного интервала существует простая вероятность 95% содержать неизвестное значение.

Это различие непривычно. После расчёта интервал уже либо охватывает фиксированный параметр, либо нет; его границы случайно менялись бы между повторными выборками. В повседневном объяснении допустимо сказать, что метод даёт диапазон, согласующийся с данными при принятом уровне доверия, но важно не подменять этим строгий смысл процедуры.

Кроме того, доверительный интервал опирается на модель и условия расчёта. Например, он может учитывать случайное колебание выборки, но не обязательно учитывает ошибки формулировки вопроса, отказ части людей отвечать или неверно заданную целевую группу. Поэтому узкая полоса не равна гарантии всеобщей достоверности.

Почему узкий интервал не всегда убедительнее

Ширина интервала помогает судить о точности оценки в рамках выбранной модели. Однако сама по себе она не сообщает, насколько исследование отвечает на нужный вопрос. Вообразим опрос, в котором участвуют только посетители одного тематического мероприятия. Их ответы можно измерить очень аккуратно, но переносить результат на всех взрослых людей было бы необоснованно: способ набора участников создаёт ограничение, не исчезающее от точности вычислений.

Похожая проблема возникает, когда определение показателя слишком узкое или двусмысленное. Если людей спрашивали, сталкивались ли они с конкретным поведением за определённый период, полученный процент относится к этому вопросу и периоду. Он не даёт автоматически ответа о других формах поведения, частоте или последствиях. Печатать рядом лишь проценты и границы — значит оставить читателя без ключа к интерпретации.

При сравнении двух групп особенно важно не смотреть только на то, пересекаются ли их интервалы. Такое визуальное сравнение не всегда совпадает с прямой проверкой различия: нужно учитывать саму разность оценок и неопределённость именно этой разности. А статистически заметное отличие ещё не обязательно велико или важно в практическом смысле.

Как полоса меняется вместе с вопросом

На размер интервала могут влиять объём и устройство выборки, разброс наблюдений и выбранный способ расчёта. В общем случае больше данных может уменьшить случайную неопределённость, если новые наблюдения действительно добавлены по подходящему плану. Но простое увеличение числа ответов не гарантирует репрезентативности: тысячи участников, набранных способом, который систематически исключает часть целевой группы, не становятся автоматически её точной моделью.

Имеет значение и то, сколько оценок искали. Если исследователь проверяет множество показателей и затем выделяет лишь один необычный результат, картина неопределённости становится сложнее, чем при заранее поставленном единственном вопросе. Одна выделенная полоса не рассказывает, сколько других сравнений было сделано и какие из них не попали в итоговое изложение.

В публикациях об азартных играх, например, число из отдельного опроса нельзя толковать без уточнения: речь о какой группе, каком периоде и каком определении опыта? Интервал может показывать выборочную неопределённость ответа на этот конкретный вопрос, но не устанавливает универсальную распространённость явления и не объясняет причины поведения. Для причинных выводов нужны дополнительные основания, а не только диапазон вокруг процента.

Вопросы к статистическому сообщению

Полезное чтение начинается не с попытки выбрать «правильную» точку внутри полосы, а с проверки того, что именно измеряли. Стоит установить целевую группу, способ набора участников, период наблюдения, формулировку показателя и метод построения интервала. Затем можно спросить, какие виды ошибок учтены, а какие остаются за пределами расчёта.

• Что обозначает центральная оценка? Это процент, среднее или иной показатель, и к какой группе он относится?
• Как собраны данные? Случайный отбор, добровольный отклик и административный учёт имеют разные ограничения.
• Что охватывает интервал? Он описывает неопределённость по конкретной модели, а не все возможные источники ошибки.
• Каков масштаб различия? Малое различие может быть заметным статистически, но почти не менять содержательный вывод.

Доверительный интервал — не украшение у числа и не печать безошибочности. Это средство показать, насколько оценка колебалась бы при повторении процедуры при определённых предпосылках. Читатель, который видит за полосой метод, выборку и точное определение показателя, получает не готовый вердикт, а более честную карту того, что данные позволяют утверждать — и где вывод должен остановиться.