Когда общий процент переворачивает сравнение: парадокс Симпсона

Как одинаковые данные дают противоположные выводы

Парадокс Симпсона возникает, когда направление сравнения в объединённых данных отличается от направления сравнения внутри каждой из нескольких групп. Это возможно, если группы имеют разный размер и их доли неодинаковы у сравниваемых сторон. Ниже — гипотетический пример с экзаменами и двумя уровнями сложности.

Числовой пример

Рассмотрим программы А и Б. В каждой есть участники, сдающие экзамен базового и продвинутого уровня.

• Базовый уровень: в программе А сдали 9 из 10 участников — 90%. В программе Б сдали 80 из 100 — 80%. На этом уровне результат выше у А.
• Продвинутый уровень: в программе А сдали 20 из 100 — 20%. В программе Б сдали 1 из 10 — 10%. Здесь результат тоже выше у А.

Теперь сложим результаты по уровням. В А экзамен сдали 29 из 110 участников: примерно 26,4%. В Б сдали 81 из 110: примерно 73,6%. В объединённых данных результат выше у Б, хотя внутри каждого уровня он выше у А. Это и есть разворот, характерный для парадокса Симпсона.

Причина — разный состав групп. В программе А большинство участников сдаёт продвинутый экзамен, где доля успешных сдач ниже. В программе Б большинство сдаёт базовый экзамен, где она выше. Общий процент — взвешенное среднее групповых процентов: вес каждой группы зависит от числа участников. В данном примере численность уровней также позволяет увидеть, что разница в составе существенно влияет на итог.

Почему объяснение через веса важно

Если одна сторона имеет более высокий показатель в каждой группе, из этого не следует, что её общий показатель обязательно будет выше. При объединении меняются веса групп, а вместе с ними — итоговое среднее. Поэтому утверждение, будто направление преимущества внутри всех групп не может смениться после агрегирования, математически неверно.

Для проверки расчётов достаточно сложить число успешных результатов и общее число наблюдений отдельно для каждой стороны, а затем разделить первое на второе. Нельзя получить общий процент простым усреднением процентов групп, если размеры групп различаются. В приведённом примере среднее арифметическое двух процентов А не равно его общему показателю: уровни имеют неодинаковую численность.

Что показывает пример, а чего не показывает

Пример описывает арифметический эффект и не доказывает, что одна программа лучше другой. Уровень сложности может быть связан с подготовкой участников и другими обстоятельствами, а распределение по программам не обязательно случайно. Поэтому наблюдаемые доли сами по себе не устанавливают причинный эффект программы.

При чтении отчётов полезно уточнять, кого включили в подсчёт, как определили группы и одинаково ли собирали данные. Стоит также выяснить, сильно ли различается состав сравниваемых совокупностей и менялись ли правила учёта. Такие вопросы помогают понять, почему общий показатель и результаты внутри категорий могут расходиться.

Как читать общий показатель вместе с деталями

Общий процент отвечает на вопрос о доле успеха среди всех наблюдений в конкретной совокупности. Групповые проценты показывают результаты внутри выбранных категорий. Эти показатели не обязательно отвечают на один и тот же вопрос, поэтому не следует автоматически объявлять один из них единственно правильным.

Если вывод меняется при объединении данных, это повод проверить веса, состав групп и смысл сравнения. Парадокс Симпсона не делает агрегированные показатели бесполезными, но напоминает: прежде чем интерпретировать разницу, важно понять, какие наблюдения стоят за итоговым процентом.