Pour la science (№ 429) — парадокс Симпсона

[green_fr]

Это один из моих любимых парадоксов. Возьмём какую-то гипотетическую болезнь и два лекарства от неё. Предположим, у нас есть статистика выздоровления больных, которых лечили обоими лекарствами:

Общая статистика	Выздоровело	Не выздоровело	Доля выздоровевших
Лекарство А	40	40	50%
Лекарство Б	32	48	40%

Таблица 1

Очевидно, нужно всем прописывать лекарство А — вероятность выздоровления существенно выше.

Затем, к нам приходят более подробные результаты того же исследования:

Мужская статистика	Выздоровело	Не выздоровело	Доля выздоровевших
Лекарство А	36	24	60%
Лекарство Б	14	6	70%

Таблица 2

Ага, у мужчин лекарство Б оказывается более действенно, прописываем им Б.
Что там с женщинами? Простым вычитанием получаем следующую таблицу:

Женская статистика	Выздоровело	Не выздоровело	Доля выздоровевших
Лекарство А	4	16	20%
Лекарство Б	18	42	30%

Таблица 3

И у женщин тоже лекарство Б более действенно. Приехали.

---

Парадокс красивый, в очередной раз показывает, что наши мозги со статистикой не дружат, интуиция здесь не работает. Можно просто свыкнуться с этой идеей, а можно постараться переделать собственную интуицию, постараться найти что-то, делающее результат этого парадокса более интуитивным. Переформулируем парадокс:
Есть два неравенства Рассматриваем соотношении величин
Очень хочется сказать, что и там должно быть «больше». Но с какой стати? Порисуем графики, в плоскости (m x n) интересующее нас отношение соответствует углу наклона прямой, соединяющей начало координат и точку (m, n). И графически понимаем, что может быть так, а может и эдак.

---

Самый интересный вопрос в этом парадоксе — кто виноват и что делать?

Ставим себя на место врача из начала поста. Нужно прописать пациенту лекарство — какое?
В статье рассматривается вариант «если я знаю пол пациента, то лекарство Б, если не знаю — лекарство А», но, как я понимаю, этот вариант упомянули исключительно для того, чтобы его эффектно опровергнуть.
Другой вариант — я использую максимально подробную информацию, то есть таблицы 2 и 3, первую вообще в расчёт не беру, то есть всегда лекарство Б. Это не решение парадокса, т.к. можно построить таблицы 4 и 5 по другому уточняющему критерию (брюнет / блондин), которые точно так же будут указывать на лекарство А. Более того, можно построить вообще все возможные варианты «самых точных» таблиц (одновременно пол и цвет волос), которые будут совместимы с таблицами 1–5.

Вывода в статье толком не делают, но как я понимаю рассуждения автора, нужно пытаться понять внутреннюю структуру парадокса. Либо мы сосредоточились на несущественных переменных (пол в нашем случае), и решение можно принимать случайным образом. Либо мы складываем (усредняем) переменные, внутренняя структура которых при этом теряется.
Возьмём пример парадокса Симпсона из реальной жизни. Смертность в Коста Рике выше смертности в Швеции — какой бы мы ни взяли возраст, вероятность умереть в этом возрасте выше в Коста Рике. При этом суммарная смертность ниже в Коста Рике — среди всего населения страны в год умирает меньший процент людей.
Разгадка здесь, очевидно, в скрытом распределении населения по возрастам — в Коста Рике гораздо больше молодёжи, чем в Швеции, а у молодёжи смертность ниже, чем у стариков. Таким образом, большая доля стариков в шведском обществе гораздо больше увеличивает среднюю смертность, чем глобальная разница в уровне смертности.

---

А ещё, совершенно неожиданно в статье ответили на давно мучивший меня вопрос взаимоотношения альтруистов и эгоистов. В двух словах (большое упрощение, и birdwatcher очень красиво разжевал мне ещё тогда это упрощение, но тем не менее), при прочих равных, эгоисты находятся в более выгодном положении, чем альтруисты. При этом, общество с большим количеством эгоистов менее «счастливо», чем общество с меньшим. То есть, мы автоматически скатываемся в общество несчастных эгоистов. Не знаю, как кого, мне этот факт (ген эгоизма, вырождение альтруизма) сильно капал на мозги все эти годы. И вот — па-пам! — прекрасное разрешение проблемы через парадокс Симпсона.

Возьмём 3 группы бактерий. В каждой группе есть бактерии-альтруисты (они вырабатывают антибиотик, который нужен всем) и бактерии-эгоисты (они пользуются антибиотиком, но не вырабатывают его). В первой группе 1/4 бактерий альтруистов, во второй — 1/2, в третьей — 3/4. Группы равные, то есть в общем 1/2 бактерий — альтруисты.
Запускаем время и видим, как в каждой группе доля бактерий-альтруистов падает, но при этом общая пропорция бактерий-альтруистов растёт. Потому что первая группа, в которой их было большинство, развивается быстрее, и её удельный вес становится всё больше и больше.

Понятно, что этим мы только отодвинули решение проблемы до полного перемешивания групп (установления полной глобализации, если вернуться к человеческому обществу), но всё равно, чертовски приятно!

Comments

[kalvado.livejournal.com]

А потом оказывается, что все прозаичнее - и вопрос тут в стоимости лекарства и бОльшей вероятности заболевания женщин среди бедняков.

[green-fr.livejournal.com]

Это первое предположение («мы сосредоточились на несущественных переменных»), я решил его не развивать, оно очевидно. Как следствие — принимаем решение от балды, пока не поймём, на какие переменные надо смотреть.

[dmpogo.livejournal.com]

На счет статистического парадокса, я сильно подозреваю (из 'физической' интуиции) что вопрос практики часто разрешается если учесть
уровень неопределености в оценке эффективности. Даже просто согласно 'корень из N' правилу. Ясно что разница в 10% для подгруп менее существенна чем 10% для полной выборки.

[green-fr.livejournal.com]

Автор про это пишет. И говорит, что он оперирует малыми числами, если кому-то хочется видеть не 40 выздоровевших больных из 80, а 40 миллионов из 80 миллионов — пускай сам домножит всё на миллион. Сути это не поменяет.

На практике этот парадокс вполне часто встречается. Там ещё цитировали улучшение оценок в SAT среди всех этнических групп США, при том, что средняя оценка стагнирует — очевидно, удельный вес менее образованных групп растёт, и это съедает эффект всеобщего улучшения. То есть это никак не неопределённость (погрешность измерения), это фича.

[zlyuk.livejournal.com]

по-моему, байесианский подоход в таких случаях помогает стряхнуть оцепенение.
во-первых, если пол пациента известен, то надо пользоваться условной вероятностью конечно и кормить лек-вом Б.
а что делать, если пол неизвестен? тогда можно задать такой вопрос: является ли выборка случайной. если да, то априорная вероятность того, что пациент мужчина - выше, и из-за этого общая статистика иная,. тогда результат для общей популяции применим (если пол пациента неизвестен!) - кормим лек-вом А.
если же мы считаем, что вероятности пациента оказаться м или ж равны, то опять-таки, лек-во Б будет эффективнее.
при таком рассмотрении, всё что надо понять - случайно ли оказалось больше мужчин чем женщин среди испытуемых. и ещё - сможем ли мы "измерять" пол для будущих пациентов.
профессионалы, понятное дело, применяют для этого рандомизацию клинических испытаний.

[green-fr.livejournal.com]

если пол пациента известен, то надо пользоваться условной вероятностью конечно и кормить лек-вом Б.
А если известен пол и цвет глаз, по полу нужно лекарство А, а по цвету глаз — лекарство Б. При этом перекрёстной статистики нет, но известно, что она может быть любая?

а что делать, если пол неизвестен? тогда можно задать такой вопрос: является ли выборка случайной. если да, то априорная вероятность того, что пациент мужчина - выше, и из-за этого общая статистика иная,. тогда результат для общей популяции применим (если пол пациента неизвестен!) - кормим лек-вом А.
Этого я не понял. Ну да, мужчины болеют чаще этим заболеванием. Но почему из этого следует лекарство А?

[zlyuk.livejournal.com]

если перекрёстной статистики нет, то полагаем что нет зависимости, наверное. в принципе что частотная что байесовская интерпретация - разницы быть не должно. просто если смотреть с точки зрения ариорных оценок и как новые данные их меняют, то легче примириться.

насчёт второго: просто если пол неизвестен, то пользоваться стоит общей статистикой (если мы доверяем выборке). а то что мужчины больше болеют, это просто объяснение чтоб разрулить парадокс. для успокоения.

если что, я не профессионал, но чем-то таким чувствую, что если правильно подставить в формулы условной вероятности и посчитать, то получится верно. типа, выписать все формулы вида
P(вылечился | давали лекарство Б | пациент мужчина | пациент попал в выборку) = ...
занудство, но так считают.

[green-fr.livejournal.com]

Так а что делать, если мужчинам надо прописывать А, брюнетам — Б, и перед нами мужчина брюнет?

А по концовке — мне кажется, что и так всё верно получается. Не надо искать «объяснения» парадоксу, его нет. Просто наш мир таков, что некоторые вещи не интуитивные. Но это не означает, что нас где-то кинули с формулами, и что если переписать всё в других переменных, то станет ясно. Проблема остаётся — есть рост в каждой популяции, но нет роста в сумме этих популяций. И это может быть нормально, как ни записывай.

[zlyuk.livejournal.com]

по моему скромному, правильно так: не "мужчинам надо прописывать А, брюнетам — Б" а "есть вероятностная модель, согласно которой у мужчин вероятность х1 успеха с лек-вом А, х2 с лек-вом Б, у брюнетов у1 с лек-вом А и у2 с лек-вом Б". из этой модели можно вывести ответы на все такие вопросы (конечно, при необходимых предположениях, например что быть мужчиной-респондером, брюнетом-респондером и т.п. - независимые собтыия). ещё точнее - описать выборку, следующие из неё оценки и их confidence intervals. в общем, так это и делается, и проблем не возникает (методологических). проблемы там обычно в базовых предположениях. например, что опыт бернулли это хорошая модель. это требует совершенно непропорциональных ресурсов для ответа на простые вопросы. и нет никакого шанса в обозримом будущем получить уверенность в том что такой-то способ лечить оптимален.

собственно, я с вами согласен. всё верно и нормально. мой пафос в том, что проблемы тоже нет и парадокс - superficial. :->)

[green-fr.livejournal.com]

Я не понимаю, почему, если описать красивые слова, то проблем не будет. Ну посчитаем мы эти интервалы, вышло, например, 0,000001 (у нас ооооочень много наблюдений), и что? А ответа о независимости между полом и цветом волос нет — то ли они независимы (как на самом деле, наверное), то ли просто нет у нас соответствующих данных, никто не посчитал.
То есть я как раз не понимаю, как можно отрицать наличие такого парадокса.

[(Anonymous)]

Самое смешное, что не важно - мужчина пациент или женщина. Если мы знаем пол - одна эффективность, не знаем - другая. А какой он - не важно ))
Чернышев.

[green-fr.livejournal.com]

Конечно, в этом весь смысл, отсюда и ступор, когда этот парадокс видишь :-)

[mevamevo.livejournal.com]

Интересный парадокс :).

Однако, чисто с практической точки зрения (как медик) не могу не заметить, что серьёзные исследования эффективности мед. препаратов, во-первых, проводятся, на намного больших группах, а, во-вторых, безусловно подвергаются необходимой статистической стандартизации. Ну и, в третьих, подавляющее большинство препаратов либо действуют и на мужчин, и на женщин одинаково (ну, понятно, что у каждого конкретного испытуемого реакция будет своя, но по чисто физиологическим причинам большинство "общих" препаратов будут действовать "в среднем" одинаково), либо просто не назначаются в одинаково равной степени как мужчинам, так и женщинам (когда речь идёт, к примеру, о препаратах половых гормонов).

[green-fr.livejournal.com]

Про количество я уже отвечал — достаточно умножить на миллион все количества — парадокс останется тем же. С медициной, насколько я понимаю, «проблема» (в кавычках, т.к. это проблема для возникновения парадокса) в неопределённости каждого результата. То есть, если вы поучаете данные «препарат А лечит в 50% случаев, а препарат Б — в 40%», то на самом деле это означает «препарат А проходит некий тест в 40-60% случаев, а Б — в 20-60%», при этом качество прохождения теста остаётся тоже неопределённым (А может проходить «с запасом», Б — «тютелька в тютельку»), и к каждому из лекарств прилагается простыня возможных побочных действий. То есть, не такая стерильно-математическая ситуация, в которой нам реально важна (значима) разница в пару процентов. Поэтому вы и не видите парадокс в повседневной жизни. А ведь он есть, как говорил прапорщик в «ДМБ» :-)

[mevamevo.livejournal.com]

Ну, в общем, да, как-то так....

[green-fr.livejournal.com]

Про пол туда же — замените на возраст (в посте прекрасный — и реальный! — пример про успеваемость), цвет кожи, предрасположенность к астме и т.п.

[yuriyag.livejournal.com]

Забавный парадокс, но в принципе он решаем добавлением к параметру "Доле выздоровевших" ещё одно параметра "fiabilité des données" (не могу как-то сразу подобрать удачный русский перевод).
В "мужской" статистике "Лекарство Б" показывает большую долю выздоровевших (на 10%) но при этом "fiabilité des données" для Лекарства Б ниже в три раза (количество мужчин которым давали Лек. Б было 20 человек против 60 которым давали Лек. А). Поэтому ввиду небольшого разброса по доле выздоровевших между двумя лекарствами и гораздо более "надёжного" результата для Лекарства А, оно выглядит более предпочтительным для мужчин.
В "женской" же статистике всё замечательно - в случае Лекарства Б и доля выздоровевших выше и надёжность данных для Лекарства Б выше - женщинам смело прописываем Лекарство Б !

[green-fr.livejournal.com]

А как ты определишь эту fiabilité ?

[yuriyag.livejournal.com]

Количество людей принимавших Лекарство А относительно количества людей принимавших Б.
У мужчин:
А - 60
Б - 20

У женщин:
А - 20
Б - 60

чем больше тестов, тем меньше риск ошибки.

[green-fr.livejournal.com]

То есть, где больше людей, там fiabilité выше, да? Fiabilité = количество людей, принимавших лекарство в ходе тестов.

А что потом? Вот у тебя есть лекарства A и B с процентом вылечившихся tA и tB и определёнными тобой fiabilité fA и fB. Как понять, какое лекарство давать?

[yuriyag.livejournal.com]

Так я же написал в своём первом комментарии:
В "мужской" статистике "Лекарство Б" показывает большую долю выздоровевших (на 10%) но при этом "fiabilité des données" для Лекарства Б ниже в три раза (количество мужчин которым давали Лек. Б было 20 человек против 60 которым давали Лек. А). Поэтому ввиду небольшого разброса по доле выздоровевших между двумя лекарствами и гораздо более "надёжного" результата для Лекарства А, оно выглядит более предпочтительным для мужчин.
В "женской" же статистике всё замечательно - в случае Лекарства Б и доля выздоровевших выше и надёжность данных для Лекарства Б выше - женщинам смело прописываем Лекарство Б !

Т.е. считается общий коэффициент который равен E(fficacy)*ke * R(eliability)*re для каждого лекарства и потом они сравниваются.
(ke и re - это коэффициенты которые позволяют усиливать или ослаблять важность одного из параметров, я их всунул по привычке, так у нас такой способ забит во всех прогнозах - есть общая формула и есть возможность "тюнинга" по желанию пользователя)

[green-fr.livejournal.com]

Ну так от этих параметров всё и будет теперь зависеть :-) А их ты предлагаешь тюнить на каком основании? :-))) Они же вообще ни с чем наблюдаемым не связаны. Чисто от балды?

[yuriyag.livejournal.com]

Забудь про коэффициенты, я их по рабочей привычке вставил.
Просто I = E * R

Для мужчин (R - процентное отношение людей в подгруппе к общему числу):
Ia = 60 * 75 = 4500
Ib = 70 * 25 = 1750
Ia > Ib, мужчинам прописываем Лекарство А

Для женщин:
Ia = 20 * 25 = 500
Ib = 30 * 75 = 2250
Ia < Ib прописываем Лекарство Б.

[green-fr.livejournal.com]

Если умножить процент выздоровевших на количество участвовавших, получится количество выздоровевших. То есть, твой вариант - не смотреть вообще на процент выздоровевших, смотреть на количество. То есть, у тебя есть лекарство A ещё из XIX века, помогает каждому десятому, зато столетняя история даёт миллион выздоровевших. И новое лекарство B - помогает всем без исключения, но статистики только за последний год, выздоровело 100 человек из 100. Что делаем? Твоя формула однозначно говорит использовать старое лекарство ;-)

[yuriyag.livejournal.com]

Ты прав что такая простая формула не подходит если сравнивать пенициллин с супер-новым антибиотиком только что вышедшим на рынок, но только ведь мы обсуждаем не такой случай?
Вернёмся к твоей записи выше. Мы видим там результаты некоего опыта, скажем клинического испытания лекарства А и лекарства Б на 160 пациентах, и анализируем результаты этого опыта. Мы видим что в суммарном итоге исследования более эффективно Лекарство А. Однако если результаты разбить не две подгруппы, то в обеих подгруппах более эффективным выглядит Лекарство Б, что и составляет парадокс. Но, если обратить внимание не только на эффективность, а и на количество участников в опытах, то выясняется что на самом деле парадокса нет. В группе мужчин лекарство Б показало лучший результат, но достоверность этого результата в три раза ниже чем достоверность для результатов испытания Лекарства А (руки бы оторвать за такое клиническое испытание), так что если принимать во внимание оба эти параметра то для мужской группы предпочтительным остаётся Лекарство А.
Но несмотря на утрату интриги, есть и интересное наблюдение - Лекарство Б действительно более эффективно для женщин. Какой можно сделать практический вывод из данного опыта - некое решение, имеющее положительный эффект для всей популяции, может быть дискриминирующим для некоей миноритарной группы внутри данной популяции. В случае лекарства это возможно не страшно - зная результаты опыта и посчитав индексы можно решать проблему в индивидуальном порядке - мужчинам давать лекарство А а женщинам лекарство Б. Но представим себе что решение должно быть глобальным. Например возьмём образование о котором ты говорил недавно ссылаясь на данный парадокс. Представим что ты являешься министром образования, а А и Б в данном случае - два учебных плана, один из которых должен стать единым в стране. Если выбрать план А, то национальные показатели успеваемости будут выше, но при этом способности некоей миноритарной группы не будут полностью раскрыты. Если же выбрать план Б, то национальные показатели будут немного хуже, но зато появится возможность вырастить группу интеллектуальной элиты.

[yuriyag.livejournal.com]

Ты меня сбил с толку ))).
Для пенициллина и современного антибиотика формула тоже работать будет.
Формула ведь перемножает проценты, а не количество больных. Даже если количество больных принимавших одно из лекарств будет измеряться тысячами, всё равно отношение количества мужчин к женщинам в данной группе все равно не выйдет за 100%.