Ещё об эффективности вакцины

[green_fr]

Мои выкладки по поводу эффективности вакцины были сделаны реально «на коленке» — они давали общее представление об эффективности, не учитывая возможной разницы между популяциями вакцинированных и невакцинированных. На днях Le Monde рассказал об исследовании, которое разобралось и с этим фактором (заодно это и самое большое в мире исследование — изучали истории 22.6 миллионов человек, к сожалению только 50+ лет). Изначально сравнивали похожие профили, а затем ещё и почистили результаты, чтобы исключить влияние посторонних факторов (например, того, что прививались скорее здоровые люди, тогда как больные зачастую опасались прививаться).

Результат, очевиден. Ну или скажем так, если бы результат был каким бы то ни было другим, об этом написали бы все газеты. А приходящие вовремя поезда неинтересны никому. Тем не менее: все 3 исследованные вакцины (Pfizer-bioNtech, Moderna и AstraZeneca) снижают примерно в 10 раз вероятность серьёзно заболеть (=попасть в больницу во Франции). Что самое смешное, эффективность самого популярного (в прямом смысле — все хотят) Pfizer в итоге самая низкая из трёх, пусть и ненамного. Аналогично снижается вероятностью умереть.

Второй результат чуть менее очевиден — эффект вакцины держится примерно на том же уровне через 5 месяцев после вакцинации. Срок 5 месяцев не потому, что потом всё плохо, а потому что данных было только на 5 месяцев — что дальше, пока никто не знает. С одной стороны, цитируют американское исследование, вроде как показывающее аналогичный эффект на 6 месяцах (в США начали вакцинировать чуть раньше). С другой — израильское исследование третьей дозы, которая вроде как улучшает защиту, но сравнивать с первыми двумя исследованиями сложно, потому что там очень короткий промежуток наблюдения после третьей дозы.

---

Друзья, в прошлый раз мне совсем было грустно читать комментарии. Давайте писать по существу? Меня в этой теме интересует исключительно математическое исследование вопроса. Нажива биг фармы, всемирный заговор, а также сам факт существования или нет вируса — меня не интересуют. Да даже и будущее человечества или демократии тоже меня не интересует в рамках этого поста, поскольку оно никак не следует из описанного исследования.

Второе: прежде чем нажимать на кнопку Send, перечитайте свой комментарий. Всё ли в нём будет понятно вашему собеседнику без дополнительных вопросов к вам? Если нет — затрудните себя, напишите сразу. Меня не интересует повышение количества комментариев к этому посту / рейтинга этого журнала, меня интересуют связная речь и интересные собеседники. Если они со мной не согласны — это даже лучше. Но выражающие несогласие связно и понятно :-) Либо задающие вопросы (аналогичным образом).

Comments

[green-fr.livejournal.com]

А расскажи, что именно проблематичного ты видишь в этом методе? По обоим пунктам — и "двойной подсчёт", и "выведение из исследования". Правда, интересно, что именно ты здесь видишь неправильного.

А писать — пиши, но если можно вот таким же тоном, как этот комментарий, а не как предыдущий. Правда, мне интересно разговаривать, а не соревноваться в том, кто кого удачнее подколет.

[parizanka.livejournal.com]

Извини пожалуйста, я не хотела тебя задеть. Специальной цели подколоть не было.

По теме вопроса, что не нравится.

"выведение из исследования" — то, что вакцинированные выпадали из исследования, не позволило их проследить дальше. Мы не знаем, болели ли они дальше ковидом, умирали или нет. Это огромный "упс" и мне трудно поверить, что это сделано случайно.

Представь себе совершенно гипотетическую, неправдоподобную ситуацию, что 100% привитых заражаются ковидом в течение 4 месяцев и умирают? Если к этому времени их вывели из исследования, то исследователи этого не увидят".

О, нашла, на странице 11 исследования: "Au total, 3 645 744 sujets vaccinés et 3 645 744 témoins ont été inclus : 2 486 060 (40,5%) sujets inclus uniquement dans le groupe « vaccinés », 2 486 060 (40,5%) sujets inclus uniquement dans le groupe « non vaccinés » et 1 160 913 (19,0%) sujets initialement inclus dans le groupe « non vaccinés » puis devenus vaccinés par la suite et donc inclus successivement dans le groupe « non vaccinés » puis le groupe « vaccinés ».

То есть если 1 160 913 человек вакцинировались во время исследования, то их пару , те же 1 160 913 вакцинированных, выкинули из исследования на ранней стадии. Это очень много, и в нашем гипотетическом случае 100% ной смерти от ковида, мы теряем 45% данных.

[green-fr.livejournal.com]

Давай предположим, что вакцинированных выводили из исследования не случайно, а с какой-то целью. Как это можно было устроить? За неделю до того, как вакцинированный заболел, найти его пару и насильно вакцинировать? Или как ты себе это представляешь?

Твоя "совершенно гипотетическая, неправдоподобная ситуация" при этом тоже не работает — ведь не 100% вакцинированных не дошли до конца исследования, кто-то да и остался (его пара не вакцинировалась в течение наблюдаемого периода). И тут он заболевает — мы немедленно видим его результат в исследовании.

По поводу "потери 45% данных" я снова не понял. Ты же нашла чёткое описание того, как человека последовательно включили сначала в одну группу, потом в другую — а вывод делаешь, что этого человека вообще не учли.

[kalvado.livejournal.com]

вопрос насколько честно пары подбирались и держались загодя.
Если честно, я бы скорее пытался вводить весовые коэффициенты, а не просто выкидывать куски данных.
Полного описания процедур я не вижу, видимо просто спаривание и прямое сравнение как вы описываете — и мне они кажутся допустимыми, но сильно неоптимальными и чувствительными к неосознанной подгонке.

[parizanka.livejournal.com]

К честности подбора пар у меня тоже есть претензии, но я пока не могу позволить себе их сформулировать.

Пока что могу только процитировать само исследования (таблички на страницах 16-18). Среди невакцинированных больше:

— на 120 тыс человек из "непривилегированных слоев общества" (попросту бедных) — indice de défavorisation
— на 125 тыс человек из группы "слабого здоровья" — fragilité
— на 57 тыс диабетиков
— на 38 тыс больше сердечников
— на 20 тыс больше людей, уже имевшими в прошлом инфаркт или инсульт
— на 6,8 тыс больше алкоголиков
— на 4,4 тыс больше человек "испытывающих проблемы со здоровьем ввиду курения"
— на 1,2 тыс больше людей с клиническим ожирением

причем это собрано не со слов испытуемых (с ними вообще никто не разговаривал), это достаточно серьезные медицинские проблемы, чтобы быть записанными в медицинское досье.

выводов пока нет.

[green-fr.livejournal.com]

А можешь сформулировать, что ты при этом чувствуешь? Вот ты читаешь исследование, и к каким-то фактам у тебя почему-то есть претензии, но пока что не конкретные. Откуда они взялись? Есть вариант — просто отторжение результата, вот и хочется найти ошибку то ли в данных, то ли в методологии, то ли в логике. Но это же совсем дно. Или какой ещё есть вариант? Откуда могут появляться претензии без оснований?

То есть, я прекрасно вижу это на себе. Если завтра кто-то опубликует исследование, говорящее, что вакцина повышает смертность от ковида — я буду читать исследование до дыр, пока не найду в нём ошибку. Но пока не найду — у меня не будет "претензий" или даже "подозрений" — только страстное желание их обнаружить :-) То есть предвзятость есть, но нельзя же давать ей верх, даже внутри себя, не то что снаружи.

[kalvado.livejournal.com]

Ну вообще внутрнние несоответствия обычно видны. Где-то что-то недоговорено, излишне сложные методики без обоснования.
То есть как тут про DRESS упомянуто было — я смотрю критику и защиту... Ну видно подгонометрию же. Я лабы и сдавал, и принимал, я просто вижу...

[parizanka.livejournal.com]

Cаша, при чем тут мои чувства? Отдельно спасибо за дно: значит, подкалывать в этом журнале можно только в одну сторону, так?

В своем посте ты заявил, что тебя интересует математическое исследование вопроса — это все еще правда? Если да, тогда почему ты не видишь, или не хочешь видеть возможные несоответствия этого исследования?

Я еще подумаю над твоей репликой про отторжение результата.... Нет, если действительно прививка в 10 раз снижает шанс попасть в больницу и умереть для людей 50+, я буду только рада. Так что отторжения результата как такового нет.

Но есть подозрения в подгонке нужного результата к политической agenda, как это было сделано за последние месяцы много раз. Например, введение санитарных паспортов было основано на моделизации института Пастера, которая показывала 50 000+ ежедневных заражений к началу сентября. Паспорта ввели, заражений было в день 4000 -5000, то есть ошиблись в десять раз. При этом ошибку не признали, паспорта до сих пор с нами.

[kalvado.livejournal.com]

И тут, кстати, возникает эффект мальчика, который кричал "волк!!"
в какой-то момент официальной информации приходится переставать доверять, что вообще нежелательно.

[green-fr.livejournal.com]

"Дно" было не к тебе, а в тому варианту, который видел я, и который я искренне надеялся не найти в тебе — не нашёл, твой вариант понял (совпадение результатов исследования с заявленными целями правительства => возможна подгонка), слава богу.

Видеть возможные несоответствия — хочу, конечно же хочу. Потому и читаю то, что ты пишешь. Пока не вижу. И тоже слава богу, потому что мне тоже вывод-то нравится.

[parizanka.livejournal.com]

"Давай предположим, что вакцинированных выводили из исследования не случайно, а с какой-то целью. Как это можно было устроить? За неделю до того, как вакцинированный заболел, найти его пару и насильно вакцинировать? Или как ты себе это представляешь?"

Я уже боюсь что-то писать, чтобы не быть осужденной в "ковидосраче". Вакцинированные в первую очередь выпадали из исследования в первую же очередь — может, потому что эффективность вакцины снижается, а такой метод fifo позволяет этого не замечать? :-) Потому что министерство здоровья спустило заказ, под который и подводятся цифры? Ладно, ты меня сейчас забанишь. (не перестаю извиняться, просто до сих пор я еще не отошла от исследования DREES, которое цитировали все медиа, по которому 9 из 10 болеющих/ умирающих от ковида человек непривиты. Правда, тогда исследователи просто взяли и выкинули половину смертей от ковида за данный период %-) но это флуд и не относится к теме. А к теме относится та мысль, что в когорте 75+ легко предположить, что вакцинированных станет намного больше за время исследования- так зачем было городить это огород с парами?

"Твоя "совершенно гипотетическая, неправдоподобная ситуация" при этом тоже не работает — ведь не 100% вакцинированных не дошли до конца исследования, кто-то да и остался (его пара не вакцинировалась в течение наблюдаемого периода). И тут он заболевает — мы немедленно видим его результат в исследовании"

Согласна, но мы увидим 55% cмертей, а не 100%, что все же не то же самое.


"По поводу "потери 45% данных" я снова не понял. Ты же нашла чёткое описание того, как человека последовательно включили сначала в одну группу, потом в другую — а вывод делаешь, что этого человека вообще не учли"

Подожди. Того, кого включили сначала в одну группу, потом в другую — учли, причем два раза. А вот куда девается вакцинированный из изначальной пары "невак — вак" ? Читаем все ту же страницу 8:

Afin de rendre comparable les groupes « vaccinés » et « non vaccinés », nous avons constitué des couples
(1 personne vaccinée et 1 personne non vacciné), en appariant chronologiquement (de 27 décembre 2020
au 30 avril 2021) chaque sujet vacciné à un sujet non vacciné à la date de vaccination (ou date index) de
mêmes âge (même année de naissance), sexe, région administrative et type de résidence (EHPAD et USLD
avec/sans PUI (pharmacie à usage intérieur)). Ces informations constituent les variables d’appariement.
Les sujets non vaccinés (témoins) ne pouvaient être appariés qu’à une seule personne vaccinée. Si un sujet témoin était vacciné au cours du suivi, le suivi était aussitôt arrêté pour l’ensemble du couple auquel il appartenait, puis le sujet nouvellement vacciné était de nouveau éligible pour être inclus dans la cohorte en tant que vacciné.


Я так понимаю, что изначально вакцинированный из пары "невак-вак" больше не участвовал в исследовании, а ты по-другому понял?

[green-fr.livejournal.com]

Я этот параграф вообще до твоей ремарки никак не понимал, потому что и не читал. Собственно и читаю только потому, что призвал тебя сначала разобраться, а потом критиковать.

Судя по этому тексту, если взять в момент т1 пару Вак1-Невак2, у которой в момент т2 Невак2 стал Вак2, то мы знаем, что в данном исследовании участвовали Вак1 в период с т1 до т2, и Невак2 в период с т1 до т2, а также то, что Вак1 и Вак2 стали потенциально используемыми в исследовании, начиная с момента т2 — при условии, что для них найдётся непарный контрольный Невак3. Согласна с такой интерпретацией текста? Я просто переформулировал то, что написано. И не вижу, как из этого можно вывести твои выводы о двух методологических проблемах в исследовании.

[kalvado.livejournal.com]

Как говорил в свое время товарищ Шомполов, старайтесь в столовке брать то, над чем меньше всего трудились повара — значит у них было меньше шанса испортить продукт.
Такое ощущение, что методики там надо разбирать с пристрастием.

[green-fr.livejournal.com]

Ну так разбирай :-) По мне так куда проще: составили "похожие" пары, отличающиеся только по одному из наблюдаемых критериев — наличию вакцины в организме. И потом смотрели на результаты в каждой паре. Всё.

[kalvado.livejournal.com]

Ну я бы и рад — так вы хоть имена авторов назовите чтоб было как искать! Я их не вижу.

А пары — да, хорошо, если они честны. Честность, как всегда, на совести тех кто писал. А вот манипуляции мне не нра.
Альтернативой могло бы быть, например, изначально случайное сопоставление пар в начале и деление на категории — (1) неизменный статус вакцинации до конца исследования, (2) кто-то привился. Было бы почище.
Ну и как госпожа Парижанка логично упомянула, сложно выбрать изначально равные пары. Из ее цитаты следует, что проблем с сопоставлением там может быть (и будет)

[parizanka.livejournal.com]

авторы исследования:
Mahmoud Zureik — руководитель
Kim Bouillon,
Bérangère Baricault,
Jérémie Botton,
Marie-Joëlle Jabagi,
Marion Bertrand,
Laura Semenzato,
Stéphane Le Vu,
Jérôme Drouin,
Rosemary Dray-Spira,
Alain Weill

[kalvado.livejournal.com]

Спасибо! пока вижу только это:
https://www.sciencedirect.com/science/article/pii/S2666776221001356
продолжаю поиск.

[parizanka.livejournal.com]

удачи в поиске. интересно будет, найдете ли что-то.

[green-fr.livejournal.com]

Авторы по ссылке в посте :-)
А в чём проблема выбора равных пар? Ты заранее определяешь параметры, а потом подбираешь пары, чтобы все значения параметров внутри пары были одинаковы.

[kalvado.livejournal.com]

ну хотя бы потому, что — как @парижанка указывает — когорты получились в итоге явно сдвинутые.
Я не могу прочитать текст сплошняком, понятно, поэтому могу и ошибаться. НО.

Подбирали не так много параметров — пол, возраст, регион; и дома престарелых (почему их не выделить вообще, к слову?). Точной подгонки в парах нет. При том обьеме данных можно было сделать вполне достойные по обьему группы сопоставимых по бОльшему числу параметров.

В итоге, например, среди невакцинированных много больше людей со слабым здоровьем. Их как в пары ставили — с учетом или нет? Видимо нет. И значит невакцинированные получили гандикап с этой стороны.
То есть есть изначальная неоднородность кто привился, и тогда надо фильтровать и выравнивать, (чего видимо не сделали), либо получается перекос в нужную сторону который устраивает.
Это все может и не криминал в каждой конкретной строке, перекосы не очень велики и разнонаправленны, но в комплексе создает ощущение что хотят сказать все, кроме главного.
То есть, повторюсь, другой возможный подход — фиксированные когорты, которые формируются изначально; возможно зная вакцинируется ли человек в конце концов — и нормировка. Это ИМНО честнее и логичнее.

ПС. Таблицы явно не пересматривали. Куча опечаток "11" вместо "1". Опять таки не криминал, если не предполагать что логичнее было бы использовать одинаковые формулы в клетках... Мелочь — но опять таки...

[parizanka.livejournal.com]

подтверждаю, что пары подбирали по полу, возрасту (один и тот же год рождения), региону проживания и домам престарелых. это все.

состояние здоровья при поставлении в пару- не учитывалось. и конечно, не учитывались признанные уже на сегодня факторы риска тяжелого течения ковида: диабет, ожирение и тд.

[green-fr.livejournal.com]

Я вижу, как она "указывает", но не вижу, как она "показывает" — ты понимаешь, за счёт чего когорты получаются "сдвинутыми"?

Про здоровье — почему тебе показалось, что пары составляли без учёта слабого здоровья? А то все остальные выводы из этого следуют.

[kalvado.livejournal.com]

и да, авторов не видел. Там по ссылкам много непонятных словов каких-то....

[parizanka.livejournal.com]

Я согласна почти со всем, но вот по следующему высказыванию согласна не до конца:

"Вак1 и Вак2 стали потенциально используемыми в исследовании, начиная с момента т2 — при условии, что для них найдётся непарный контрольный Невак3" :

— пары составлялись "а la date de vaccination", значит пара вак2-невак3 вполне могла иметь место, и скорей всего имела, но пара вак1-невак3 -нет. то есть я продолжаю утверждать, что вак1 переставал отслеживаться с момента t2, и судьба вак1 с момента t2 в исследовании не известна, что с моей точки зрения является перекосом и может негативно влиять на конечные выводы

[green-fr.livejournal.com]

Да, действительно, похоже, что Вак1 вылетает из исследования. А почему тебе кажется, что это может иметь негативный эффект на выводы? А не наоборот, позитивный? Или вообще, без эффекта?