Ещё об эффективности вакцины

[green_fr]

Мои выкладки по поводу эффективности вакцины были сделаны реально «на коленке» — они давали общее представление об эффективности, не учитывая возможной разницы между популяциями вакцинированных и невакцинированных. На днях Le Monde рассказал об исследовании, которое разобралось и с этим фактором (заодно это и самое большое в мире исследование — изучали истории 22.6 миллионов человек, к сожалению только 50+ лет). Изначально сравнивали похожие профили, а затем ещё и почистили результаты, чтобы исключить влияние посторонних факторов (например, того, что прививались скорее здоровые люди, тогда как больные зачастую опасались прививаться).

Результат, очевиден. Ну или скажем так, если бы результат был каким бы то ни было другим, об этом написали бы все газеты. А приходящие вовремя поезда неинтересны никому. Тем не менее: все 3 исследованные вакцины (Pfizer-bioNtech, Moderna и AstraZeneca) снижают примерно в 10 раз вероятность серьёзно заболеть (=попасть в больницу во Франции). Что самое смешное, эффективность самого популярного (в прямом смысле — все хотят) Pfizer в итоге самая низкая из трёх, пусть и ненамного. Аналогично снижается вероятностью умереть.

Второй результат чуть менее очевиден — эффект вакцины держится примерно на том же уровне через 5 месяцев после вакцинации. Срок 5 месяцев не потому, что потом всё плохо, а потому что данных было только на 5 месяцев — что дальше, пока никто не знает. С одной стороны, цитируют американское исследование, вроде как показывающее аналогичный эффект на 6 месяцах (в США начали вакцинировать чуть раньше). С другой — израильское исследование третьей дозы, которая вроде как улучшает защиту, но сравнивать с первыми двумя исследованиями сложно, потому что там очень короткий промежуток наблюдения после третьей дозы.

---

Друзья, в прошлый раз мне совсем было грустно читать комментарии. Давайте писать по существу? Меня в этой теме интересует исключительно математическое исследование вопроса. Нажива биг фармы, всемирный заговор, а также сам факт существования или нет вируса — меня не интересуют. Да даже и будущее человечества или демократии тоже меня не интересует в рамках этого поста, поскольку оно никак не следует из описанного исследования.

Второе: прежде чем нажимать на кнопку Send, перечитайте свой комментарий. Всё ли в нём будет понятно вашему собеседнику без дополнительных вопросов к вам? Если нет — затрудните себя, напишите сразу. Меня не интересует повышение количества комментариев к этому посту / рейтинга этого журнала, меня интересуют связная речь и интересные собеседники. Если они со мной не согласны — это даже лучше. Но выражающие несогласие связно и понятно :-) Либо задающие вопросы (аналогичным образом).

Comments

[green-fr.livejournal.com]

Я этот параграф вообще до твоей ремарки никак не понимал, потому что и не читал. Собственно и читаю только потому, что призвал тебя сначала разобраться, а потом критиковать.

Судя по этому тексту, если взять в момент т1 пару Вак1-Невак2, у которой в момент т2 Невак2 стал Вак2, то мы знаем, что в данном исследовании участвовали Вак1 в период с т1 до т2, и Невак2 в период с т1 до т2, а также то, что Вак1 и Вак2 стали потенциально используемыми в исследовании, начиная с момента т2 — при условии, что для них найдётся непарный контрольный Невак3. Согласна с такой интерпретацией текста? Я просто переформулировал то, что написано. И не вижу, как из этого можно вывести твои выводы о двух методологических проблемах в исследовании.

[kalvado.livejournal.com]

Как говорил в свое время товарищ Шомполов, старайтесь в столовке брать то, над чем меньше всего трудились повара — значит у них было меньше шанса испортить продукт.
Такое ощущение, что методики там надо разбирать с пристрастием.

[green-fr.livejournal.com]

Ну так разбирай :-) По мне так куда проще: составили "похожие" пары, отличающиеся только по одному из наблюдаемых критериев — наличию вакцины в организме. И потом смотрели на результаты в каждой паре. Всё.

[kalvado.livejournal.com]

Ну я бы и рад — так вы хоть имена авторов назовите чтоб было как искать! Я их не вижу.

А пары — да, хорошо, если они честны. Честность, как всегда, на совести тех кто писал. А вот манипуляции мне не нра.
Альтернативой могло бы быть, например, изначально случайное сопоставление пар в начале и деление на категории — (1) неизменный статус вакцинации до конца исследования, (2) кто-то привился. Было бы почище.
Ну и как госпожа Парижанка логично упомянула, сложно выбрать изначально равные пары. Из ее цитаты следует, что проблем с сопоставлением там может быть (и будет)

[parizanka.livejournal.com]

авторы исследования:
Mahmoud Zureik — руководитель
Kim Bouillon,
Bérangère Baricault,
Jérémie Botton,
Marie-Joëlle Jabagi,
Marion Bertrand,
Laura Semenzato,
Stéphane Le Vu,
Jérôme Drouin,
Rosemary Dray-Spira,
Alain Weill

[kalvado.livejournal.com]

Спасибо! пока вижу только это:
https://www.sciencedirect.com/science/article/pii/S2666776221001356
продолжаю поиск.

[parizanka.livejournal.com]

удачи в поиске. интересно будет, найдете ли что-то.

[green-fr.livejournal.com]

Авторы по ссылке в посте :-)
А в чём проблема выбора равных пар? Ты заранее определяешь параметры, а потом подбираешь пары, чтобы все значения параметров внутри пары были одинаковы.

[kalvado.livejournal.com]

ну хотя бы потому, что — как @парижанка указывает — когорты получились в итоге явно сдвинутые.
Я не могу прочитать текст сплошняком, понятно, поэтому могу и ошибаться. НО.

Подбирали не так много параметров — пол, возраст, регион; и дома престарелых (почему их не выделить вообще, к слову?). Точной подгонки в парах нет. При том обьеме данных можно было сделать вполне достойные по обьему группы сопоставимых по бОльшему числу параметров.

В итоге, например, среди невакцинированных много больше людей со слабым здоровьем. Их как в пары ставили — с учетом или нет? Видимо нет. И значит невакцинированные получили гандикап с этой стороны.
То есть есть изначальная неоднородность кто привился, и тогда надо фильтровать и выравнивать, (чего видимо не сделали), либо получается перекос в нужную сторону который устраивает.
Это все может и не криминал в каждой конкретной строке, перекосы не очень велики и разнонаправленны, но в комплексе создает ощущение что хотят сказать все, кроме главного.
То есть, повторюсь, другой возможный подход — фиксированные когорты, которые формируются изначально; возможно зная вакцинируется ли человек в конце концов — и нормировка. Это ИМНО честнее и логичнее.

ПС. Таблицы явно не пересматривали. Куча опечаток "11" вместо "1". Опять таки не криминал, если не предполагать что логичнее было бы использовать одинаковые формулы в клетках... Мелочь — но опять таки...

[parizanka.livejournal.com]

подтверждаю, что пары подбирали по полу, возрасту (один и тот же год рождения), региону проживания и домам престарелых. это все.

состояние здоровья при поставлении в пару- не учитывалось. и конечно, не учитывались признанные уже на сегодня факторы риска тяжелого течения ковида: диабет, ожирение и тд.

[green-fr.livejournal.com]

Я вижу, как она "указывает", но не вижу, как она "показывает" — ты понимаешь, за счёт чего когорты получаются "сдвинутыми"?

Про здоровье — почему тебе показалось, что пары составляли без учёта слабого здоровья? А то все остальные выводы из этого следуют.

[kalvado.livejournal.com]

Почему мне показалось что пары составляются без учёта — потому что в тексте написан алгоритм составления пар по 4 признакам. По крайней мере гугл так перевел. У тебя есть аргументы что это не так?
Почему когорты сдвинутые — так народишко такой попался. Какой есть уж. И либо нам надо убирать этот эффект, либо конечный вывод можно упростить до "лучше быть богатым и здоровым чем бедным и больным"

[green-fr.livejournal.com]

Да, действительно, ты прав, пары составлялись без этого фактора. Он учитывался чуть позже, в следующем параграфе, §2.2.

[kalvado.livejournal.com]

Ну дойду до компа — гляну. Но таки речь чуть о другом аспекте:
Стандартные методики хороши тем, что в них уже выловлены баги. Их описания понятны без дополнительных разборок.

Тут мы должны тратить силы рассматривая всякие левые сценарии. Как повлияет на результат если невак3 умрет от ковида,не будучи в паре? Как повлияет смерть не от ковида?

Ну и самый злой вопрос — а что именно хотели спрятать авторы заставляя нас анализировать методику вместо анализа результата? Это уже абсолютно личное и необоснованное мнение. Но вот как-то так.

[green-fr.livejournal.com]

А ты вот настолько в теме, что готов утверждать, что эта методика такая вот революционная, как ты говоришь? Я просто, не смотря на работу актуарием, совсем никогда не занимался ни демографией, ни медицинскими исследованиями, ни даже исследованиями смертности.

Ты видишь, чем я тут занимаюсь? Я не оправдываю методику, я не оправдываю результаты. Я задаю тебе и parizanka вопрос: что именно заставляет вас думать, что что-то не так? Чтобы как минимум самому понять, где именно у вас реальная критика.

Вот здесь, прости, критики не вижу. Вижу утверждения "стандартные методики" и "левые сценарии", как будто ты реально специалист в вопросе, как минимум на уровне эти ребят, которые опубликовались. "Что именно хотели спрятать авторы" — камон, ты серьёзно? Давно перестал пить коньяк по утрам? Это же именно та постановка вопроса, которая показывает, что ответ уже есть.

Может быть авторы и облажались. Но мне для этого, наверное, нужны какие-то аргументы. А не просто слова. Или даже предчувствия (исследование слишком выгодно N — значит оно неверно!)

[kalvado.livejournal.com]

Да не, у нас нормальный спор физтехов за тему, прям долгоповским сортиром потянуло =)

Я тебе приведу немного другой пример, который Парижанка тут упомянула.
DREES опубликовал некую работу, где пришел к выводу об эффективности вакцины. Маленькая проблема — цифры смертности в работе отличались от официальной статистики примерно вдвое.
Тут вот некая защита: https://news.in-24.com/coronavirus/173373.html

Там конкретно разобрано где как и почему образовалась разница. Но я спрошу с точки зрения законов сохранения:
есть накие глобальные цифры, которые должны сохраняться. Например, средняя вероятность заболевшему ковидом не выйти из больницы живым. И где-то как-то эта цифра должна получаться одной и той же.
Если разные методы дают оценку вдвое отличающуюся — то кто-то ошибается. И из текста оправданийу меня создается впечатление, что оценка DREES неверна. Возможно в рамках методики они и правы — но это только значит что методика кривая.
Тут я не могу прочитать полностью текст, моя критика на маленьких кусочках. о методике пар я не слышал. И не думаю что она сильно распространена — хотя бы потому, что требует специфически точной базы данных, которых у эпидемиологов рньше не было — ты сам сказал что это отдельно разрешение на синтез данных разных баз. Там есть ссылка на методологию? Мне лень копать, сколько среди авторов data scientists и статистиков, а сколько эпидемиологов?

А основная моя тема, уж извини — я только помяну, и обещаю что не буду развивать — это то что цифры этих исследований — это не академические забавы, а цифры на основе которых принимаются решения. И это надо помнить при публикации

[parizanka.livejournal.com]

Мне лень копать, сколько среди авторов data scientists и статистиков, а сколько эпидемиологов?

Mahmoud Zureik эпидемиолог
Kim Bouillon эпидемиолог
Bérangère Baricault статистик
Jérémie Botton эпидемиолог
Marie-Joëlle Jabagi эпидемиолог
Marion Bertrand (не нашла)
Laura Semenzato статистик
Stéphane Le Vu эпидемиолог
Jérôme Drouin data manager
Rosemary Dray-Spira эпидемиолог
Alain Weill эпидемиолог

[kalvado.livejournal.com]

с одной стороны неплохо, хуже когда 5 врачей с 5 баллами по статистике в дипломах на всех; с другой- понятно, что это не команда разработки новых методик анализа данных.

[parizanka.livejournal.com]

директор этого исследования активно ведет твиттер (@MahmoudZureik). Ему там многие стали задавать конкретные вопросы по результатам и методологии (мне понравился вопрос, откуда они взяли во Франции 3,6 млн невакцинированных в когорте 75+, если к 21/07 в вакцинированы были уже 75-90% людей 75+).

Он отвечает, ДОСЛОВНО: "все объяснено в исследовании. А если вы не поняли, значит, вы не компетентны". (!!!)

[kalvado.livejournal.com]

В свое время американская почта явно пригласила спецов почты России. Теперь видимо Росстат делится кадрами.

[parizanka.livejournal.com]

Делится очень успешно, кадры Росстата уже, видно, себя проявили. Так на найте правительства по Парижу доля привитого населения 18+ лет уже .....103,09%. Это пока еще не 146% конечно, но надо же с чего то начинать.

https://www.gouvernement.fr/info-coronavirus/vaccins

[kalvado.livejournal.com]

Ну кстати во Флориде уже за 200 — но по вполне понятной причине: туда старички пенсионеры на зиму перебираются. Там их и кололи. А живут они формально где работали, на севере.
Так что кто его знает, какие там выверты учета?

[kalvado.livejournal.com]

и да, авторов не видел. Там по ссылкам много непонятных словов каких-то....

[parizanka.livejournal.com]

Я согласна почти со всем, но вот по следующему высказыванию согласна не до конца:

"Вак1 и Вак2 стали потенциально используемыми в исследовании, начиная с момента т2 — при условии, что для них найдётся непарный контрольный Невак3" :

— пары составлялись "а la date de vaccination", значит пара вак2-невак3 вполне могла иметь место, и скорей всего имела, но пара вак1-невак3 -нет. то есть я продолжаю утверждать, что вак1 переставал отслеживаться с момента t2, и судьба вак1 с момента t2 в исследовании не известна, что с моей точки зрения является перекосом и может негативно влиять на конечные выводы

[green-fr.livejournal.com]

Да, действительно, похоже, что Вак1 вылетает из исследования. А почему тебе кажется, что это может иметь негативный эффект на выводы? А не наоборот, позитивный? Или вообще, без эффекта?