Пандемия COVID-19 привела к колоссальным социальным и экономическим потерям. Однако она также способствовала трансформации научного мира – адаптации к необходимости организовывать научные и образовательные мероприятии онлайн, в сжатые сроки инициировать и проводить клинические исследования, разрабатывать и согласовывать методические рекомендации и непрерывно анализировать колоссальный объем появляющейся информации. К сожалению, часть этой информации в последующем оказывается не подтвержденной. Однако сам факт публикации таких сомнительных данных может иметь огромные последствия.
В заметке разбираются обстоятельства отзывов двух статей Mehra et al. – по оценке смертности на фоне приема гидроксихлорохина [1] и по взаимосвязям наличия сердечно-сосудистых заболеваний и их терапии с внутрибольничной смертностью при COVID-19 [2]. Заметка разделена на четыре части: о чем были статьи, как было выявлено наличие некорректных данных в них, краткий рассказ о компании, их предоставившей, и почему публикация подобных статей стала возможной в рецензируемых журналах.
О каких статьях идет речь?
1 мая 2020 года в журнале New England Journal of Medicine (NEJM) вышла статья «Cardiovascular Disease, Drug Therapy, and Mortality in Covid-19» за авторством M. R. Mehra, S. S. Desai, S. Kuy, T. D. Henry и A. N. Patel [2], в которой анализ данных 8910 пациентов с COVID-19 и известными исходами на момент выписки показал, что возраст старше 65 лет, наличие ишемической болезни сердца, сердечной недостаточности, аритмии, хронической обструктивной болезни легких и курение ассоциированы с повышенным риском внутрибольничной смерти. В тоже время такой ассоциации не установлено для приема ингибиторов ангиотензин-превращающего фермента (иАПФ) и антагонистов рецепторов ангиотензина II (АРА). Данные для анализа были предоставлены компанией Surgisphere, президентом и главным исполнительным директором которой являлся S.S. Desai.
Следует отметить, что полученные результаты согласовывались с данными ранее опубликованных работ, в которых уже был продемонстрирован более высокий риск смерти у пациентов с сердечно-сосудистыми заболеваниями и COVID-19 и отсутствие доказательств риска COVID-19, ассоциированного с терапией иАПФ и АРА [3]. Более того, подобные данные о безопасности иАПФ и АРА при COVID-19 были также получены в другой работе, опубликованной в NEJM в тот же день [4], и последующих работах [5].
22 мая 2020 года в журнале LANCET вышла статья «Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis» [1] за авторством M. R. Mehra, S. S. Desai, F. Ruschitzka, A. N. Patel. Авторами проанализированы данные 96 032 пациентов с COVID-19, госпитализированных в стационары на различных континентах. Было установлено, что после поправки на разницу в характеристиках пациентов прием хлорохина и гидроксихлорохина с и без макролидных антибиотиков увеличивал риск внутрибольничной смерти. Данные для анализа были также предоставлены компанией Surgisphere. Следует отметить, что ранее опубликованные несколько работ показали сопоставимый риск смерти у пациентов, принимавших гидроксихлорохин и плацебо, после поправки на разницу в характеристиках пациентов [6, 7].
Цепь дальнейших событий
Сразу после публикации статьи в LANCET целый ряд вопросов был адресован к методологии, использованным статистическим методам, этическому контролю, происхождению и достоверности данных, результатам. Это активно обсуждалось как в средствах массовой информации, так и экспертами. Основные соображения, требующие разъяснения со стороны авторов статьи, были сформулированы в открытом письме группы ученых [8], опубликованном 28 мая 2020 года:
1. Особенности статистической обработки данных: не достаточная поправка на известные и оцененные влияющие факторы (тяжесть пациентов, используемые дозы препаратов, различия между центрами и временной эффект) и узкие доверительные интервалы для представленных значений отношения рисков;
2. Отсутствие информации о том, какие страны и больницы были включены в анализ, и недоступность базы данных для независимой проверки результатов анализа;
3. Представленное в исходной версии статьи большее число смертей в Австралии, чем на тот момент было зарегистрировано в стране (следует подчеркнуть, что в последующем авторы опубликовали коррекцию к статье, объяснив, что исходно один азиатский центр был рассмотрен как австралийский. Однако факт обнаружения данной ошибки ставил под вопрос наличие других ошибок и погрешностей в представленных данных);
4. Сомнительная вероятность того, что 25% случаев COVID-19 и 40% смертей на Африканском континенте произошла в больницах, связанных с Surgisphere, c высоким уровнем информатизации, позволяющей отслеживать желудочковые нарушения ритма;
5. Неправдоподобное соотношение частоты использования хлорохина/гидроксихлорохина для ряда континентов и более высокие среднесуточные дозы последнего, чем рекомендованные FDA (хотя 66% данных составляли данные из Северной Америки);
6. Отсутствие существенных различий в исходных характеристиках пациентов, вмешательствах и исходах между континентами.
В письме также указывалось, что требуется доступ к исходным данным и их независимый анализ. В случае отсутствия такой возможности в связи с особенностями соглашений между аналитической компанией и госпиталями подчеркивалось, что можно рассмотреть вопрос о предоставлении агрегированных данных по каждому госпиталю, а также о предоставлении всех соглашений между больницами и компанией для проверки того, что исходный анализ был проведен с соблюдением всех юридических правил и прав пациентов.
В связи с возникшими вопросами журнал LANCET начал проверку опубликованной статьи [9]. 3 июня 2020 года три автора из четырех (M. R. Mehra, F. Ruschitzka, A. N. Patel) прислали в журнал уведомление об отзыве статьи, поскольку компания, собиравшая данные, не предоставила им исходные данные, и следовательно корректность анализа не могла быть ими проверена.
Параллельно анализировалась статья, опубликованная NEJM, в создании которой участвовали M. R. Mehra, S. S. Desai, F, A. N. Patel et al. Помимо аналогичных ранее высказанным сомнений в происхождении данных и этической составляющей, основными пунктами открытого письма, которое было опубликовано к этой статье [10], были:
1. Отсутствие понимания, как было набрано такое большое число пациентов, если для каждой страны относительно небольшое количество госпиталей сотрудничали с компанией Surgisphere;
2. Сложности при попытке согласовать представленные данные о включенных в анализ случаев из Великобритании с в действительности возможным количеством пациентов в госпиталях страны на момент анализа;
3. Превышение количества представленных пациентов из Турции числа официально подтверждённых случаев COVID-19 в стране на 15 Марта 2020 года;
4. Сомнения в корректности отображения отношения шансов смерти в зависимости от возраста.
4 мая 2020 года авторы отозвали также эту статью [11], написав, что не могут проверить корректность данных ввиду отсутствия полного доступа к ним. Интересно, что в отличие от письма в LANCET, это письмо-отзыв было также подписано S.S. Desai – президентом компании Surgisphere, предоставившей данные.
В связи с появлением писем от авторов, журналы LANCET и NEJM сразу же отозвали обе статьи.
О компании Surgisphere и S.S. Desai
Нашумевшая история с отзывом двух статей из влиятельных журналов привела к большому количеству вопросов к компании, предоставившей данные, и к S.S. Desai.
S.S. Desai основал компанию Surgisphere в 2008 году как компанию, публикующую медицинские книги. По данным расследования The Guardian в компании работает 5 сотрудников, при этом нет убедительной информации об их компетентности в области науки и статистики [12]. Исходно на сайте компании Surgisphere было указано, что она сотрудничает с рядом крупных организаций и институтов. Однако эти организации отметили, что никогда не работали с Surgisphere [13].
Данные Surgisphere использовались в написании только двух, в данный момент отозванных, статей, но твиттере Shipra Arya написала, что ранее рецензировала и отказала в публикации статье с не связанным с COVID-19 данными, предоставленными Surgisphere для одного журнала по хирургии [14].
Сейчас также началась проверка публикаций S.S. Desai, не связанных с данными из Surgisphere.
Почему могла произойти публикация не достоверных данных в престижных журналах?
Произошедшая ситуация поставила вопрос о том, как вообще была возможна публикация ненадежных данных в крупных рецензируемых журналах. В настоящее время идет дискуссия на эту тему. Тут важно отметить несколько пунктов:
1. Контроль за качеством данных в наблюдательных исследованиях ниже, чем многоцентровых рандомизированных исследованиях. В рандомизированных исследованиях известны участвующие центры и аудиторы проверяют качество сбора информации. После сбора данные анализируются независимыми статистиками, а также FDA, если компания планирует регистрацию продукта в США[15]. Также во многих случаях после публикации основных результатов независимые исследователи могут получить доступ к данным.
2. Выявление обмана не является целью рецензирования. Безусловно рецензент должен обращать внимание на подозрительность в данных, но он делает свою работу, исходя из предположения о честности авторов статьи [16,17].
3. В связи с эпидемией скорость рецензирования увеличивается, что может снижать его качество [18].
4. К сожалению, к современной системе редакторы журнала в стремлении увеличить его импакт-фактор могут пойти на публикацию статей не очень высокого качества, при этом предполагая, что будет активная дискуссия вокруг них и, следовательно, их частое цитирование [15]. Важно понимать, что речь про корректно собранные, но неоднозначные данные.
5. Первым автором обоих статей был известный кардиолог, к которому было доверие редакторов, что могло снизить пристальность анализа статей.
Сейчас идет активная дискуссия о связанных с данными статьями последствиями – для научных исследований, публикаций и процесса рецензирования в целом. Обсуждается, что необходимо сделать для предотвращения таких ситуаций в будущем. Разбор этих предложений лежит за пределами этой заметки. Хотелось бы обратить ваше внимание на замечательный текст на тему от Milton Parker - https://www.medpagetoday.com/blogs/revolutionandrevelation/86978 и обсуждение этого вопроса в tweeter https://twitter.com/VPrasadMDMPH/status/1269015656411705344 Vinay Prasad и статью в британском медицинском журнале - https://www.bmj.com/content/369/bmj.m2224
к.м.н. Мареев Ю.В.
твиттер - https://twitter.com/YMareev Facebook - https://www.facebook.com/groups/286922361409995/
к.м.н. Соловьева А.Е.
твиттер - https://twitter.com/SolovevaAnzhela
Источники:
[1] M. R. Mehra, S. S. Desai, F. Ruschitzka, and A. N. Patel, “Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis.,” Lancet (London, England), vol. 0, no. 0, May 2020.
[2] M. R. Mehra, S. S. Desai, S. Kuy, T. D. Henry, and A. N. Patel, “Cardiovascular Disease, Drug Therapy, and Mortality in Covid-19,” N. Engl. J. Med., May 2020.
[3] Y. V. Mareev and V. Y. Mareev, “Role of age, comorbidity and renin- angiotensin-aldosterone system in COVID-19. Effects of ACE inhibitors and angiotensin receptor blockers,” Kardiologiia, vol. 60, no. 4, pp. 4–9, Apr. 2020.
[4] G. Mancia, F. Rea, M. Ludergnani, G. Apolone, and G. Corrao, “Renin–Angiotensin–Aldosterone System Blockers and the Risk of Covid-19,” N. Engl. J. Med., May 2020.
[5] D. M. Bean et al., “ACE ‐inhibitors and Angiotensin‐2 Receptor Blockers are not associated with severe SARS‐COVID19 infection in a multi‐site UK acute Hospital Trust,” Eur. J. Heart Fail., p. ejhf.1924, Jun. 2020.
[6] J. Geleris et al., “Observational Study of Hydroxychloroquine in Hospitalized Patients with Covid-19,” N. Engl. J. Med., May 2020.
[7] H. R. Reynolds et al., “Renin–Angiotensin–Aldosterone System Inhibitors and Risk of Covid-19,” N. Engl. J. Med., May 2020.
[8] J. Watson, “An open letter to Mehra et al and The Lancet,” 28-May-2020. [Online]. Available: https://zenodo.org/record/3862789#.XtEZcDozZbH. [Accessed: 29-May-2020].
[9] The Lancet Editors, “Expression of concern: Hydroxychloroquine or chloroquine with or without a macrolide for treatment of COVID-19: a multinational registry analysis,” Lancet, vol. 0, no. 0, Jun. 2020.
[10] J. A. Watson, R. Meral, R. Price, and J. on behalf of 174 signatories Simpson, “An open letter to Mehra et al and The New England Journal of Medicine,” Jun. 2020.
[11] M. R. Mehra, S. S. Desai, S. Kuy, T. D. Henry, and A. N. Patel, “Retraction: Cardiovascular Disease, Drug Therapy, and Mortality in Covid-19. N Engl J Med. DOI: 10.1056/NEJMoa2007621.,” N. Engl. J. Med., p. NEJMc2021225, Jun. 2020.
[12] “Surgisphere: governments and WHO changed Covid-19 policy based on suspect data from tiny US company | World news | The Guardian.” [Online]. Available: https://www.theguardian.com/world/2020/jun/03/covid-19-surgisphere-who-world-health-organization-hydroxychloroquine. [Accessed: 12-Jun-2020].
[13] “Surgisphere: mass audit of papers linked to firm behind hydroxychloroquine Lancet study scandal | Surgisphere | The Guardian.” [Online]. Available: https://amp.theguardian.com/world/2020/jun/10/surgisphere-sapan-desai-lancet-study-hydroxychloroquine-mass-audit-scientific-papers?CMP=share_btn_tw&__twitter_impression=true. [Accessed: 12-Jun-2020].
[14] “(6) Shipra Arya MD в Твиттере: «@HeartBobH Reviewed and rejected a non-covid paper two months ago based on the same data source for a surgery journal because of the opacity data acquisition, integrity and QA as well as IRB. How did this get missed in peer review?» / Твиттер.” [Online]. Available: https://twitter.com/ShipraAryaMD/status/1268028282756141057. [Accessed: 12-Jun-2020].
[15] “Critical Lessons From Last Week’s Retraction of Two COVID-19 Papers | MedPage Today.” [Online]. Available: https://www.medpagetoday.com/blogs/revolutionandrevelation/86978. [Accessed: 12-Jun-2020].
[16] “Marc Lipsitch в Твиттере: «In light of the retractions it’s worth remembering: Peer review is one imperfect part of the at-least 4-part safety net that keeps science functioning. Layer 1 is basic ethics among investigators: don’t make up or misrepresent data.» / Твиттер.” [Online]. Available: https://twitter.com/mlipsitch/status/1269260948369440779. [Accessed: 12-Jun-2020].
[17] “Venk Murthy в Твиттере: «Repeat after me: Peer review is not meant to find fraud. Peer review is not meant to find fraud. Peer review is not meant to find fraud. Peer review is not meant to find fraud. Peer review is not meant to find fraud. Peer review is not meant to find fraud.» / Твиттер.” [Online]. Available: https://twitter.com/venkmurthy/status/1268661836393656334. [Accessed: 12-Jun-2020].
[18] “Pramesh CS в Твиттере: «The retractions of papers in @TheLancet and the @NEJM have been met with outrage, anger and calls for resignation of the editors. Let’s take a moment to think about this. What is a journal’s and an editor’s responsibility? To ensure that they publish the best science. Thread https://t.co/Dlh2NicBRf» / Твиттер.” [Online]. Available: https://twitter.com/cspramesh/status/1269173811657633792. [Accessed: 12-Jun-2020].