🤫Распознать подделку (или как не дать себя обмануть)

Вопрос, который часто задают люди, не связанные с медициной и исследованиями (а иногда и связанные): «А вот эти ваши исследования – как вы можете гарантировать, что это авторы не выдумали какие-то цифры и написали? Это же легко. А следовательно, как этому можно верить?».

Логика верна отчасти. Гарантировать и правда не может никто – достаточно редко журналы могут запросить первичную документацию по исследованию, и то в 99% случаев это будут таблички с сырыми данными, т.е. не истории болезни. А значит, теоретически, в эту табличку можно загнать любые данные и получить любой результат.

Но на практике, как это ни парадоксально, правдоподобно подделать данные оказывается практически невыполнимой задачей. Да, бывают талантливые подделки – чего стоит история японского анестезиолога, сфабриковавшего данные в 172 (!!!) статьях за 19 лет активной «творческой» деятельности (и 18 из 19 лет никто ничего не подозревал). Но это крайне редкие истории. Чаще встречаются неумелые подделки, которые быстро выдают себя, если знать, на что смотреть.

Два примера на скринах выше:

⚠️Первый – многие по-прежнему агрессивно отрицают роль Таблицы 1 с исходной характеристикой пациентов в грамотной и критичной оценке исследования. А зря! Мало того, что это дает вам понимание общего «портрета» включенных пациентов – а значит, и сразу ясно, на кого можно проецировать полученные результаты. Но вдобавок можно обнаружить индикатор «фальшивки»: средний возраст пациентов в обеих группах имеет стандартное отклонение 1,7 и 2 года. При том, что критериями включения были люди старше 18 лет (без верхней границы). А теперь вспомните, какой обычно бывает разбег в средних возрастах пациентов при таких вводных – иногда плюс/минус 10, а иногда и плюс/минус 20. Но никак не 1,5 года. Даже если посмотреть исследования по аналогичной тематике с похожими задачами – в них минимальный разбег возраста будет 11 лет. А судя по цифрам от авторов этой статьи почти каждый пациент, один за другим, имел возраст 42 или 43 года. А значит, либо было какое-то негласное указание не включать людей с другим возрастом (что уже говорит о невоспроизводимости результатов), либо это откровенная «липа» - никаких пациентов не было, возраст рисовали с потолка, но боялись «неправдоподобного» разброса, и получилась неправдоподобная точность. Откуда я это знаю? Знание исследований, статистики и опыт работы с огромным массивом статей и авторов (в т.ч. недобросовестных).

⚠️Второй – посмотрите на результаты исследования, где авторы пишут про количество баллов по ВАШ (шкала для оценки боли). Ничего вас не настораживает в этих цифрах? А если я напомню, что ВАШ – это 100-балльная шкала, и она достаточно субъективна. И значит, что если у вас среднее значение для 30 пациентов имеет стандартное отклонение 1,1 или 1,3 балла, то пора снимать лапшу с ушей. Не могут 30 пациентов подряд на 100-балльной шкале все указывать свою боль в условном диапазоне 67-68 баллов. Опять же, зависит от рассматриваемой патологии, но стандартное отклонение по ВАШ начинается (начинается!) от 3-4 баллов, а чаще составляет около 10. Поэтому вот в этих результатах снова проступает эта старательность в прорисовке несуществующих данных так, чтобы они были близехонько друг от друга – обратите внимание, что стандартное отклонение не доходит даже до 2 баллов именно после оцениваемого воздействия. И в этом есть желание продемонстрировать якобы равномерный (одинаково проявляющийся у всех пациентов) эффект от выполненного лечения.

Оговорюсь, что бывают разные ситуации – разные исследования и разные пациенты, поэтому конечно не всегда столь удивительные цифры говорят о сфабриковке. Но, например, рассмотренные статьи имеют много других недочетов и нестыковок, из-за чего вот эти аномальные цифры становятся финальным приговором – да, это подделка.

Призываю вас к одному – будьте внимательны, и очень часто цифры могут сказать гораздо больше, чем 7 страниц текста статьи. Надо только уметь их распознать и понимать, что заложено, по смыслу, в каждое из значений.