В 2005 году Джон Иоаннидис опубликовал статью "Why Most Published Research Findings Are False", в которой представил аргументированное обоснование того, почему большая часть научных результатов не является истинной. Эта работа вызвала значительный резонанс в научном сообществе, так как поставила под сомнение надежность большого числа исследований.

Факторы риска
Автор утверждает, что вероятность ложных результатов в научных публикациях можно доказать математически. Он рассматривает ключевые факторы, которые влияют на истинность исследовательских данных. Одним из важнейших параметров является статистическая мощность исследования: чем меньше выборка, тем выше вероятность того, что результаты окажутся случайными. В свою очередь, маленький размер эффекта также снижает вероятность того, что исследование отразит реальную зависимость.

Еще одним важным фактором является соотношение истинных и ложных гипотез в конкретной научной области. Если в данной области большинство исследуемых гипотез ложны, вероятность получения ложноположительного результата возрастает. Кроме того, гибкость в дизайне исследования, выборе методики анализа и интерпретации данных также способствует получению предвзятых результатов. Изменение методик на ходу или манипуляции с анализом данных могут приводить к тому, что отрицательные результаты превращаются в положительные. Это особенно актуально в условиях конкуренции, когда публикации с "интересными" результатами получают больше внимания.

Финансовые и другие предвзятости также оказывают значительное влияние на научные исследования. Автор подчеркивает, что чем больше финансовых или иных заинтересованных сторон в научной области, тем выше вероятность того, что результаты исследований будут искажены. Этот эффект усиливается в областях с высокой конкуренцией, где ученые стремятся публиковать наиболее "сенсационные" результаты, даже если их достоверность сомнительна.

Иоаннидис вводит понятие bias, определяя его как совокупность факторов, приводящих к появлению научных результатов там, где их быть не должно. Это может включать не только методологические ошибки, но и сознательную или подсознательную предвзятость исследователей. В таких условиях положительное прогностическое значение (PPV), то есть вероятность того, что опубликованный результат действительно отражает истину, оказывается низким. Автор подчеркивает, что во многих научных областях PPV настолько мало, что заявленные эффекты могут просто отражать уровень предвзятости, а не реальную связь между переменными.

Конкретные примеры
Примеры ложных или сомнительных исследований можно найти во многих научных областях. Например, в исследованиях молекулярных предикторов размер выборки часто оказывается слишком малым, что делает их результаты ненадежными. В кардиологии, напротив, проводятся крупные рандомизированные контролируемые исследования, включающие тысячи пациентов, что увеличивает вероятность истинности их выводов. Исследования связи генетических факторов с мультигенными заболеваниями, такими как диабет или шизофрения, часто показывают относительный риск 1,1–1,5, что значительно ниже, чем в исследованиях, посвященных влиянию курения на рак (относительный риск 3–20). Это говорит о том, что небольшие эффекты сложнее подтвердить, а вероятность случайных находок выше.

Еще одним важным аспектом является количество проверенных связей. В подтверждающих исследованиях, таких как метаанализы или крупные клинические испытания фазы III, вероятность истинности результатов выше. В экспериментах, направленных на генерацию гипотез, напротив, часто проверяется множество возможных взаимосвязей, что увеличивает вероятность ложноположительных результатов. Например, если ученые тестируют сотни различных гипотез без строгого отбора, большинство их находок будут случайными.

Гибкость в дизайне исследований также играет ключевую роль. Например, если в клиническом испытании можно менять критерии включения и исключения пациентов или анализировать данные разными способами, то вероятность получения "положительного" результата возрастает, даже если эффект отсутствует. Это особенно заметно в области исследований новых лекарственных препаратов, где компании могут выбирать методики анализа, которые показывают их продукт в наилучшем свете.

Финансовые интересы оказывают мощное влияние на результаты научных исследований. Например, фармацевтические компании заинтересованы в том, чтобы их препараты демонстрировали положительные результаты, что может приводить к предвзятости в выборе данных или методов анализа. Аналогичная ситуация наблюдается и в пищевой промышленности: исследования, финансируемые производителями сахара, часто приходят к выводу, что жиры вреднее сахара, тогда как независимые исследования показывают обратное.

В "горячих" научных областях с большим числом исследовательских групп конкуренция за публикации также ведет к снижению надежности результатов. Например, в области геномных исследований шизофрении десятки групп работают над выявлением генов, связанных с заболеванием. Даже если отдельное исследование демонстрирует статистически значимую ассоциацию, вероятность ее истинности остается низкой. Если десять групп независимо проведут такие же эксперименты, вероятность того, что хотя бы одна из них найдет "значимый" результат, высока просто из-за случайности.

Что делать?
Для решения этой проблемы Иоаннидис предлагает несколько подходов. Важно увеличивать мощность исследований за счет проведения крупных выборок или мета-анализов с низким уровнем предвзятости. Регистрация исследований до их проведения позволит снизить вероятность избирательной публикации только "интересных" результатов. Также необходимо более осмысленно подходить к оценке гипотез перед началом исследования и повышать стандарты научных работ.

Основной вывод статьи заключается в том, что современная научная практика требует пересмотра. Одного лишь достижения статистической значимости недостаточно для подтверждения гипотезы. Необходимо учитывать вероятность истинности результатов и критически относиться к опубликованным данным. Иоаннидис призывает научное сообщество к более строгим стандартам исследований и отказу от слепой погони за сенсациями, чтобы наука могла выполнять свою основную функцию — поиск объективной истины.

Добрые и мудрые, нежные и прекрасные, весёлые и надёжные — дорогие наши девушки!

Поздравляю вас с Международным женским днём! ✨💐
Вы — настоящее украшение этого мира!

Пусть крепкое здоровье, искренние улыбки и весеннее настроение сопровождают вас каждый день! 🌸🌼💖

🚀 @SBERLOGABIO webinar on bionformatics and data science:
👨‍🔬 L. Peshkin (Harvard Medical School) "Principal Compounds: A scalable Pharmaco-biology + Machine Learning approach to Reverse Engineering of Molecular Circuits underlying Macro-Phenotypes"
⌚️ 19 Марта Среда, 19.00 по Москве (17.00 CET)

Add to Google Calendar

Доклад будет посвящен некоторой задаче на стыке фармакологии, машинного обучения, теории информации и кодирования , решение которой будет иметь практические применения для тестирования и понимания эффекта компаундов.

Следующие публикации рекомендуются к прочтению:
https://pubmed.ncbi.nlm.nih.gov/24707051/
https://www.biorxiv.org/content/10.1101/2020.09.26.312348v1


Zoom link will be in @sberlogabig just before start. Video records: https://www.youtube.com/c/SciBerloga - subscribe !

Cancer 3D — это открытая научная инициатива по изучению и моделированию процессов опухолевой инвазии, миграции и метастазирования. Проект основан админами и редакторами Медача, совместно работавшими над недавней статьей в Cancers. По сути – это масштабное продолжение той статьи и её переосмысление.

Наша миссия заключается в разработке цифровых двойников опухолей и анализе детальных микротомографических и гистологических изображений. На основе этих данных в рамках данного проекта будет выполнено моделирование процессов инвазии, метастазирования и коллективной миграции опухолевых клеток.

Проект не является коммерческим и использует открытые данные, предоставляемые его участниками.

Все участники проекта, внесшие достаточный вклад в разработку, анализ или написание статей, становятся равноправными соавторами научных публикаций и патентов.

White paper проекта

Подать заявку