Проблемы воспроизводимости наукометрических исследований
Принцип воспроизводимости — один из основных критериев получения научного знания. Если результаты исследований невозможно воспроизвести, то зачастую это значит, что либо исследование проводится некорректно с методологической точки зрения, либо авторы изначально преследуют недобросовестные цели. В XXI веке проблема воспроизводимости обсуждается широко, во многом этой дискуссии поспособствовал выход эссе «Why Most Published Research Findings Are False» Джона Иоаннидиса в 2005 году. По результатам опроса, опубликованным в Nature в 2016 году, более 70% ученых безуспешно пробовали воспроизвести чужие эксперименты, а более 50% не смогли воспроизвести свои собственные.
Кризис воспроизводимости, прежде всего, касается медицины, биологии, психологии, а также ряда социальных наук, однако в действительности является междисциплинарным. В 2017 году на семинаре ISSI в Ухане была инициирована дискуссия о воспроизводимости результатов исследований в области наукометрии, а в 2018 на конференции в Лейдене авторы представили исследование, в котором попытались подытожить более ранние выводы, а также очертить основные проблемы, с которыми сталкивается наукометрия в связи с затронутой проблемой.
В первой части статьи говорится о непосредственной воспроизводимости (direct reproducibility), под которой понимается возможность воспроизведения результата, идентичного исходному исследованию, при условии использования тех же данных, инструментов и методов. Среди вероятных причин невоспроизводимости, помимо некорректной методологии и намеренного злоупотребления, авторы называют случайные ошибки, завышение значимости результатов и предвзятость при публикации.
Вторая часть статьи посвящена концептуальной воспроизводимости (conceptual reproducibility). Это проверка третьей стороной надежности исследования путем воспроизведения исходных утверждений с использованием альтернативных данных, методов и процедур. Основное внимание уделяется интерпретации данных и обоснованности доказательств, полученных на основе этих данных.
В своем исследовании авторы сформулировали «таксономию рисков»: набор характеристик статьи, которые следует проверить, чтобы иметь возможность предположить концептуальную воспроизводимость статьи. Все они делятся на три категории:
1. Оперативные предположения и решения:
• выбор данных,
• моделирование данных,
• аналитический подход;
2. Контроль качества:
• полнота и консистентность первичных данных,
• выбор параметров, обеспечивающий стабильность результатов;
3. Описание результатов:
• описание ограничений,
• утверждения ссылаются на эмпирические результаты,
• обсуждение точности, ошибок измерений и влияния случайности.
В работе использовались несколько типов наукометрических статей в зависимости от предмета исследования: 1. Теоретические, 2. Методологические, 3. Эмпирические (глобальные), 4. Эмпирические (частные случаи), 5. Эмпирические (источники наукометрических данных).
Перечисленные типы статей могут быть в большей или меньшей степени подвержены различным рискам нарушения воспроизводимости. Так, методологические работы достаточно уязвимы перед шумом в первичных данных, а эмпирические работы вызывают вопросы с точки зрения полноты и непротиворечивости данных: у статей в выборке либо полностью отсутствовало обсуждение данных и выбора параметров, либо, если оно присутствовало, не обсуждалось влияние возможных упущений на аргументацию статьи.
В работе, представленной на конференции, достаточно хорошо описывается нынешнее положение дел в плане оценки публикаций с точки зрения воспроизводимости данных, однако вопрос об алгоритмизации оценки ожидаемой воспроизводимости в наукометрии остается открытым — вероятно, так же, как и в других областях.
#воспроизводимость #наукометрия
Принцип воспроизводимости — один из основных критериев получения научного знания. Если результаты исследований невозможно воспроизвести, то зачастую это значит, что либо исследование проводится некорректно с методологической точки зрения, либо авторы изначально преследуют недобросовестные цели. В XXI веке проблема воспроизводимости обсуждается широко, во многом этой дискуссии поспособствовал выход эссе «Why Most Published Research Findings Are False» Джона Иоаннидиса в 2005 году. По результатам опроса, опубликованным в Nature в 2016 году, более 70% ученых безуспешно пробовали воспроизвести чужие эксперименты, а более 50% не смогли воспроизвести свои собственные.
Кризис воспроизводимости, прежде всего, касается медицины, биологии, психологии, а также ряда социальных наук, однако в действительности является междисциплинарным. В 2017 году на семинаре ISSI в Ухане была инициирована дискуссия о воспроизводимости результатов исследований в области наукометрии, а в 2018 на конференции в Лейдене авторы представили исследование, в котором попытались подытожить более ранние выводы, а также очертить основные проблемы, с которыми сталкивается наукометрия в связи с затронутой проблемой.
В первой части статьи говорится о непосредственной воспроизводимости (direct reproducibility), под которой понимается возможность воспроизведения результата, идентичного исходному исследованию, при условии использования тех же данных, инструментов и методов. Среди вероятных причин невоспроизводимости, помимо некорректной методологии и намеренного злоупотребления, авторы называют случайные ошибки, завышение значимости результатов и предвзятость при публикации.
Вторая часть статьи посвящена концептуальной воспроизводимости (conceptual reproducibility). Это проверка третьей стороной надежности исследования путем воспроизведения исходных утверждений с использованием альтернативных данных, методов и процедур. Основное внимание уделяется интерпретации данных и обоснованности доказательств, полученных на основе этих данных.
В своем исследовании авторы сформулировали «таксономию рисков»: набор характеристик статьи, которые следует проверить, чтобы иметь возможность предположить концептуальную воспроизводимость статьи. Все они делятся на три категории:
1. Оперативные предположения и решения:
• выбор данных,
• моделирование данных,
• аналитический подход;
2. Контроль качества:
• полнота и консистентность первичных данных,
• выбор параметров, обеспечивающий стабильность результатов;
3. Описание результатов:
• описание ограничений,
• утверждения ссылаются на эмпирические результаты,
• обсуждение точности, ошибок измерений и влияния случайности.
В работе использовались несколько типов наукометрических статей в зависимости от предмета исследования: 1. Теоретические, 2. Методологические, 3. Эмпирические (глобальные), 4. Эмпирические (частные случаи), 5. Эмпирические (источники наукометрических данных).
Перечисленные типы статей могут быть в большей или меньшей степени подвержены различным рискам нарушения воспроизводимости. Так, методологические работы достаточно уязвимы перед шумом в первичных данных, а эмпирические работы вызывают вопросы с точки зрения полноты и непротиворечивости данных: у статей в выборке либо полностью отсутствовало обсуждение данных и выбора параметров, либо, если оно присутствовало, не обсуждалось влияние возможных упущений на аргументацию статьи.
В работе, представленной на конференции, достаточно хорошо описывается нынешнее положение дел в плане оценки публикаций с точки зрения воспроизводимости данных, однако вопрос об алгоритмизации оценки ожидаемой воспроизводимости в наукометрии остается открытым — вероятно, так же, как и в других областях.
#воспроизводимость #наукометрия
PubMed Central (PMC)
Why Most Published Research Findings Are False
There is increasing concern that most current published research findings are false. The probability that a research claim is true may depend on study power and bias, the number of other studies on the same question, and, importantly, the ratio of true ...
Дайджест: февраль 2024
Представляем второй дайджест новостей в сфере научной политики и наукометрии от команды нашего канала:
1. Пожалуй, главной новостью для отечественной науки за прошедший месяц стали события, связанные с празднованием юбилея РАН, о котором мы упоминали в одном из наших прошлых постов. В рамках торжественных мероприятий было объявлено, что ВАК, РЦНИ и издательство “Наука” перейдут в подчинение Российской академии наук. На время переходного периода не беремся давать оценок проводимой реформе, но в том, что она затронет действующие принципы реализации научной политики можно практически не сомневаться. С интересом будем наблюдать за этими изменениями!
2. В Science вышла статья о новых способах накрутки цитирований. Авторы, упомянутые в статье, проанализировали методы, которые используют недобросовестные исследователи для повышения h-индекса. В этих целях от имени вымышленного ученого ими были опубликованы написанные ChatGPT 20 статей, с которыми они проделали ряд агрессивных манипуляций (покупка цитирований, чрезмерное самоцитирование и т.д.), что позволило вымышленному ученому подняться на 36 место в рейтинге самых цитируемых исследователей в своей области. Заметку прокомментировал академик А. Хохлов в своём телеграм-канале.
3. В Scholary Kitchen вышла статья независимого исследователя, призывающая критически относиться к мировому рейтингу 2% самых влиятельных ученых мира. Акира Абу проанализировал наиболее распространённые ошибки рейтинга Стэнфордского университета на основе данных Scopus. Согласно его наблюдениям в список ошибочно входит целый ряд авторов: ученые якобы ведущие публикационную активность с XIX века по сегодняшний день; авторы с сомнительной публикационной активностью (более 200 публикаций в год, включая материалы, которые не имеют отношения к науке (новости, редакторские заметки)) и т. д. Исследователь утверждает, что факт составления таких рейтингов является контрпродуктивным и потенциально может стимулировать ученых прибегать к манипуляциям ради получения более высокого места в рейтинге и соответствующего статуса.
4. Nature Human Behavior в сотрудничестве с Институтом репликации будет поощрять воспроизведение результатов статей, опубликованных в журнале с 2023 года. Повторные исследования будут проводиться как на оригинальных, так и на новых наборах данных. Целью инициативы является повышение доверия к опубликованным статьям, а также улучшение качества и точности результатов исследований.
5. В Journal of Infometrics вышла статья об эффективности открытых данных в контексте эпидемий. Ученые проанализировали скорость распространения научной информации с момента вспышки Эболы в 1976 году до пандемии COVID-19. Так, например, средний временной разрыв между сбором данных и их публичным распространением за обозначенный период сократился на 99,56 %: с 626,94 дней для Эболы до 2,76 дней для COVID-19. Ученые подчеркивают, что эпидемии служат лакмусовой бумажкой эффективности открытых данных в реагировании на серьезные кризисы в области здравоохранения.
6. В Quantitative Science Studies вышла статья об OpenCitations Meta — новой базе метаданных научных публикаций, включающий данные из Crossref, DataCite (представившей недавно собственный корпус цитирования, на что обращают внимание коллеги) и PubMed. Он использует технологии Semantic Web и присваивает новые глобальные постоянные идентификаторы (PID), а автоматизированная обработка в соответствии с моделью данных OpenCitations обеспечивает прозрачность и целостность данных, что не имеет, по заявлению авторов, аналогов в других библиографических базах данных. Доступен через различные интерфейсы, включая SPARQL и API REST. Появление очередной инициативы вновь демонстрирует интересует к реализации принципов открытой науки.
#дайджест #открытыеданные #воспроизводимость #hиндекс
Представляем второй дайджест новостей в сфере научной политики и наукометрии от команды нашего канала:
1. Пожалуй, главной новостью для отечественной науки за прошедший месяц стали события, связанные с празднованием юбилея РАН, о котором мы упоминали в одном из наших прошлых постов. В рамках торжественных мероприятий было объявлено, что ВАК, РЦНИ и издательство “Наука” перейдут в подчинение Российской академии наук. На время переходного периода не беремся давать оценок проводимой реформе, но в том, что она затронет действующие принципы реализации научной политики можно практически не сомневаться. С интересом будем наблюдать за этими изменениями!
2. В Science вышла статья о новых способах накрутки цитирований. Авторы, упомянутые в статье, проанализировали методы, которые используют недобросовестные исследователи для повышения h-индекса. В этих целях от имени вымышленного ученого ими были опубликованы написанные ChatGPT 20 статей, с которыми они проделали ряд агрессивных манипуляций (покупка цитирований, чрезмерное самоцитирование и т.д.), что позволило вымышленному ученому подняться на 36 место в рейтинге самых цитируемых исследователей в своей области. Заметку прокомментировал академик А. Хохлов в своём телеграм-канале.
3. В Scholary Kitchen вышла статья независимого исследователя, призывающая критически относиться к мировому рейтингу 2% самых влиятельных ученых мира. Акира Абу проанализировал наиболее распространённые ошибки рейтинга Стэнфордского университета на основе данных Scopus. Согласно его наблюдениям в список ошибочно входит целый ряд авторов: ученые якобы ведущие публикационную активность с XIX века по сегодняшний день; авторы с сомнительной публикационной активностью (более 200 публикаций в год, включая материалы, которые не имеют отношения к науке (новости, редакторские заметки)) и т. д. Исследователь утверждает, что факт составления таких рейтингов является контрпродуктивным и потенциально может стимулировать ученых прибегать к манипуляциям ради получения более высокого места в рейтинге и соответствующего статуса.
4. Nature Human Behavior в сотрудничестве с Институтом репликации будет поощрять воспроизведение результатов статей, опубликованных в журнале с 2023 года. Повторные исследования будут проводиться как на оригинальных, так и на новых наборах данных. Целью инициативы является повышение доверия к опубликованным статьям, а также улучшение качества и точности результатов исследований.
5. В Journal of Infometrics вышла статья об эффективности открытых данных в контексте эпидемий. Ученые проанализировали скорость распространения научной информации с момента вспышки Эболы в 1976 году до пандемии COVID-19. Так, например, средний временной разрыв между сбором данных и их публичным распространением за обозначенный период сократился на 99,56 %: с 626,94 дней для Эболы до 2,76 дней для COVID-19. Ученые подчеркивают, что эпидемии служат лакмусовой бумажкой эффективности открытых данных в реагировании на серьезные кризисы в области здравоохранения.
6. В Quantitative Science Studies вышла статья об OpenCitations Meta — новой базе метаданных научных публикаций, включающий данные из Crossref, DataCite (представившей недавно собственный корпус цитирования, на что обращают внимание коллеги) и PubMed. Он использует технологии Semantic Web и присваивает новые глобальные постоянные идентификаторы (PID), а автоматизированная обработка в соответствии с моделью данных OpenCitations обеспечивает прозрачность и целостность данных, что не имеет, по заявлению авторов, аналогов в других библиографических базах данных. Доступен через различные интерфейсы, включая SPARQL и API REST. Появление очередной инициативы вновь демонстрирует интересует к реализации принципов открытой науки.
#дайджест #открытыеданные #воспроизводимость #hиндекс