Импакт-фактор журнала и экспертные оценки: к продолжению дискуссии
Несмотря на инициативы по ограничению использования импакт-фактора в оценке исследований (например, DORA), этот показатель наравне с другими наукометрическими индикаторами по-прежнему используется многими учеными и специалистами, влияющими на формирование научной политики.
Британские коллеги сравнили средние показатели цитируемости журналов с экспертными оценками опубликованных в них статей во всех областях науки на базе 96 031 проведенного исследования. Все статьи, опубликованные в 2014–2018 годах, проходили оценку в рамках программы UK Research Excellence Framework (REF) 2021. REF — это процесс экспертной оценки, проводимой по 34 укрупненным предметным группам (UOA). Экспертные группы состоят из старших научных работников, международных членов и «пользователей исследований», которые оценивают значимость результатов исследований за пределами академических кругов.
В рамках проведенного исследования ученые выяснили:
• хотя наличие положительной корреляции между экспертными оценками статей и импакт-факторами журналов сложно отрицать, во многих областях она очень слабая;
• самая высокая корреляция для 94 узких областей Scopus с не менее чем 750 статьями составила всего 0.54 для инфекционных болезней, при этом была зафиксирована одна отрицательная корреляция — для смешанной категории Computer Science (all);
• средний показатель цитируемости журнала, индексируемого в Scopus, зачастую вообще никак не связан с экспертной оценкой качества статьи;
• показатели корреляции по областям, как правило, очень низкие для группы D (в основном к ней относятся гуманитарные науки и искусство), за исключением истории. Наиболее высокие показатели фиксируются для группы A (в основном это исследования в области здравоохранения и наук о жизни). В группах B и C наблюдаются значительные различия;
• экспертные рейтинги журналов положительно коррелируют с импакт-фактором журналов для всех 27 широких областей Scopus;
• относительно сильные корреляции между престижем журнала и влиянием цитирований фиксируются в областях психологии и бизнеса;
• экспертная оценка ценности журнала, как правило, положительно коррелирует с его влиянием на цитируемость, включая более сильные корреляции для областей, связанных со здравоохранением, и более слабые корреляции для социальных наук.
Наконец, авторы отмечают, что статьи более высокого качества, как правило, публикуются в журналах с более высоким импакт-фактором во всех 34 предметных группах (UOA), во всех 27 широких областях и почти во всех 94 узких областях науки, за единственным исключением, не являющимся академической областью. Но импакт-фактор журнала никогда не является точным прогнозным показателем качества отдельных статей. Поэтому, следуя духу DORA, лучше избегать использования импакт-факторов журналов в качестве косвенного показателя качества статей, в том числе для областей, в которых эта связь положительная и статистически устойчивая.
#импактфактор #журналы #экспертнаяоценка
Несмотря на инициативы по ограничению использования импакт-фактора в оценке исследований (например, DORA), этот показатель наравне с другими наукометрическими индикаторами по-прежнему используется многими учеными и специалистами, влияющими на формирование научной политики.
Британские коллеги сравнили средние показатели цитируемости журналов с экспертными оценками опубликованных в них статей во всех областях науки на базе 96 031 проведенного исследования. Все статьи, опубликованные в 2014–2018 годах, проходили оценку в рамках программы UK Research Excellence Framework (REF) 2021. REF — это процесс экспертной оценки, проводимой по 34 укрупненным предметным группам (UOA). Экспертные группы состоят из старших научных работников, международных членов и «пользователей исследований», которые оценивают значимость результатов исследований за пределами академических кругов.
В рамках проведенного исследования ученые выяснили:
• хотя наличие положительной корреляции между экспертными оценками статей и импакт-факторами журналов сложно отрицать, во многих областях она очень слабая;
• самая высокая корреляция для 94 узких областей Scopus с не менее чем 750 статьями составила всего 0.54 для инфекционных болезней, при этом была зафиксирована одна отрицательная корреляция — для смешанной категории Computer Science (all);
• средний показатель цитируемости журнала, индексируемого в Scopus, зачастую вообще никак не связан с экспертной оценкой качества статьи;
• показатели корреляции по областям, как правило, очень низкие для группы D (в основном к ней относятся гуманитарные науки и искусство), за исключением истории. Наиболее высокие показатели фиксируются для группы A (в основном это исследования в области здравоохранения и наук о жизни). В группах B и C наблюдаются значительные различия;
• экспертные рейтинги журналов положительно коррелируют с импакт-фактором журналов для всех 27 широких областей Scopus;
• относительно сильные корреляции между престижем журнала и влиянием цитирований фиксируются в областях психологии и бизнеса;
• экспертная оценка ценности журнала, как правило, положительно коррелирует с его влиянием на цитируемость, включая более сильные корреляции для областей, связанных со здравоохранением, и более слабые корреляции для социальных наук.
Наконец, авторы отмечают, что статьи более высокого качества, как правило, публикуются в журналах с более высоким импакт-фактором во всех 34 предметных группах (UOA), во всех 27 широких областях и почти во всех 94 узких областях науки, за единственным исключением, не являющимся академической областью. Но импакт-фактор журнала никогда не является точным прогнозным показателем качества отдельных статей. Поэтому, следуя духу DORA, лучше избегать использования импакт-факторов журналов в качестве косвенного показателя качества статей, в том числе для областей, в которых эта связь положительная и статистически устойчивая.
#импактфактор #журналы #экспертнаяоценка
Цитирования и качество исследований: есть ли взаимосвязь?
Мы уже писали про анализ использования импакт-фактора в оценке исследований от британских коллег (там же мы кратко рассказали о программе UK Research Excellence Framework). Авторы того исследования обнаружили очень слабую положительную корреляцию между экспертными оценками статей и импакт-факторами журналов. Статья, о которой мы расскажем сегодня, является ответвлением исследования, проведенного в 2021 году в рамках подготовки к REF2028, и посвящена анализу взаимосвязи цитирований и качества исследований.
Ценность цитирований для оценки качества исследований нередко становится предметом научных споров. Безусловно, не всегда ясно, что именно подразумевают под качеством исследований, но обычно его рассматривают с точки зрения методологической строгости, новизны/оригинальности и влияния на науку или общество. Авторы называют свою статью первой крупномасштабной общенаучной академической оценкой взаимосвязи качества исследований и цитирований, сопоставляя данные для 87739 журнальных статей по 34 укрупненным предметным группам (UoA). Эти два показателя положительно коррелируют во всех академических областях, отражая в целом линейные отношения во всех областях.
Основные выводы, к которым авторы приходят:
• Статьи с большим количеством цитирований, как правило, более высокого качества во всех областях науки. Положительные корреляции наблюдаются даже в большинстве областей искусства и гуманитарных наук (включая Music, Drama, Dance, and Performing Arts; Studies in Creative Arts and Writing; Arts and Humanities), хотя сила этих связей значительно варьируется (см. скриншот).
• Высокое цитирование не гарантирует однозначное высокое качество исследований в какой-либо области.
• Положительная связь между исследованиями качества и цитируемости относительно универсальны.
К ограничениям данного исследования можно отнести тот факт, что все отобранные журнальные статьи публиковались сотрудниками британских университетов, и взаимосвязь между цитированием и качеством может быть иной в других странах. К тому же нормализация поля ограничена схемами Scopus и Dimensions, а сами статьи выбираются авторами самостоятельно и в большинстве случаев представляют лучшие по их мнению работы.
Таким образом, несмотря на то, что цитирование, нормализованное по соответствующим областям, положительно коррелирует с качеством исследований во всех областях, оно никогда не отражает значимость исследования в полной мере, даже при переходе к высокоцитируемым публикациям.
#обзор #цитирование #журналы #экспертнаяоценка
Мы уже писали про анализ использования импакт-фактора в оценке исследований от британских коллег (там же мы кратко рассказали о программе UK Research Excellence Framework). Авторы того исследования обнаружили очень слабую положительную корреляцию между экспертными оценками статей и импакт-факторами журналов. Статья, о которой мы расскажем сегодня, является ответвлением исследования, проведенного в 2021 году в рамках подготовки к REF2028, и посвящена анализу взаимосвязи цитирований и качества исследований.
Ценность цитирований для оценки качества исследований нередко становится предметом научных споров. Безусловно, не всегда ясно, что именно подразумевают под качеством исследований, но обычно его рассматривают с точки зрения методологической строгости, новизны/оригинальности и влияния на науку или общество. Авторы называют свою статью первой крупномасштабной общенаучной академической оценкой взаимосвязи качества исследований и цитирований, сопоставляя данные для 87739 журнальных статей по 34 укрупненным предметным группам (UoA). Эти два показателя положительно коррелируют во всех академических областях, отражая в целом линейные отношения во всех областях.
Основные выводы, к которым авторы приходят:
• Статьи с большим количеством цитирований, как правило, более высокого качества во всех областях науки. Положительные корреляции наблюдаются даже в большинстве областей искусства и гуманитарных наук (включая Music, Drama, Dance, and Performing Arts; Studies in Creative Arts and Writing; Arts and Humanities), хотя сила этих связей значительно варьируется (см. скриншот).
• Высокое цитирование не гарантирует однозначное высокое качество исследований в какой-либо области.
• Положительная связь между исследованиями качества и цитируемости относительно универсальны.
К ограничениям данного исследования можно отнести тот факт, что все отобранные журнальные статьи публиковались сотрудниками британских университетов, и взаимосвязь между цитированием и качеством может быть иной в других странах. К тому же нормализация поля ограничена схемами Scopus и Dimensions, а сами статьи выбираются авторами самостоятельно и в большинстве случаев представляют лучшие по их мнению работы.
Таким образом, несмотря на то, что цитирование, нормализованное по соответствующим областям, положительно коррелирует с качеством исследований во всех областях, оно никогда не отражает значимость исследования в полной мере, даже при переходе к высокоцитируемым публикациям.
#обзор #цитирование #журналы #экспертнаяоценка
