Резкая остановка, плавное падение или незначимый фактор: о цитируемости публикаций в журналах из Scopus Discountinued Sources List
В самом начале 2024 года на RetractionWatch появилась заметка о том, что Scopus планирует провести переоценку журналов издательства MDPI, входящих в базу, в связи с отдельными вопросами к политике издательства. Несмотря на появившийся спустя несколько дней комментарий к оценке одного из флагманов MDPI — журнала “Sustainability” (к которому у Elsevier вопросов не осталось) — не лишним будет напомнить о критериях, влияющих на повторную оценку журналов, входящих в Scopus, учитывая популярность издательства MDPI в том числе у российских коллег:
1. Журнальные показатели вызывают вопросы, так как они не соответствуют ни одному из трех показателей и критериев журналов в той же предметной области (показатели цитирования, самоцитирования и CiteScore).
2. Существует обеспокоенность по поводу стандартов публикации журнала или издателя (в том числе в результате официально полученных жалоб).
3. Журнал демонстрирует необычное поведение после включения в Scopus (значимо увеличивается число публикаций, становится необычной география соавторов и т.д.).
4. По журналу есть замечания от международного консультативного совета по отбору контента (Content Selection and Advisory Board — CSAB).
Наличия одного из перечисленных критериев достаточно для проведения процедуры повторной оценки журнала или издания. Окончательное решение об исключении журнала/издательства из базы Scopus принимается CSAB — если комиссия определит, что журнал больше не соответствует стандартам Scopus, новые статьи из такого журнала прекратят индексацию. Издания, индексация которых прекращена, могут быть повторно рассмотрены на предмет включения в базу только через 5 лет после принятия решения об их исключении.
Вообще же вхождение журнала в официальные листы крупных баз данных рецензируемых изданий и национальные списки повышает привлекательность издания для авторов: как за счет повышения видимости опубликованной работы, так и нередко из-за формальной наукометрической составляющей оценки научной продуктивности. Но означает ли это, что исключение журнала из базы может значимо влиять на видимость опубликованных статей?
Ответить на этот вопрос мы попробовали с помощью открытых данных о цитируемости изданий, попавших в Scopus Discountinued Sources List в 2020 году. Отобрав среди них те журналы, по которым имелись сведения в OpenAlex о цитируемости за несколько лет, мы рассчитали 2 показателя: (1) среднюю цитируемость статей в первые 2 года после выхода; (2) число процитированных в первые 2 года после выхода статей. Визуализация представлена на графике ниже и по ссылке.
Несмотря на объективную сложность обобщения (журналы представлены в разных дисциплинах, а также отличаются с точки зрения покрытия и общего числа публикаций) можно отметить, что на публикации 2020 года нередко приходились локальные экстремумы по числу цитирований, которые в следующие периоды затухали. При этом формальное падение “до нуля” — не единственный, хотя и наиболее распространенный сценарий. По всей видимости некоторые ученые не только продолжают читать, но и цитировать статьи журналов, вызывающих вопросы с точки зрения редакционной политики (здесь оговоримся, что мы не учитывали показатели самоцитирований).
Можно ожидать, что в случае крупных издательств тенденции “затухания” цитирования будут еще более сглаженными, чем на нашем графике. Так что угроза исключения источников (в особенности на фоне развития открытых баз без учета критериев селективности (обратная сторона медали OpenAccess), в том числе SciLit от MDPI) в будущем могут не так значимо влиять на дальнейшее воспроизводство научного знания из источников, вызывающих вопросы у профессионального сообщества.
#discountinued #Scopus #RetractionWatch #OpenAlex #цитирования #визуализация
В самом начале 2024 года на RetractionWatch появилась заметка о том, что Scopus планирует провести переоценку журналов издательства MDPI, входящих в базу, в связи с отдельными вопросами к политике издательства. Несмотря на появившийся спустя несколько дней комментарий к оценке одного из флагманов MDPI — журнала “Sustainability” (к которому у Elsevier вопросов не осталось) — не лишним будет напомнить о критериях, влияющих на повторную оценку журналов, входящих в Scopus, учитывая популярность издательства MDPI в том числе у российских коллег:
1. Журнальные показатели вызывают вопросы, так как они не соответствуют ни одному из трех показателей и критериев журналов в той же предметной области (показатели цитирования, самоцитирования и CiteScore).
2. Существует обеспокоенность по поводу стандартов публикации журнала или издателя (в том числе в результате официально полученных жалоб).
3. Журнал демонстрирует необычное поведение после включения в Scopus (значимо увеличивается число публикаций, становится необычной география соавторов и т.д.).
4. По журналу есть замечания от международного консультативного совета по отбору контента (Content Selection and Advisory Board — CSAB).
Наличия одного из перечисленных критериев достаточно для проведения процедуры повторной оценки журнала или издания. Окончательное решение об исключении журнала/издательства из базы Scopus принимается CSAB — если комиссия определит, что журнал больше не соответствует стандартам Scopus, новые статьи из такого журнала прекратят индексацию. Издания, индексация которых прекращена, могут быть повторно рассмотрены на предмет включения в базу только через 5 лет после принятия решения об их исключении.
Вообще же вхождение журнала в официальные листы крупных баз данных рецензируемых изданий и национальные списки повышает привлекательность издания для авторов: как за счет повышения видимости опубликованной работы, так и нередко из-за формальной наукометрической составляющей оценки научной продуктивности. Но означает ли это, что исключение журнала из базы может значимо влиять на видимость опубликованных статей?
Ответить на этот вопрос мы попробовали с помощью открытых данных о цитируемости изданий, попавших в Scopus Discountinued Sources List в 2020 году. Отобрав среди них те журналы, по которым имелись сведения в OpenAlex о цитируемости за несколько лет, мы рассчитали 2 показателя: (1) среднюю цитируемость статей в первые 2 года после выхода; (2) число процитированных в первые 2 года после выхода статей. Визуализация представлена на графике ниже и по ссылке.
Несмотря на объективную сложность обобщения (журналы представлены в разных дисциплинах, а также отличаются с точки зрения покрытия и общего числа публикаций) можно отметить, что на публикации 2020 года нередко приходились локальные экстремумы по числу цитирований, которые в следующие периоды затухали. При этом формальное падение “до нуля” — не единственный, хотя и наиболее распространенный сценарий. По всей видимости некоторые ученые не только продолжают читать, но и цитировать статьи журналов, вызывающих вопросы с точки зрения редакционной политики (здесь оговоримся, что мы не учитывали показатели самоцитирований).
Можно ожидать, что в случае крупных издательств тенденции “затухания” цитирования будут еще более сглаженными, чем на нашем графике. Так что угроза исключения источников (в особенности на фоне развития открытых баз без учета критериев селективности (обратная сторона медали OpenAccess), в том числе SciLit от MDPI) в будущем могут не так значимо влиять на дальнейшее воспроизводство научного знания из источников, вызывающих вопросы у профессионального сообщества.
#discountinued #Scopus #RetractionWatch #OpenAlex #цитирования #визуализация
Как корабль назовешь: о географических наименованиях журналов в наукометрическом разрезе
Так как наука по своей природе транснациональна, а ученые при выборе журнала зачастую стремятся продемонстрировать свою работу наиболее широкому кругу читателей, можно ожидать, что многие журналы по умолчанию будут стремиться к позиционированию в качестве международных, если их тематические области позволяют выйти за рамки национальных границ.
Действительно, как показывает недавнее исследование, большинство ученых стремится опубликоваться в журналах, которые не имеют строгой привязки к географической локации, государству или институту, так как подобная аффилиация сильно влияет на представление о тематическом и географическом охвате журнала.
Как отмечают авторы, на данный момент из 23 702 действующих журналов, индексируемых в Scopus и публикующих статьи на английском языке, 3398 (14,7%) названий включают географическое название, причем 60,4% из них — названия стран, затем идут названия континентов (20,9%), городов или университетов (10,2%) и регионов (8,5%). Статистика показывает, что 40 % журналов Scopus, у которых менялось название, отказались от географической привязки. Другое исследование одной из причин перехода к интернациональному имиджу в ходе эволюции журналов называет их включение в индексируемые базы данных. При этом не секрет, что некоторые журналы, нарочито стремящиеся подчеркнуть свою «международную» направленность, избирают такую модель поведения для привлечения внимания большего числа потенциальных авторов-клиентов.
Мы решили посмотреть, как связаны между собой страны, в которых издаются журналы с географическими наименованиями, и страны авторов, цитирующих публикации из этих журналов. В качестве объекта анализа были выбраны страны «Глобального Юга» (наше базовое предположение исходит из того, что журналы с такими географическими наименованиями в меньшей степени знакомы широкому кругу читателей, нежели флагманы американских и европейских ассоциаций), а затем в OpenAlex отобраны журналы, содержащие в своем заглавии наименования этих стран, и одновременно с этим индексирующиеся в Scopus. Таких журналов оказалось 714, причем немалая часть из них публикуется издательствами Германии, Великобритании, Нидерландов и США.
Для анализа цитируемости был выбран период с 2020 по 2023 год. Всего в выбранных журналах было опубликовано более 250 тысяч статей, которые цитировались более 300 тысяч раз. На приведенных sankey-диаграммах показано, как распределены цитаты, полученные в журналах с географическими наименованиями, по страновой принадлежности цитирующих авторов (слева - число цитирующих авторов публикаций в журналах, сгруппированных по географическому признаку, а справа - распределение по числу авторов с аффилиацией из указанной страны). Отметим, что пороговое значение визуализации — не менее 2000 цитирующих авторов в рассматриваемых парах (для Китая — не менее 20 000). Китай вынесен отдельно, поскольку количество авторов, процитировавших статьи, и число цитирующих авторов из этой страны (в контексте только китайских публикаций) аномально велико по сравнению с другими странами: публикации в журналах, в названии которых упоминается «Китай» или «китайский», за 4 года были процитированы более чем 14 млн авторов.
Больше всего журналы «Глобального Юга» (за исключением Китая) цитируют ученые из Индии: более 170 тысяч цитирующих авторов (учитывался каждый автор, указавший индийскую аффилиацию (по данным OpenAlex), в том числе в статьях, написанных в соавторстве). Второе место по числу цитирующих авторов занимает Китай (143 000 цитирующих авторов), на третьем месте - США (74 000 цитирующих авторов). А наибольшее количество цитирующих авторов (после Китая и Индии), имеют нигерийские журналы: более 234 тысяч авторов со всего мира ссылались на журналы с данным географическим указанием.
Предлагаем вам изучить графики (интерактивные версии приведены по ссылкам выше).
#визуализация #OpenAlex #глобальныйюг
Так как наука по своей природе транснациональна, а ученые при выборе журнала зачастую стремятся продемонстрировать свою работу наиболее широкому кругу читателей, можно ожидать, что многие журналы по умолчанию будут стремиться к позиционированию в качестве международных, если их тематические области позволяют выйти за рамки национальных границ.
Действительно, как показывает недавнее исследование, большинство ученых стремится опубликоваться в журналах, которые не имеют строгой привязки к географической локации, государству или институту, так как подобная аффилиация сильно влияет на представление о тематическом и географическом охвате журнала.
Как отмечают авторы, на данный момент из 23 702 действующих журналов, индексируемых в Scopus и публикующих статьи на английском языке, 3398 (14,7%) названий включают географическое название, причем 60,4% из них — названия стран, затем идут названия континентов (20,9%), городов или университетов (10,2%) и регионов (8,5%). Статистика показывает, что 40 % журналов Scopus, у которых менялось название, отказались от географической привязки. Другое исследование одной из причин перехода к интернациональному имиджу в ходе эволюции журналов называет их включение в индексируемые базы данных. При этом не секрет, что некоторые журналы, нарочито стремящиеся подчеркнуть свою «международную» направленность, избирают такую модель поведения для привлечения внимания большего числа потенциальных авторов-клиентов.
Мы решили посмотреть, как связаны между собой страны, в которых издаются журналы с географическими наименованиями, и страны авторов, цитирующих публикации из этих журналов. В качестве объекта анализа были выбраны страны «Глобального Юга» (наше базовое предположение исходит из того, что журналы с такими географическими наименованиями в меньшей степени знакомы широкому кругу читателей, нежели флагманы американских и европейских ассоциаций), а затем в OpenAlex отобраны журналы, содержащие в своем заглавии наименования этих стран, и одновременно с этим индексирующиеся в Scopus. Таких журналов оказалось 714, причем немалая часть из них публикуется издательствами Германии, Великобритании, Нидерландов и США.
Для анализа цитируемости был выбран период с 2020 по 2023 год. Всего в выбранных журналах было опубликовано более 250 тысяч статей, которые цитировались более 300 тысяч раз. На приведенных sankey-диаграммах показано, как распределены цитаты, полученные в журналах с географическими наименованиями, по страновой принадлежности цитирующих авторов (слева - число цитирующих авторов публикаций в журналах, сгруппированных по географическому признаку, а справа - распределение по числу авторов с аффилиацией из указанной страны). Отметим, что пороговое значение визуализации — не менее 2000 цитирующих авторов в рассматриваемых парах (для Китая — не менее 20 000). Китай вынесен отдельно, поскольку количество авторов, процитировавших статьи, и число цитирующих авторов из этой страны (в контексте только китайских публикаций) аномально велико по сравнению с другими странами: публикации в журналах, в названии которых упоминается «Китай» или «китайский», за 4 года были процитированы более чем 14 млн авторов.
Больше всего журналы «Глобального Юга» (за исключением Китая) цитируют ученые из Индии: более 170 тысяч цитирующих авторов (учитывался каждый автор, указавший индийскую аффилиацию (по данным OpenAlex), в том числе в статьях, написанных в соавторстве). Второе место по числу цитирующих авторов занимает Китай (143 000 цитирующих авторов), на третьем месте - США (74 000 цитирующих авторов). А наибольшее количество цитирующих авторов (после Китая и Индии), имеют нигерийские журналы: более 234 тысяч авторов со всего мира ссылались на журналы с данным географическим указанием.
Предлагаем вам изучить графики (интерактивные версии приведены по ссылкам выше).
#визуализация #OpenAlex #глобальныйюг
Обновления в OpenAlex: тематический рубрикатор
12 февраля OpenAlex добавили в базу данных то, чего давно ждали аналитики и исследователи наукометрии: тематический рубрикатор по статьям. Теперь всем публикациям, индексируемым в OpenAlex, присваивается тема (Topic), автоматически определяемая на основе названия публикации, аннотации, названия журнала и данных о цитирующих статьях (подробное описание метода приведено в документации). По похожему алгоритму (за исключением данных о цитирующих статьях, которые в ряде случаев играют ключевую роль при классификации) определялись концепции (Concepts), которые сохранятся для ранее проиндексированных статей, но не будут обновляться и присваиваться новым публикациям.
Кроме большей надежности, темы отличаются еще и совпадением с рубрикатором Scopus (ASJC), за исключением того, что присваиваются они статьям, а не журналам.
Всего на данный момент выделено 4 домена, которые разделяются на 26 областей, те, в свою очередь, на 252 подобласти, и, наконец, на 4516 узких тем (для сравнения, концепций было порядка 65 тысяч).
Мы сделали иерархическую диаграмму распределения количества статей по темам в настоящий момент. С интерактивной версией можно ознакомиться по ссылке.
#openalex #классификатор #визуализация
12 февраля OpenAlex добавили в базу данных то, чего давно ждали аналитики и исследователи наукометрии: тематический рубрикатор по статьям. Теперь всем публикациям, индексируемым в OpenAlex, присваивается тема (Topic), автоматически определяемая на основе названия публикации, аннотации, названия журнала и данных о цитирующих статьях (подробное описание метода приведено в документации). По похожему алгоритму (за исключением данных о цитирующих статьях, которые в ряде случаев играют ключевую роль при классификации) определялись концепции (Concepts), которые сохранятся для ранее проиндексированных статей, но не будут обновляться и присваиваться новым публикациям.
Кроме большей надежности, темы отличаются еще и совпадением с рубрикатором Scopus (ASJC), за исключением того, что присваиваются они статьям, а не журналам.
Всего на данный момент выделено 4 домена, которые разделяются на 26 областей, те, в свою очередь, на 252 подобласти, и, наконец, на 4516 узких тем (для сравнения, концепций было порядка 65 тысяч).
Мы сделали иерархическую диаграмму распределения количества статей по темам в настоящий момент. С интерактивной версией можно ознакомиться по ссылке.
#openalex #классификатор #визуализация
Спящие красавицы и статьи бустеры: (не-)удачный эксперимент
В одном из прошлых постов мы писали о «спящих красавицах» — статьях, которые долгое время после публикации оставались без внимания, а потом по различным причинам начинали активно цитироваться. Эта тема заинтересовала нас, и мы решили частично повторить опыт подобного исследования.
Предлагаем читателям поделиться своими идеями, как можно было бы улучшить предлагаемый подход, в комментариях.
#цитируемость #аналитика #визуализация
В одном из прошлых постов мы писали о «спящих красавицах» — статьях, которые долгое время после публикации оставались без внимания, а потом по различным причинам начинали активно цитироваться. Эта тема заинтересовала нас, и мы решили частично повторить опыт подобного исследования.
Предлагаем читателям поделиться своими идеями, как можно было бы улучшить предлагаемый подход, в комментариях.
#цитируемость #аналитика #визуализация
Telegraph
Спящие красавицы и статьи бустеры: (не-)удачный эксперимент
Пользуясь методом ван Раана, мы проанализировали массив российских публикаций, вышедших до 1990 года, и выявили 12 работ, подходящих под наши критерии: «Cон» должен быть глубоким — не более 2 цитирований в год вплоть до момента «пробуждения»; Долгим — не…
FWCI в OpenAlex: первые пробы
12 августа 2024 OpenAlex добавил к своим показателям FWCI (Field-weighted Citation Impact — индекс цитирования, взвешенный по области науки). Рассчитывается он как и в других случаях через отношение количества цитирований за три года (плюс год публикации) к ожидаемому количеству цитирований по данному типу и предметной области (в OpenAlex используется третий по детализации уровень классификации — subfield).
Изначально FWCI появился в SciVal как одна из snowball-метрик. В Web of Science есть аналогичная метрика — CNCI (Category Normalized Citation Impact), однако исследователи давно заметили, что показатели FWCI и CNCI для одной и той же публикации различаются — иногда значительно. Это связано с рядом причин:
🔸 разный охват баз данных Web of Science и Scopus, и, следовательно, разное количество индексируемых цитат;
🔸 различия в предметных классификаторах;
🔸 способ расчета CNCI и FWCI для публикаций, которые относятся к более чем одной предметной области.
У OpenAlex есть своя специфика в расчете FWCI:
1. База в принципе содержит больше данных и включает в себя множество работ без цитирований — это снижает средние ожидаемые значения цитирования, поэтому цитируемые работы, скорее всего, будут иметь более высокие значения FWCI в OpenAlex.
2. У OpenAlex принципиально другой подход к классификации — тематика (primary topic), по которой нормализуется цитируемость, присваивается публикации, а не журналу. Поэтому FWCI/CNCI, нормализованный по предметным областям журналов, может значительно отличаться от FWCI согласно OpenAlex.
3. В OpenAlex датой публикации считается дата, когда публикация впервые появилась в сети. Однако дата выхода периодического издания может быть на год позже сетевой публикации, что влияет на окно цитируемости.
Небольшой пробный анализ мы сделали на недавнем массиве публикаций, которые мы использовали для анализа гендерной гомофилии (тип публикации "article", год публикации 2023, выборка из журналов RSCI, включая переводные версии). Общее количество таких публикаций на данный момент составляет 56 641. 47 359 (!) публикаций имеют нулевой FCWI, при этом у 2261 работы ненулевая цитируемость.
На графике визуализированы 25 наиболее популярных областей (то есть таких, в которых количество работ было наибольшим — разброс составил от 565 до 1751 публикаций: по инфекционным заболеваниям и по социологии и политическим наукам соответственно). Нулевые значения FWCI убраны из рассмотрения, поскольку сильно смещают график вниз; также удалено 46 выбросов (с FWCI от 10,03 до 146,352; наибольшее значение у статьи под названием "2021 ESC Guidelines for the diagnosis and treatment of acute and chronic heart failure", опубликованной в Российском Кардиологическим журнале).
Области, в которых основной массив публикаций располагается выше 1, можно считать достаточно авторитетными в российских журналах: это означает, что большинство тех статей, которые в принципе цитируются, цитируется чаще, чем ожидается на среднемировом уровне.
Однако выбросы, которые мы удалили (FWCI > 10), наглядно демонстрируют, что метрика должна использоваться с большой осторожностью: например, у целого ряда работ FWCI составляет 12,179 при количестве цитирований, равном 2.
#OpenAlex #Scopus #FWCI #цитируемость #визуализация
12 августа 2024 OpenAlex добавил к своим показателям FWCI (Field-weighted Citation Impact — индекс цитирования, взвешенный по области науки). Рассчитывается он как и в других случаях через отношение количества цитирований за три года (плюс год публикации) к ожидаемому количеству цитирований по данному типу и предметной области (в OpenAlex используется третий по детализации уровень классификации — subfield).
Изначально FWCI появился в SciVal как одна из snowball-метрик. В Web of Science есть аналогичная метрика — CNCI (Category Normalized Citation Impact), однако исследователи давно заметили, что показатели FWCI и CNCI для одной и той же публикации различаются — иногда значительно. Это связано с рядом причин:
🔸 разный охват баз данных Web of Science и Scopus, и, следовательно, разное количество индексируемых цитат;
🔸 различия в предметных классификаторах;
🔸 способ расчета CNCI и FWCI для публикаций, которые относятся к более чем одной предметной области.
У OpenAlex есть своя специфика в расчете FWCI:
1. База в принципе содержит больше данных и включает в себя множество работ без цитирований — это снижает средние ожидаемые значения цитирования, поэтому цитируемые работы, скорее всего, будут иметь более высокие значения FWCI в OpenAlex.
2. У OpenAlex принципиально другой подход к классификации — тематика (primary topic), по которой нормализуется цитируемость, присваивается публикации, а не журналу. Поэтому FWCI/CNCI, нормализованный по предметным областям журналов, может значительно отличаться от FWCI согласно OpenAlex.
3. В OpenAlex датой публикации считается дата, когда публикация впервые появилась в сети. Однако дата выхода периодического издания может быть на год позже сетевой публикации, что влияет на окно цитируемости.
Небольшой пробный анализ мы сделали на недавнем массиве публикаций, которые мы использовали для анализа гендерной гомофилии (тип публикации "article", год публикации 2023, выборка из журналов RSCI, включая переводные версии). Общее количество таких публикаций на данный момент составляет 56 641. 47 359 (!) публикаций имеют нулевой FCWI, при этом у 2261 работы ненулевая цитируемость.
На графике визуализированы 25 наиболее популярных областей (то есть таких, в которых количество работ было наибольшим — разброс составил от 565 до 1751 публикаций: по инфекционным заболеваниям и по социологии и политическим наукам соответственно). Нулевые значения FWCI убраны из рассмотрения, поскольку сильно смещают график вниз; также удалено 46 выбросов (с FWCI от 10,03 до 146,352; наибольшее значение у статьи под названием "2021 ESC Guidelines for the diagnosis and treatment of acute and chronic heart failure", опубликованной в Российском Кардиологическим журнале).
Области, в которых основной массив публикаций располагается выше 1, можно считать достаточно авторитетными в российских журналах: это означает, что большинство тех статей, которые в принципе цитируются, цитируется чаще, чем ожидается на среднемировом уровне.
Однако выбросы, которые мы удалили (FWCI > 10), наглядно демонстрируют, что метрика должна использоваться с большой осторожностью: например, у целого ряда работ FWCI составляет 12,179 при количестве цитирований, равном 2.
#OpenAlex #Scopus #FWCI #цитируемость #визуализация
