Выше квартилей
2.73K subscribers
110 photos
1 video
1 file
301 links
HSE: Home of Scientometrics and Expertise

Обучение и консультирование по практическим вопросам research evaluation и управлении наукой.

Все вопросы и предложения направляйте @vyshekbot или на почту Наукометрического центра ВШЭ: scientometrics@hse.ru
Download Telegram
Спящие красавицы и статьи бустеры: (не-)удачный эксперимент

В одном из прошлых постов мы писали о «спящих красавицах» — статьях, которые долгое время после публикации оставались без внимания, а потом по различным причинам начинали активно цитироваться. Эта тема заинтересовала нас, и мы решили частично повторить опыт подобного исследования.

Предлагаем читателям поделиться своими идеями, как можно было бы улучшить предлагаемый подход, в комментариях.

#цитируемость #аналитика #визуализация
​​Феномен анонимных публикаций в современности

В декабре прошлого года в Scientometrics была опубликована статья, посвященная феномену анонимного авторства. Годом ранее там же вышла публикация, согласно которой за последние сто лет было опубликовано более 1,4 миллиона статей, у которых были указаны один или несколько анонимных авторов.

В течение долгого времени публикация исследования могла требовать анонимности по соображениям безопасности, а также по культурным или религиозным причинам, но в итоге большинство таких работ не получают широкого распространения, если за ними не стоит сильный автор или авторский коллектив. В оригинальной статье рассматривается Harvard Law Review как журнал, который публикует относительно много анонимных работ, являясь при этом значимым и респектабельным в своей сфере.

Хотя авторы предыдущих работ анализируют датасеты, полученные из Web of Science, мы решили проанализировать относительно небольшую выборку работ, индексируемых в Scopus с 2021 по 2024 год, у которых поле «Автор» не содержит записей (102 414 публикаций), либо хотя бы один из авторов указан как “Anon/Anonymous” (111 публикаций). К сожалению, нет надежного способа проверить все записи с незаполненным полем авторства, но выборочная проверка показала, что в этих публикациях авторство действительно не указано, либо указано название коллектива авторов (особенно это характерно для наук о здравоохранении — это могут быть сотрудники лаборатории или компании).

Для первой части датасета (с отсутствующим указанием авторства) мы отфильтровали все записи с нулевым количеством цитирований, поскольку чаще всего это титульные страницы и страницы с оглавлением, которым присваивается отдельный DOI. Таких оказалось большинство — в итоговом датасете осталось всего 5343 записи. Больше всего публикаций без указания авторства в области наук о здравоохранении, в частности фундаментальной медицины.

С работами, где в качестве авторов указан аноним, ситуация более неопределенная. По-видимому, эта традиция постепенно изживает себя: из 111 записей за рассматриваемые годы 85 относится к материалам не-серийных конференций, для которых Scopus не определяет предметную область. Остальные работы посвящены социальным наукам (30), здравоохранению (10) и естествознанию (1).

В целом, анонимные публикации продолжают занимать определенную нишу в различных научных сферах, несмотря на то, что указание “Anonymous” в качестве автора явно уступило место отсутствию упоминания об авторе. Между тем работа, где в качестве автора указано название авторского коллектива, формально не может считаться анонимной публикацией, однако Scopus не распознает такое название, что накладывает некоторые ограничения на анализ данных об авторах.

#аналитика #scopus #анонимность
​​Аналитика: Независимые исследователи

Помимо анонимных авторов, о которых мы писали в одном из предыдущих постов, существует еще одна нестандартная группа авторов — независимые исследователи. Это ученые, не имеющие или не указавшие в своей работе аффилиации с какой-либо организацией. Такое положение имеет свои плюсы: исследователь может полностью сосредоточиться на своем исследовании, не отвлекаясь на преподавание или административные обязанности. Но одновременно с этим он лишается и преимуществ, которые дает большинство организаций: подписки на библиометрические базы, доступа к лабораторному оборудованию и т.д.

Иногда такие исследователи работают по грантам, полученным в том числе от крупных организаций. Согласно недавнему исследованию Лунда, Шамси и др., четверть независимых авторов (по данным Web of Science) получали (и указывали) финансирование в своей работе. Большинство грантодателей — государственные органы, имеющие отношение к здравоохранению, и фармацевтические компании. Это вполне соответствует предметной разбивке работ: почти 20% посвящены челюстно-лицевой хирургии и стоматологии, а всего в топ-10 по областям присутствует только одна сфера, не относящаяся к медицине — инженерное дело.

Почти половина (45%) независимых исследователей работают в США, далее следуют Германия и Великобритания. Характерно, что азиатских стран несмотря на общую высокую продуктивность в топ-10 нет.

Мы решили провести похожий анализ, основываясь на данных OpenAlex. Изначальный запрос был сформулирован как «работы, для которых raw_affiliation_strings (текстовое указание аффилиации) содержит слово «independent», начиная с 2018 года». Таких оказалось больше 70 тысяч. Затем мы отфильтровали авторов, у которых все-таки указана аффилиация, и оставили только тех, кто указал в соответствующем поле «independent researcher | scientist | consultant | scholar | advisor». В группировке по работам осталось более 22550 публикаций, написанных 16886 учеными — для сравнения, в исследовании по Web of Science число публикаций 3357. Большую часть публикаций составляют статьи (17577).

География исследователей такова: большинство (более 4 тысяч), как и в вышеупомянутой работе, ведут свою деятельность в США, затем идут Великобритания (3380) и Индия (1960). Наиболее продуктивный автор — Генри Гарретт, весьма активно прибегающий к публикации препринтов, у которого сразу 238 работ в качестве независимого исследователя.

Что касается предметных областей — картина довольно сильно отличается от результатов исследования Лунда, Шамси и др. Большая часть публикаций, согласно OpenAlex, относится к сфере социальных наук (почти 12 тысяч), а вот на долю наук о здоровье приходится всего около 6700 работ (на приведенном ниже графике отражено подробное распределение публикаций по областям).

#аналитика #независимыеисследователи #OpenAlex
​​Retracted Articles: от репутационных проблем к аналитике по областям 

Совсем недавно Wiley, авторитетное издание с двухсотлетней историей, анонсировало закрытие 19 научных журналов. Wiley сообщило, что за последние 2 года из журналов издательства были отозваны 11 300 недобросовестных исследований, 8 000 из которых относились к издательству Hindawi (в 2021 году Hindawi было выкуплено Wiley, однако после такой массовой ретракции компания Wiley объявила, что прекратит использовать бренд Hindawi, а 200 оставшихся журналов включит в свой основной портфель).

По данным Nature в перечень лидирующих стран по количеству отозванных статей за последние два десятилетия входят Саудовская Аравия, Пакистан, Россия и Китай. Согласно приведенной в заметке статистике, в Саудовской Аравии на 10 тысяч публикаций приходится в среднем 30,6 ретракций, далее следует Пакистан (28,1) и Россия (24,9), на долю Китая приходится 23,5 ретракций. При этом медианное значение колеблется около 5 на 10 000.

В связи с постоянно растущим интересом к этой теме (заметки в Scholary Kitchen, Nature, Times, проверки отозванных статей со стороны департамента науки министерства образования Китая) мы решили проанализировать количество отозванных статей в разрезе по областям на базе OpenAlex, которая как раз в марте провела довольно масштабную работу по обновлению базы отозванных статей и исправлению ложноположительных результатов.

Самый актуальный вопрос для исследования, пожалуй, заключается в том, является ли большое количество отозванных статей в рамках издательства или журнала признаком его низкого качества? В целом, можно предположить, что если статьи массово отзываются, особенно в рамках издательства или отдельного журнала, то это означает, что постпечатная проверка (или внимание публики к вышедшим материалам) по качеству превосходит проверку перед публикацией, то есть проблемы связаны преимущественно с рецензированием.

С точки зрения областей наук тенденции вполне предсказуемые — большинство отозванных работ относятся к естественным наукам, в частности, биохимии, молекулярной биологии и медицине, почти столько же в сумме составляют публикации по инженерному делу и компьютерным наукам.

В этих областях есть много нюансов. Так, например, помимо заведомого нарушения правил подготовки публикации и недобросовестного отношения к подбору материала, многие кейсы, описанные в статьях по медицине, посвящены ранним исследованиям COVID-19. После получения более широкой выборки результаты стали заведомо неточными, и часть авторов сами отозвали свои публикации. Похожие случаи встречаются и в области компьютерных наук: например, если метод или систему, предложенные в статье, не получилось масштабировать, такие статьи также отзываются по просьбе автора. В случае несогласия авторов с решением редколлегии это, как правило, отмечается в сопутствующей заметке.

Мы сделали treemap-диаграмму по статьям, помеченным как отозванные в базе данных OpenAlex. Всего таких 46 тысяч, из них мы выбрали около 19 тысяч — те, что были написаны с 2019 по 2023 гг. С интерактивной версией диаграммы вы можете ознакомиться по ссылке.

#аналитика #openalex #ретракция
​​Королевство пустых зеркал

В рамках нашей рубрики #историянаукометрии мы уже не раз показывали, что наука о науке не сразу обрела собственный предмет.

В дискуссии, получившей название «Как перестать беспокоиться и полюбить реферируемые журналы», А. Космарский отметил, что наукометрия как способ изучения работы научных практик может быть интересна в двух перспективах. С одной стороны, интерес к изучению науки как самостоятельного предмета может быть внутренней практикой самой науки, ее саморефлексией над происходящими внутри науки процессами. С другой стороны, в ней заинтересованы внешние по отношению к науке лица, например, государство, которое может прибегать к использованию продуктов наукометрии для (не-)эффективного администрирования процессов самой науки.

Т. Франссен и П. Воутерс в своем исследовании об изменениях использования библиометрии подчеркивают, что две эти перспективы в отношении гуманитарных наук последовательно сменяют друг друга: с 1960-х по 1980-е годы библиометрия является частью социологической оптики для изучения внутринаучных процессов, в то время как с 1980-х годов библиометрия начинает в большей степени рассматриваться как эмпирический материал для формирования научных политик и оценки исследований.

Учитывая наш личный интерес к теме, мы не могли пройти мимо анонса нашего коллеги Андрея Герасимова, который приглашает принять участие в конференции «Королевство пустых зеркал: социальные исследования социальных наук». Конференция, которая пройдет в Шанинке и онлайн, будет посвящена как эмпирическим исследованиям, реконструирующим путь становления наук и изменения их формы, так и теоретическим подходам к научной самообъективации. Направления конференции затронут в первую очередь разные социологические подходы, будь то исследования социо-гуманитарного знания в СССР, интеллектуалов, подходов к социальным наукам или социология социологии. Кроме того, одним из заявленных направлений, которое может особенно заинтересовать наших постоянных читателей, выступит наукометрическая перпектива (а также ее враги!): как цифры характеризуют нынешнее положение социальной науки, а также при помощи каких практик наука изучает эти цифры?

Мы же, по обыкновению, решили посмотреть, как схожие темы представлены в OpenAlex. Выборку было решено делать по концепциям, а не по недавно появившимся тематикам, поскольку только среди концепций удалось найти соответствующие пункты. Для анализа мы выбрали следующие концепции: Scientific integrity, Scientific thinking, Scientific evidence, Sociology of knowledge, Scientific modelling, Scientific reasoning, History of science, Scientific society, Scientific revolution, Scientific method, Scientometrics, Scientific progress, Science studies, Sociology of scientific knowledge, Scientific theory, Informetrics, порог балла связи (score) 0,5, временной период — с 2014 по 2024 гг. Результаты представлены на диаграмме (есть и интерактивная версия). Больше всего как цитирований, так и публикаций насчитывает наукометрия — более 3 тысяч статей были процитированы почти 25 тысяч раз. Сразу обращают на себя внимание концепции «научное доказательство» (scientific evidence) и история науки — публикаций по каждой из концепций около 2 тысяч, но при этом цитирований у первой более 20 тысяч, а у второй — всего 5479.

#конференция #OpenAlex #аналитика
​​Что с сайтами журналов в Elibrary?

В нашем канале мы уже неоднократно упоминали о феномене «похищенных» (hijacked) журналов (некоторые мошеннические издательства создают копии сайтов научных журналов, которые тяжело отличить от официальных страниц). В комментариях к апрельскому посту наш коллега отметил неактуальность некоторых доменов университетов из 1-Мониторинга, что навело нас на мысль: сколько неактуальных сайтов журналов сейчас присутствует в российском сегменте?

Для исследования мы выбрали рейтинг Science Index 2022, размещенный на Elibrary. В него входят 4044 журнала, в том числе 3058 журналов из списка ВАК. В Elibrary домашняя страница указана у 3786 (93,6%) из них. Для проверки ответов сервера мы использовали сервис https://coolakov.ru/tools/ping/, позволяющий отследить редиректы и получить итоговый адрес страницы (или 404, если страница не найдена).

Полученные данные мы разместили на диаграмме. По оси X указывается место журнала в рейтинге, а на оси Y — код ответа сервера. Распределение по ответам серверов следующее:

3397 журналов — код 2ХХ (успешная обработка запроса)
30 журналов — коды 3ХХ (редирект и после этого успешная обработка запроса)
209 журналов — коды 4ХХ (ошибка на стороне клиента — нет доступа или ошибочный адрес сайта)
21 журнал — коды 5ХХ (ошибка на стороне сервера — например, сайт временно недоступен)
129 журналов — код 0 (такой код сервис возвращал, если сайта просто не существует).

Итак, для 359 журналов (почти 9%) журналов из Science Index указаны некорректные адреса веб-страниц (при этом редиректов на подозрительные ресурсы мы не обнаружили). 209 журналов, сайты которых возвращают коды 4XX, как правило, поменяли адрес или архитектуру сайта — нужно только обновить данные. А вот 129 журналов с несуществующими сайтами вызывают больше беспокойства.

#аналитика #Elibrary #сайты
​​Самоцитирования журналов: тематический, страновой и квартильный разрезы

Постепенно возвращаясь к академическому ритму после летних каникул, мы решили обратить внимание наших подписчиков на динамику самоцитирований журналов, индексирующихся в Web of Science.

В онлайн-руководстве вопрос самоцитирований рассматривается как с точки зрения отдельного автора, так и с позиции журнального самоцитирования. Основная проблема самоцитирований в последнем случае — это искажение информации об истинной видимости журнальных статей академическим сообществом, что снижает надежность метрик, рассчитываемых на основе цитируемости (в том числе и широко используемых квартилей, являющихся побочным продуктом статистического подхода). Последние работы в области наукометрии (Bennett H., Singh B. & Slattery F.: 2024; Fiorillo. L.: 2024) показывают, что интерес к оценке самоцитирований не только сохраняется, но и является драйвером для описания тех изменений, которые претерпевают отдельные научные области.

Наша сегодняшняя аналитика продолжает заданное направление и построена на данных по источникам WoS за 2021-2023 гг. На диаграмме можно увидеть области, в которых наиболее часто встречается самоцитирование: в основном это узкие специфические области литературы (в частности, славянская литература — в среднем более 50% самоцитирований) и физики (физика полей и частиц, астрофизика, физика плазмы — 25-30%) Если говорить о странах-издателях журналов, то наибольшее количество самоцитирований встречается в журналах стран Африки и СНГ.

С квартилем журнала доля самоцитирований коррелирует слабо, но устойчиво — медианное значение составляет от 7,2% в журналах Q1 до 11,3% в Q4. Наблюдается и зависимость от коллекции, в которую входит журнал: меньше всего прибегают к самоцитированию авторы журналов из коллекции SCIE (Science Citation Index Expanded, 7,3%), за ней следует SSCI (Social Sciences Citation Index, 9,3%). У коллекций ESCI (Emerging Sources Citation Index) и AHCI (Arts & Humanities Citation Index) показатели самоцитирования выше — 10,2% и 11,1% соответственно.

#аналитика #самоцитирование #webofscience #руководство
​​Гендерная гомофилия — исследование RSCI

Недавно мы писали об исследовании гендерной гомофилии, опубликованном в PLoS ONE. Нас заинтересовало более актуальное положение в различных научных областях, прежде всего по российским источникам. Мы решили проанализировать публикации 2023 года на предмет гендерного распределения исследователей, основываясь на данных OpenAlex. Выборка состояла из журналов RSCI (включая их переводные версии).

Наш исходный датасет включал 42 353 публикации со следующими параметрами: тип публикации "article"; не менее двух авторов, год публикации = 2023. Для определения предполагаемого пола авторов использовался пакет gender в R, который рассчитывает вероятность того, является ли имя мужским или женским, основываясь на данных за 1932-2012 гг. Для имен, которые не удалось распознать, дополнительно анализировалось родовое окончание фамилии. Всего в рассматриваемом датасете оказалось 187 303 автора, из которых 60 802 — женщины, 66 233 — мужчины, у 60 268 пол не был распознан. Последний результат частично связан с несовершенством метаданных в OpenAlex, но в большой степени со страновыми особенностями. Во-первых, пакет gender довольно часто не распознает азиатские и ближневосточные имена; во-вторых, в ряде стран (например, в Индии) принято указывать только инициалы и фамилию, что делает распознавание имени невозможным.

Итоговый массив составляет 18 238 публикаций, для которых распознан пол всех авторов. В нем мы выявили 3 079 публикаций, написанных чисто женскими коллективами, 3 940 — чисто мужскими. В 3 494 случаях число мужчин и женщин среди авторов было одинаковым. Также выяснилось, что чисто мужские коллективы обычно незначительно крупнее, чем чисто женские — 2,29 авторов-мужчин и 2,27 авторов-женщин в среднем.

Показательным также оказалось распределение по предметным областям. Наибольший разрыв по-прежнему сохраняется в инженерных дисциплинах — мужских коллективов более чем в два раза больше, чем женских, тогда как во всех науках о здоровье, включая общую медицину, число авторских женских коллективов значительно превосходит число мужских (причем это характерно только для нашей выборки по журналам RSCI — на общемировой выборке женщины имеют преимущество только в сестринском деле, общих науках о здоровье и нейронауках, причем перевес незначителен).

#аналитика #гомофилия #соавторство #OpenAlex