Так ли хороши стандартные сетевые показатели для ранжирования журналов?

Журнальные рейтинги, основанные на сетевых методах ранжирования, сильно отличаются от тех, что основаны на данных цитирования. Про сетевые методы можно почитать в нашем руководстве. Коллеги провели исследование (корректность полученных данных все еще в процессе обсуждения научным сообществом) на базе PageRank и показали, что стандартный подход к сетевому моделированию данных о цитировании на уровне журналов (т.е. проекция цитирования статей на журналы) вводит «фиктивные отношения» между журналами. Авторы использовали для анализа MEDLINE, крупнейший набор библиометрических данных в области медицинских наук с открытым доступом.

Импакт-фактор и h-индекс являются одними из наиболее широко используемых показателей для оценки журналов. Эти показатели являются локальными в том смысле, что они основаны на количестве ссылок, полученных конкретной статьей, автором или журналом за определенный период. С использованием данных о цитировании и сетевого анализа были разработаны более сложные показатели: Eigenfactor и SCImago Journal Rank. Эти показатели опираются на нелокальную информацию, тем самым придавая больший вес ссылкам на хорошо цитируемые статьи.

Основные проблемы при использовании цитирования для наукометрического анализа заключаются в том, что практика цитирования в научных областях разная, и публикации все чаще пишутся несколькими соавторами, а соавторство и количество цитирований взаимосвязаны. Плюс ко всему редакторские предубеждения связаны с социальными факторами (предыдущее соавторство/вознаграждение за цитирование и т.д.). Основная проблема при использовании сетевого анализа — важность правильного соотнесения единицы и цели анализа с соответствующим сетевым представлением. Это справедливо и в том случае, когда сетевые показатели применяются для ранжирования журналов по цитируемости статей.

Сосредоточив внимание на мерах влияния журналов, авторы показали, как наивное сочетание этих методов может привести к ошибочным или даже неверным результатам. В частности, авторы утверждают, что стандартная проекция цитирования статей на журналы может привести к появлению несуществующих связей, так называемому «фиктивному влиянию».

Такое «фиктивное влияние» не является безобидным эффектом при составлении рейтингов журналов. Результаты анализа данных о цитировании из MEDLINE показывают, что даже несмотря на то, что одни и те же журналы входят в верхние строчки рейтингов, они занимают разные позиции при использовании различных подходов ранжирования. В целом, результаты исследования показывают, что «фиктивное влияние» существенно влияет на надежность PageRank как способа ранжирования журналов.

Предложение коллег сводиться к тому, чтобы не концентрироваться на отдельных ссылках на цитаты, а рассматривать последовательные ссылки между статьями для получения путей цитирования.

Также чтобы преодолеть проблему «фиктивного влияния», возможным решением являются сети более высокого порядка. Однако разработка адекватных наукометрических показателей — очень сложная задача. Например, Лейденский манифест предлагает искать баланс между сложностью индикаторов и прозрачностью их расчетов. Использование известных сетевых мер может повысить их прозрачность; в то же время дополнительная сложность сетей высшего порядка может замаскировать их смысл. Следовательно, жизнеспособность этих методов будет зависеть от предполагаемого использования.

#обзор #журналы #цитирование #сетевойанализ

ChatGPT и научные публикации

Ведущие научные издательства наперегонки запрещают брать в соавторы ChatGPT, но получится ли загнать джинна в бутылку? И хорошо ли такой запрет сочетается с рекомендациями использовать AI в науке максимально прозрачно? Вопросы будут только множиться.

А пока отмечаем, что индекс Хирша ChatGPT уже достиг отметки 2 по Google Scholar. Один из первых его соавторов — русскоязычный ученый Алексей Жаворонков, сотрудничавший с МФТИ. Правда, к издательству, опубликовавшему работу (и принадлежащему русскоязычным биотехнологам — из пяти ссылок у Жаворонкова две первые на главреда-владельца), есть существенные претензии.

Насколько можно считать этот материал полноценной публикацией, судите сами. Это несложно: текст занимает полторы страницы. Возможно, поэтому редакция приняла его к печати за один(!) день.

#новости #журналы

После того, как мы рассказали о возможностях доступа в Scopus, подписчики спросили также о доступе в SciVal.

Отвечаем: здесь никаких открытых API нет и не будет. SciVal — крайне дорогая система, приобретать которую изначально был смысл только для самых крупных российских вузов, но и для них часть модулей этой системы была избыточна. У огромного множества ведущих мировых вузов доступа к SciVal и InСites нет, что никак не мешает им развиваться гораздо быстрее нас.

В России SciVal был популярен в нескольких контекстах:
• Сравнение стран и организаций. Здесь многое можно сделать через API Scopus, о чем мы расскажем в скором времени.
• Проверка «квартилей SNIP» — не вполне научной журнальной метрики, выбранной в качестве целевой в привязке к финансированию (разработчики SNIP, узнав о таком применении, вероятно, сильно бы удивились). Здесь мы помочь не сможем. При выборе журналов опирайтесь на мнение ведущих специалистов в соответствующих областях, используя наукометрию только справочно.
• Глубокомысленное изучение цветных кружков с «прорывными фронтирами» и «горячими топиками».

Как раз для этого недавно появился крайне интересный общедоступный инструмент — карта мировой науки, построенная на огромном связном датасете Merged Academic Corpus (напоминаем о наших видео про открытые данные и идентификаторы — именно про это). 100 тысяч кластеров с динамикой, ведущими подразделами, странами, авторами, финансирующими организациями. Все открыто, красиво, ярко, есть даже большая галочка-фильтр «Extreme Growth Predicted». Иными словами, то, что нужно для подготовки презентаций руководству. Если, конечно, их не смущает изготовитель — американский Центр безопасности и новых технологий.

#scopus #журналы #россия

Насколько Crossref может быть полезен как инструмент библиографического поиска в сфере искусства и гуманитарных наук, попробовали выяснить коллеги из Барселонского университета.

Scopus и Web of Science традиционно критикуются за ограниченность в плане отслеживания исследований в отдельных дисциплинах. Недавнее сравнение этих коммерческих продуктов с открытыми базами данных от наших коллег, показало, что в некоторых аспектах качество находящихся в свободном доступе метаданных оказывается ничуть не хуже, чем метаданные Scopus/WoS. Авторы рассматриваемого нами сегодня исследования попытались пойти дальше и провести схожий анализ в сфере искусства и гуманитарных наук. Ключевая идея работы связана с поиском ответа на вопрос, помогает ли охват CrossRef (данные А.В. Лутая и Е.Э. Любушко на общем массиве были не во всех случаях в пользу данного продукта) отслеживать литературу по искусству и гуманитарным наукам, учитывая, что в этих областях как правило присутствует национальная и региональная направленность и ориентация на внутреннюю аудиторию?

Чтобы ответить на этот вопрос, авторы проанализировали охваты журналов в ERIH PLUS (European Reference Index for the Humanities), который содержит библиографическую информацию об академических журналах в области социальных и гуманитарных наук. На момент сбора данных, февраль 2022 года, в ERIH PLUS было включено 10 213 журналов. И также создали выборку статей по искусству и гуманитарным наукам, опубликованных в 2020 году, чтобы определить, в какой степени метаданные присутствуют в отдельных случаях (подробнее о выборке в препринте).

Что получили в итоге:

• В Scopus было проиндексировано 49% журналов, перечисленных в ERIH PLUS, а Crossref — 80%. Scopus представил широкий охват журналов, опубликованных в Северной Америке (86% журналов, перечисленных в ERIH PLUS), Океании (86%), Северной Европе (85%) и Западной Европе (74%). Crossref, как и Scopus, охватывает журналы ERIH PLUS, опубликованные в Северной Америке (94%), Северной Европе (94%), Океании (88%) и Западной Европе (86%). Охват также был широк для Азии (80%), Латинской Америки и Карибского бассейна (76%) и Восточной Европы (73%). Регионами с наименьшим охватом были Южная Европа (66%) и Африка (56%), хотя в обоих случаях охват был выше, чем у Scopus.

• Что касается метаданных, то журналы, издаваемые в Латинской Америке и Карибском бассейне (86%), Южной Европе (83%) и Восточной Европе (75%), чаще всего размещали аннотации к своим статьям. Издатели из Северной Европы чаще всего депонировали ORCID (78%) и аффилиации (67%), в то время как издатели из Латинской Америки и Карибского бассейна, как правило, депонировали ORCID (77%), но не аффилиации (11%). Информацию о финансировании чаще всего депонировали журналы, издаваемые в Северной Европе (62%) и, в меньшей степени, в Северной Америке (51%).

• Большинство статей по искусству и гуманитарным наукам, проиндексированных в Scopus в 2020 году, были также представлены в Crossref, причем охват варьировался от 86% для статей на польском языке до 99% для статей на английском языке, который был самым распространенным языком в выборке. Единственным крупным исключением были статьи на итальянском языке: лишь четверть (27%) статей, проиндексированных в Scopus, были представлены в Crossref. Большинство статей на португальском (81%), испанском (71%) и польском (68%) имели аннотацию, тогда как для статей на английском языке этот процент снизился до 31%. Напротив, 88% статей на английском и 45% статей на португальском языке включали ссылки. 35% статей на английском языке включали информацию о финансировании, но на других языках эта информация появлялась очень редко.

Это исследование показывает, что Crossref индексирует больше источников, чем Scopus, и включает дополнительные журналы из Восточной и Южной Европы и Глобального Юга. Crossref представляет собой перспективный инструмент библиографического поиска в области искусств и гуманитарных наук, но нуждается в улучшении в отношении уровня заполнения метаданных.

#обзор #журналы #crossref #открытыйдоступ

​​SJR 2022: что изменилось для российских журналов

В начале месяца обновились данные по показателю SJR для журналов, входящих в Scopus. Всего в обновленный список вошло 27955 изданий (годом ранее — 28306 журналов). В целом, тренд на сокращение рейтингового списка сохраняется с 2017 года.

Как и в прошлом году мы решили посмотреть на изменение позиций для журналов из России. Всего таких изданий в списке 507 — на 3 больше, чем в прошлом году. Большинство журналов Q1 по максимальному квартилю сохранили свои позиции (35 из 53). Сразу 7 журналов без квартиля по итогам прошлого года попали в Q1 сейчас, но в целом доля верхних квартилей изменилась незначительно. Журналы без квартиля в прошлом году в основном попали в 4 квартиль (41 из 76).

Для наглядности вновь подготовили sankey-диаграмму, которая отражает «миграцию» журналов. Кроме того, к ней прилагается таблица с указанием квартилей журналов в 2021 и 2022 году, в которой можно отфильтровать представленные на диаграмме случаи.

#scopus #sjr #квартили #россия #журналы #инфографика

​​Цитирования и качество исследований: есть ли взаимосвязь?

Мы уже писали про анализ использования импакт-фактора в оценке исследований от британских коллег (там же мы кратко рассказали о программе UK Research Excellence Framework). Авторы того исследования обнаружили очень слабую положительную корреляцию между экспертными оценками статей и импакт-факторами журналов. Статья, о которой мы расскажем сегодня, является ответвлением исследования, проведенного в 2021 году в рамках подготовки к REF2028, и посвящена анализу взаимосвязи цитирований и качества исследований.

Ценность цитирований для оценки качества исследований нередко становится предметом научных споров. Безусловно, не всегда ясно, что именно подразумевают под качеством исследований, но обычно его рассматривают с точки зрения методологической строгости, новизны/оригинальности и влияния на науку или общество. Авторы называют свою статью первой крупномасштабной общенаучной академической оценкой взаимосвязи качества исследований и цитирований, сопоставляя данные для 87739 журнальных статей по 34 укрупненным предметным группам (UoA). Эти два показателя положительно коррелируют во всех академических областях, отражая в целом линейные отношения во всех областях.

Основные выводы, к которым авторы приходят:

• Статьи с большим количеством цитирований, как правило, более высокого качества во всех областях науки. Положительные корреляции наблюдаются даже в большинстве областей искусства и гуманитарных наук (включая Music, Drama, Dance, and Performing Arts; Studies in Creative Arts and Writing; Arts and Humanities), хотя сила этих связей значительно варьируется (см. скриншот).

• Высокое цитирование не гарантирует однозначное высокое качество исследований в какой-либо области.

• Положительная связь между исследованиями качества и цитируемости относительно универсальны.

К ограничениям данного исследования можно отнести тот факт, что все отобранные журнальные статьи публиковались сотрудниками британских университетов, и взаимосвязь между цитированием и качеством может быть иной в других странах. К тому же нормализация поля ограничена схемами Scopus и Dimensions, а сами статьи выбираются авторами самостоятельно и в большинстве случаев представляют лучшие по их мнению работы.

Таким образом, несмотря на то, что цитирование, нормализованное по соответствующим областям, положительно коррелирует с качеством исследований во всех областях, оно никогда не отражает значимость исследования в полной мере, даже при переходе к высокоцитируемым публикациям.

#обзор #цитирование #журналы #экспертнаяоценка

Предметные рейтинги вузов: кейс норвежского списка журналов

Ранее мы обращали внимание на экспертные списки, используемые в мире в качестве инструментов оценки науки. Сегодня подготовили небольшой срез по публикациям 2019-2023 гг. крупнейших российских вузов в журналах, входящих в 1-ый и 2-ой уровни норвежского списка. Напомним, что ко второму уровню относятся ведущие журналы, а к первому — те, которые известны специалистам в своих областях и обеспечивают приемлемый уровень публикаций. Сводный балл, который лежит в основе сравнений, формировался исходя из принципа: 1 статья в ведущем журнале (2-го уровня; NPI2) = 3 статьи в обычном журнале (1-го уровня; NPI1). С результатами анализа можно ознакомиться по ссылке. Для удобства сравнений приводим аналитику в разрезе областей и организаций.

P.S. Заметим, что норвежская система оценки ориентируется также на долевой подсчет, поэтому результаты по некоторым областям могут быть смещены из-за мегаколлабораций.

#экспертныесписки #журналы #национальнаясистема

​​Изменения в квартилях журналов WoS

28 июня компания Clarivate опубликовала очередной список Journal Citation Reports (JCR), в котором приводится распределение по квартилям для всех журналов, индексирующихся в Web of Science.
Как и в случае с квартилями SJR, мы проанализировали «миграцию» журналов между квартилями. Кроме того, приведены диаграммы, показывающие различия в распределении самого импакт-фактора для разных коллекций (AHCI, ESCI, SCIE и SSCI). Нужно отметить, что для журналов из коллекций Arts and Humanities Citation Index (AHCI) и Emerging Sources Citation Index (ESCI) импакт-факторы опубликованы впервые.

#wos #журналы #инфографика #квартили

«Мертвые души» в соавторах

31 октября в некоторых странах в канун католического Дня всех святых широко отмечается Хэллоуин. Несмотря на неоднозначные реакции и отношение к его празднованию в России, сама дискуссия — хороший повод затронуть близкие к области death studies вопросы в контексте наукометрии. Сегодня мы рассмотрим кейс, касающийся посмертного авторства, на примере известного венгерского математика Пала Эрдёша (1913-1996).

Широкой публике он известен в первую очередь благодаря шуточному «числу Эрдёша» — рекуррентно определяемому показателю, который демонстрирует кратчайший путь соавторства от какого-либо ученого к самому Эрдёшу: например, у прямого соавтора Эрдёша показатель 1, у исследователя, пишущего в коллаборации с соавтором Эрдёша — 2, а ученые, от которых нельзя построить цепочку соавторств с Эрдёшем, имеют в качестве показателя бесконечность. По сути, можно сказать, что число Эрдёша — это число «рукопожатий» между соавторами (проверить, какое у вас число Эрдёша, вы можете в специальном сервисе).

В заметке 2011 года Вольфганг Гленцель (Wolfgang Glänzel) отмечает, что по разным причинам уже в 21 веке — в период от 3 до 10 лет после смерти П. Эрдёша — вышло 25 статей, которые указывали его как соавтора. Работу Гленцеля, в свою очередь, упоминает польский ученый Марек Космульски (Marek Kosmulski) в статье 2021 года в рамках исследования случаев фиктивного посмертного соавторства.

«Фиктивное авторство» — это форма научного мошенничества, в котором недобросовестные ученые поддельно приписываются к исследованию из корыстных соображений (например, наиболее распространенный случай: старший коллега принуждает младшего добавлять его в соавторы). В качестве случая крайнего злоупотребления соавторством Космульски приводит исследованный в статье 2020 года случай, названный «free-riding»: руководитель группы добавляет всех членов в качестве соавторов, и у последних зачастую нет права редактировать конечный вариант «их» текста.

Такая форма фиктивного соавторства, как посмертное, имеет свои особенности, т.к. усопший автор всегда более уязвим для манипуляций его именем. Для подобных случаев Космульски предлагает новое понятие — «некроавторство».

При этом Космульски подчеркивает, что не относит к фиктивному соавторству те случаи подлинного посмертного авторства, причиной которых стали:

• Технические проблемы: между отправкой и окончательной печатью прошло много времени.
• Финансовые проблемы: автор был слишком беден, чтобы покрыть расходы на печать, и не мог найти спонсоров.
• Цензура (например, государственная или издательская), и т. д., не позволившие опубликовать работу при жизни автора.

Чтобы обосновать границу легитимного указания на авторство, Космульски ссылается на критерии Международного комитета редакторов медицинских журналов (ICMJE):

• Существенный вклад в разработку концепции или дизайна работы, а также получение, анализ или интерпретация данных для работы,
• Подготовка проекта работы или ее критический пересмотр с учетом важного интеллектуального содержания,
• Окончательное утверждение версии для публикации,
• Согласие нести ответственность за все аспекты работы, чтобы вопросы, связанные с точностью или целостностью любой части работы, были надлежащим образом изучены и решены.

Если хотя бы один из критериев не выполнен, то возникает повод сомневаться в уместности указания соавторства.

По оценке автора «некроавторство» как форма научного мошенничества не является серьезной угрозой, так как почти не приносит реальной пользы. Однако он замечает, что в случае с менее известными учеными, чем П. Эрдёш, редакторы и рецензенты могут не иметь технической возможности узнать о кончине одного из авторов, что открывает пространство для манипуляций.

#обзор #журналы #некроавторство

Цели устойчивого развития: сравнение исследований по Web of Science и OpenAlex

С тех пор как в 2015 году ООН представила «Цели в области устойчивого развития» (ЦУР) в качестве основной повестки на период до 2030 года, классификация исследовательских работ, содействующих выполнению поставленных целей, стала еще одним широко используемым подходом при анализе научного вклада и результативности. Для того, чтобы отметить вклад исследователей в достижение этих целей, в базах Scopus и WoS были введены специальные классификаторы, указывающие на реализацию какой из 17 целей направлено конкретное исследование. Такая схема позволила ученым оценить текущие объемы исследований в разрезе не только научных областей, но и ЦУР. Однако, можно задаться вопросом, насколько репрезентативны данные классификаторы?

Так, в 2020 году вышло крупное исследование, посвященное оценке разных подходов к определению связи исследований с ЦУР. В нем авторы указывают, что любое подобное исследование должно предполагать несколько этапов подготовки: (а) предварительная интерпретация тем и концепций ЦУР, (б) определение того, что подразумевается под “вкладом” в ЦУР, (в) преобразование концепций в поисковый запрос, который позволит найти публикации, внесшие вклад, и (г) выбор базы данных.

Исследователи отобрали статьи, которые напрямую заявляют о своем вкладе в ЦУР (т.к. оценить косвенный вклад крайне сложно), и сравнили получившиеся результаты с тем, что было реализовано при помощи SciVal компанией Elsevier. В результате они обнаружили большое расхождение полученных данных. Несмотря на то, что их собственный подход выявил примерно схожее с WoS количество статей, тем не менее, найденные разными подходами статьи совпадали только в 25-50% случаев (в отношении разных целей процент совпадения варьировался). Исходя из этих результатов, авторы статьи настаивают на том, что данные WoS, посвященные ЦУР, следует оценивать критически.

При этом 13 сентября команда OpenAlex анонсировала обновление схемы базы данных: среди прочего, были добавлены поля и баллы для обозначения силы связей с целями устойчивого развития; для разметки использовалась модель машинного обучения, основанная на репозитории Aurora Universities Network. Этот репозиторий содержит размеченные поисковые запросы, касающиеся реализации ЦУР. Мы решили воспользоваться этим, чтобы расширить и дополнить анализ приведенного исследования.

С этой целью сделали собственную выборку из OpenAlex. Первоначально были отобраны более 112 тысяч статей, для которых указана тематика (concept) «sustainable development goals», а из них выделены статьи, для которых сила связей с различными целями составляет не менее 0,6. Таких статей оказалось 21 300.

Наибольшее количество статей посвящены следующим целям:

- Цель №2 «ликвидация голода» (4536),
- Цель №8 «достойная работа и экономический рост» (4078),
- Мета-цель №17 «партнерство в интересах устойчивого развития» (3642),
- Цель №9 «индустриализация, инновации и инфраструктура» (2025).

Кроме того, мы выяснили, что 52% статей находятся в открытом доступе, при этом 65% из них имеет статус Gold OA.

Следует отметить, что статьи, отобранные таким образом, все-таки составляют неполный датасет, поскольку концепции присваиваются автоматически на основании заголовка и аннотации статьи. Таким образом, если в этих полях не указывались «цели устойчивого развития» в качестве термина, статья не попадала в нашу выборку.

Результат визуализирован в приведенной диаграмме. Предлагаем читателям сравнить показатели.

#цур #wos #openalex #обзор #журналы #инфографика

​​SJR 2023: ежегодное обновление

На прошлой неделе вышло обновление показателя SJR для источников, входящих в Scopus. Всего в обновленный список вошло 29165 изданий, у 28740 изданий есть квартиль (в 2022 году квартили были присвоены 27606 изданиям, а в 2021 — 26701). Таким образом, тренд на сокращение списка, сохранявшийся с 2017 года, развернулся в сторону увеличения количества изданий, что не могло не повлиять на квартильные окна (особенно в гуманитарных и социально-экономических дисциплинах, где различия в значениях SJR порой минимальны).

Мы по традиции решили рассмотреть изменение позиций российских журналов. Всего таких изданий в нынешнем списке 566, квартиль присвоен 559 (в прошлом году журналов было 565, из них квартиль был у 504). Большинство журналов Q1 по максимальному квартилю сохранили свои позиции (48 из 69). Кроме того, в Q1 вошло 2 издания, не индексировавшихся ранее.

Для наглядности мы обновили sankey-диаграмму (https://hsenc.shinyapps.io/sjr-update/), которая отражает «миграцию» журналов. Теперь в ней три столбца — 2021, 2022 и 2023 гг. соответственно. В таблице по той же ссылке можно проверить квартили для отдельных журналов за те же годы.

#scopus #sjr #квартили #россия #журналы #инфографика