Выше квартилей
2.73K subscribers
110 photos
1 video
1 file
302 links
HSE: Home of Scientometrics and Expertise

Обучение и консультирование по практическим вопросам research evaluation и управлении наукой.

Все вопросы и предложения направляйте @vyshekbot или на почту Наукометрического центра ВШЭ: scientometrics@hse.ru
Download Telegram
Глобальная заметность национальных журналов: кейс постсоветского пространства

На прошлой неделе состоялась презентация доклада Марии Юдкевич, Андрея Ловакова и Анны Пановой «Глобальная заметность национальных журналов: кейс постсоветского пространства» и дальнейшая дискуссия (запись можно посмотреть здесь).

Национальные журналы в последние десятилетия получают все больше возможностей стать заметными на международном уровне. Для авторов национальные журналы — это журналы, издаваемые определенной страной и закрепленные за этой страной в базе данных Scopus. В исследовании представлен первый современный анализ национального научного производства в постсоветских странах на уровне журнала и статьи за период 2010-2019 гг.

Подавляющее большинство советских ученых публиковались в отечественных журналах, некоторые из которых имели переводные версии и даже индексировались в международных реферативных базах данных. Однако охват отечественных журналов был несопоставим с ведущими зарубежными журналами, которые гораздо глубже интегрированы в международный научный дискурс.

Российские данные свидетельствуют о том, что включение в международные базы данных повышает узнаваемость национальных журналов. Значительно большее количество исследований, проводимых в стране, может стать частью глобальных результатов исследований, если статьи доступны для аудитории в разных странах и если они опубликованы на английском языке. Кроме того, шансы англоязычных публикаций быть процитированными значительно выше, чем публикаций на других языках. Тем не менее выбор языка публикации сложен, поскольку он ставит дилемму «национальные приоритеты VS глобальная видимость».

Интеграция в мировое научное сообщество проявлялась в трех формах:
1) сотрудничество с зарубежными коллегами;
2) публикации на английском языке в международных журналах;
3) позиционирование национальных журналов в международном сегменте (включая индексацию в Scopus/Web of Science и привлечение международных исследователей для публикаций в национальных журналах).

Выборка исследования составила 526 журналов (были исключены переводные журналы), закрепленных за одной из 15 постсоветских стран и выходивших в печать в период с 2010 по 2019 год. Большинство этих журналов издаются в России (345), и только в трех других странах более 10 журналов индексируются в Scopus (Литва — 54, Украина — 52 и Эстония — 31). В других странах таких журналов либо мало (Молдова — 9, Латвия, Беларусь и Азербайджан — по 7, Грузия — 6, Казахстан — 5 и Армения — 3), либо их нет вовсе (Туркменистан, Таджикистан, Узбекистан и Кыргызстан).

• В России 73% журналов возникли в постсоветский период, а в Литве — 69%, а в Азербайджане, Беларуси и Молдове — более 80% журналов.

Журналы неравномерно распределены по дисциплинам. Наибольшее количество журналов в 2019 году было связано с социальными науками (135), за ними следуют медицина (109) и искусство и гуманитарные науки (102). Другие дисциплины были представлены значительно меньшим количеством изданий (например, математика с 66 журналами и инженерия с 45).

• Среди российских журналов около 75% относятся к Q3 или Q4 и только 7% (21 журнал) входят в Q1.

• В России за абсолютным преобладанием статей по наукам о здоровье в начале периода (49% в 2010 г. против 26% по физическим наукам, 20% по наукам о жизни и 19% по общественным наукам) последовало более сбалансированное распределение статей по здравоохранению, физическим и социальным наукам (около 34% для каждой из трех научных областей в 2019 г.).

• Частота использования английского языка также различается в разных областях исследований. Если для наук о жизни и социальных наук русский язык также доминирует (60% и 35% против 61% и 30%), то для физических наук ситуация обратная: в этой области исследований только 41% статей были на русском языке (и 54% на английском).

В докладе много данных для размышления, рекомендуем ознакомиться с полной версией.

#обзор #россия #журналы
Что нам показывает история развития старейшего научного издания?

На примере «Philosophical Transactions of the Royal Society», который часто называют старейшим в мире научным периодическим изданием, Камилла Мёрк Рёствик прослеживает, как длительный взгляд на научные публикации может помочь нам лучше понять текущее положение вещей в научной индустрии.

5 основных выводов по материалам из 350-летней истории старейшего журнала:

1. Научные публикации всегда были международными

Philosophical Transactions начал свою жизнь в 1665 году в Лондоне. Однако по меньшей мере половина материалов раннего журнала была написана не на английском языке. Интернациональность, лингвистическая гибкость и открытость были достоинством и сильной стороной академических изданий на протяжении веков. При этом ранний интернационализм европейских журналов редко охватывал колонии и развивающиеся страны.

2. Рецензирование не всегда было частью публикационного процесса

Процессы публикации статьи не были устоявшимися с самого начала. Они включали нормы подачи и оценки, в том числе систематическое рецензирование к середине 19 века (группа экспертов из Комитета по публикациям оценивала достоинства статьи). Это заложило основу для будущих изменений, но еще не включало анонимное рецензирование или структуры для оценки на основе отдельных критериев, которые появились значительно позже.

3. Долгое время публикация научных исследований не приносила денег

Выпуск журнала обходился в среднем в 300 фунтов стерлингов в год (сегодня эта сумма равнозначна примерно 30 000 фунтам стерлингов), из которых редко окупалось более половины. Кроме того, авторам разрешалось брать копии отдельных статей для собственного использования (100 экземпляров).

4. Научное издательство не свободно от коммерческих интересов

К двадцатому веку журнал стал все острее ощущать давление со стороны коммерческих и университетских издательств. Предпринимались различные попытки сохранить и расширить относительно недавно обретенную прибыльность журнала. Комитет призывал стипендиатов подавать больше статей, сократил количество бесплатных копий статей для авторов до пятидесяти. Эти изменения свидетельствуют о наступлении нового времени, когда журналы должны были зарабатывать деньги.

5. Открытый доступ: разнонаправленные ожидания

Сегодня «Philosophical Transactions of the Royal Society» выпускает десять научных журналов (два из которых находятся в открытом доступе), а также множество периодических изданий. К 2010-м годам новое внимание к эффективности позволило журналам публиковать исследования быстрее, чем они это делали раньше, и получать больший доход. Журналы издательства впервые появились в интернете в 1997 году, а с 2010 года весь архив выпусков за 1887 год находится в свободном доступе. К середине 2021 года более половины статей, опубликованных «Philosophical Transactions», уже были в открытом доступе. Переход всех журналов на ОА будет иметь значительные долгосрочные последствия для финансов издательства.

#обзор #журналы #история
Ограничивает ли растущая стандартизация журнальных статей интеллектуальное творчество?

Прочли исследование об анализе феномена стандартацизации научных статей на примере 18 журналов WoS в области Science and Technology Studies (STS). Если журналы начала 1990-х годов обычно содержали разнообразные и более свободные типы публикаций, такие как эссе, статьи с мнениями и более литературные произведения, то современные статьи за счет постоянного роста сопровождаются гомогенизацией своих характерных черт. Коллеги выявили следующие особенности современных статей в области STS:

• статьи содержат около 20 страниц и 50-60 ссылок,
• все чаще статьи пишутся в соавторстве,
• все большая доля авторов, публикующих статьи в WoS, используют другие публикации WoS в качестве основной литературы и в качестве модели для своих собственных работ,
• статьи чаще узкоспециализированные и представляют интерес для конкретного академического круга (вместо направленности на широкую аудиторию),
• методы исследования излагаются в специальном разделе и содержат классический набор методов сбора данных (интервью, этнографическая работа, документы, и в меньшей степени архивные работы).

Стандартизация формата статьи облегчает процесс исследования и публикации для отдельных ученых, более того, единый формат статьи позволяет обобщать и интерпретировать предыдущую литературу, формулировать исследовательские вопросы и строить аргументацию. Тем не менее, остается открытым вопрос об оригинальном и критическом вкладе ученого из-за чрезмерной стандартизации статей.

#обзор #журналы #wos
Насколько мы недооцениваем или переоцениваем свои публикации перед рецензированием?

Вышел препринт статьи о разнице восприятия своих статей авторами до и после рецензирования. Peer-review широко используется в научных исследованиях для контроля качества, но часто исследователи считают процесс рецензирования нуждающимся в улучшении. Авторы препринта смотрят на то, как соотносятся представления авторов о поданных ими работах с результатами процесса рецензирования.

Авторы провели опрос на конференции Neural Information Processing Systems (NeurIPS) 2021, которая является одной из ведущих конференцией в области машинного обучения. На конференцию было подано более 9 000 докладов от более чем 23 000 авторов. Традиционно на конференцию принимается 20-25% поданных докладов, а в 2021 году этот показатель составил 25,8%. Чтобы выяснить мнение исследователей о поданных ими работах и дальнейшем рецензировании, авторы препринта спросили у них следующее:

• какова прогнозируемая вероятность принятия каждой из их работ,
• предполагаемый рейтинг их собственных работ на основе научного вклада,
• как изменилось восприятие их собственных работ после просмотра рецензий.

Основные результаты опроса:

1️⃣ Авторы примерно в три раза переоценивают вероятность принятия их статей.

2️⃣ Авторы-женщины демонстрируют немного большую ошибку, чем авторы-мужчины; прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, калибруются примерно так же, но лучше, чем у авторов, которые не были приглашены для рецензирования.

3️⃣ Относительное ранжирование авторами научного вклада двух поданных ими материалов в целом согласуется (93%) с предсказанной ими вероятностью принятия, но есть заметные 7% ответов, где авторы считают, что их лучшая работа будет иметь худший результат с точки зрения успешного рецензирования.

4️⃣ Рейтинги, составляемые авторами, не совпадали с решениями рецензентов примерно в трети случаев; когда соавторы ранжировали свои работы, написанные совместно, они не совпадали с ними примерно в трети случаев.

5️⃣ Не менее 30% респондентов как принятых, так и отклоненных работ заявили, что после процесса рецензирования их восприятие собственной работы улучшилось.

Это интересные выводы, которые можно принять во внимание при определении своих ожиданий от рецензирования.

#обзор #рецензирование #журналы #конференции
​​Выход за мейнстрим: можно ли опубликоваться в стандартные сроки?

Новые исследования часто сталкиваются с сопротивлением со стороны господствующих научных парадигм. Публикации с высокой степенью новизны с меньшей вероятностью будут опубликованы в авторитетных журналах, а для привлечения цитирования им требуется больше времени. Такая же картина бывает и с заявками на грант: у заявок с ярко выраженной новизной исследования меньше шансов получить грант.

Коллеги исследовали, как новизна работы связана с более длительным временем рецензирования публикации. Источником стали 778 345 статей в 1159 журналах, индексируемых PubMed (статьи в области биомедицины и наук о жизни).

В работе отмечается, что предыдущие исследования новизны в публикациях сосредоточены на постпубликационных характеристиках, таких как цитирование и технологическое влияние. Это исследование рассматривает влияние допубликационной обработки.

Редакторы и рецензенты несут ответственность за оценку и контроль качества публикаций, прежде чем научная работа становится доступной для исследовательского сообщества. Одновременно они же оказывают определенное влияние на скорость распространения инноваций. Тем не менее редакции охотнее принимают исследования, которые вписываются в рамки знакомых им тем и парадигм. Рукописи, предлагающие нетрадиционные и новые тезисы, как правило, проходят более длинный публикационный путь, даже если их доказательная база столь же убедительна, как у менее новаторских статей.

Хотя академия и производственный сектор высоко ценят инновации как движущую силу научных открытий и разработки продуктов, они часто отвергают новые идеи на практике. Такие идеи отходят от существующей практики и часто сопровождаются неопределенностью или сменой старых норм. Резкая инновация имеет меньше очевидных преимуществ, чем постепенная инновация. Для принятия и распространения новых идей важен баланс между новизной и традиционностью.

В ходе исследования авторы пришли к нескольким выводам:

• Рукописи с высокой степенью новизны принимаются дольше, чем рукописи, тезисы которых менее новы и соответствуют господствующей парадигме знаний.

• Разница во времени обработки публикаций от престижных авторов/аффилиаций и менее престижных становится меньше в случае подачи рукописи с претензией на новизну.

• Влияние новых статей становится очевидным только в долгосрочной перспективе.

#обзор #журналы #новизна #рецензенты
​​Импакт-фактор журнала и экспертные оценки: к продолжению дискуссии

Несмотря на инициативы по ограничению использования импакт-фактора в оценке исследований (например, DORA), этот показатель наравне с другими наукометрическими индикаторами по-прежнему используется многими учеными и специалистами, влияющими на формирование научной политики.

Британские коллеги сравнили средние показатели цитируемости журналов с экспертными оценками опубликованных в них статей во всех областях науки на базе 96 031 проведенного исследования. Все статьи, опубликованные в 2014–2018 годах, проходили оценку в рамках программы UK Research Excellence Framework (REF) 2021. REF — это процесс экспертной оценки, проводимой по 34 укрупненным предметным группам (UOA). Экспертные группы состоят из старших научных работников, международных членов и «пользователей исследований», которые оценивают значимость результатов исследований за пределами академических кругов.

В рамках проведенного исследования ученые выяснили:

• хотя наличие положительной корреляции между экспертными оценками статей и импакт-факторами журналов сложно отрицать, во многих областях она очень слабая;

• самая высокая корреляция для 94 узких областей Scopus с не менее чем 750 статьями составила всего 0.54 для инфекционных болезней, при этом была зафиксирована одна отрицательная корреляция — для смешанной категории Computer Science (all);

• средний показатель цитируемости журнала, индексируемого в Scopus, зачастую вообще никак не связан с экспертной оценкой качества статьи;

• показатели корреляции по областям, как правило, очень низкие для группы D (в основном к ней относятся гуманитарные науки и искусство), за исключением истории. Наиболее высокие показатели фиксируются для группы A (в основном это исследования в области здравоохранения и наук о жизни). В группах B и C наблюдаются значительные различия;

• экспертные рейтинги журналов положительно коррелируют с импакт-фактором журналов для всех 27 широких областей Scopus;

• относительно сильные корреляции между престижем журнала и влиянием цитирований фиксируются в областях психологии и бизнеса;

• экспертная оценка ценности журнала, как правило, положительно коррелирует с его влиянием на цитируемость, включая более сильные корреляции для областей, связанных со здравоохранением, и более слабые корреляции для социальных наук.

Наконец, авторы отмечают, что статьи более высокого качества, как правило, публикуются в журналах с более высоким импакт-фактором во всех 34 предметных группах (UOA), во всех 27 широких областях и почти во всех 94 узких областях науки, за единственным исключением, не являющимся академической областью. Но импакт-фактор журнала никогда не является точным прогнозным показателем качества отдельных статей. Поэтому, следуя духу DORA, лучше избегать использования импакт-факторов журналов в качестве косвенного показателя качества статей, в том числе для областей, в которых эта связь положительная и статистически устойчивая.

#импактфактор #журналы #экспертнаяоценка
Так ли хороши стандартные сетевые показатели для ранжирования журналов?

Журнальные рейтинги, основанные на сетевых методах ранжирования, сильно отличаются от тех, что основаны на данных цитирования. Про сетевые методы можно почитать в нашем руководстве. Коллеги провели исследование (корректность полученных данных все еще в процессе обсуждения научным сообществом) на базе PageRank и показали, что стандартный подход к сетевому моделированию данных о цитировании на уровне журналов (т.е. проекция цитирования статей на журналы) вводит «фиктивные отношения» между журналами. Авторы использовали для анализа MEDLINE, крупнейший набор библиометрических данных в области медицинских наук с открытым доступом.

Импакт-фактор и h-индекс являются одними из наиболее широко используемых показателей для оценки журналов. Эти показатели являются локальными в том смысле, что они основаны на количестве ссылок, полученных конкретной статьей, автором или журналом за определенный период. С использованием данных о цитировании и сетевого анализа были разработаны более сложные показатели: Eigenfactor и SCImago Journal Rank. Эти показатели опираются на нелокальную информацию, тем самым придавая больший вес ссылкам на хорошо цитируемые статьи.

Основные проблемы при использовании цитирования для наукометрического анализа заключаются в том, что практика цитирования в научных областях разная, и публикации все чаще пишутся несколькими соавторами, а соавторство и количество цитирований взаимосвязаны. Плюс ко всему редакторские предубеждения связаны с социальными факторами (предыдущее соавторство/вознаграждение за цитирование и т.д.). Основная проблема при использовании сетевого анализа — важность правильного соотнесения единицы и цели анализа с соответствующим сетевым представлением. Это справедливо и в том случае, когда сетевые показатели применяются для ранжирования журналов по цитируемости статей.

Сосредоточив внимание на мерах влияния журналов, авторы показали, как наивное сочетание этих методов может привести к ошибочным или даже неверным результатам. В частности, авторы утверждают, что стандартная проекция цитирования статей на журналы может привести к появлению несуществующих связей, так называемому «фиктивному влиянию».

Такое «фиктивное влияние» не является безобидным эффектом при составлении рейтингов журналов. Результаты анализа данных о цитировании из MEDLINE показывают, что даже несмотря на то, что одни и те же журналы входят в верхние строчки рейтингов, они занимают разные позиции при использовании различных подходов ранжирования. В целом, результаты исследования показывают, что «фиктивное влияние» существенно влияет на надежность PageRank как способа ранжирования журналов.

Предложение коллег сводиться к тому, чтобы не концентрироваться на отдельных ссылках на цитаты, а рассматривать последовательные ссылки между статьями для получения путей цитирования.

Также чтобы преодолеть проблему «фиктивного влияния», возможным решением являются сети более высокого порядка. Однако разработка адекватных наукометрических показателей — очень сложная задача. Например, Лейденский манифест предлагает искать баланс между сложностью индикаторов и прозрачностью их расчетов. Использование известных сетевых мер может повысить их прозрачность; в то же время дополнительная сложность сетей высшего порядка может замаскировать их смысл. Следовательно, жизнеспособность этих методов будет зависеть от предполагаемого использования.

#обзор #журналы #цитирование #сетевойанализ
ChatGPT и научные публикации

Ведущие научные издательства наперегонки запрещают брать в соавторы ChatGPT, но получится ли загнать джинна в бутылку? И хорошо ли такой запрет сочетается с рекомендациями использовать AI в науке максимально прозрачно? Вопросы будут только множиться.

А пока отмечаем, что индекс Хирша ChatGPT уже достиг отметки 2 по Google Scholar. Один из первых его соавторов — русскоязычный ученый Алексей Жаворонков, сотрудничавший с МФТИ. Правда, к издательству, опубликовавшему работу (и принадлежащему русскоязычным биотехнологам — из пяти ссылок у Жаворонкова две первые на главреда-владельца), есть существенные претензии.

Насколько можно считать этот материал полноценной публикацией, судите сами. Это несложно: текст занимает полторы страницы. Возможно, поэтому редакция приняла его к печати за один(!) день.

#новости #журналы
После того, как мы рассказали о возможностях доступа в Scopus, подписчики спросили также о доступе в SciVal.

Отвечаем: здесь никаких открытых API нет и не будет. SciVal — крайне дорогая система, приобретать которую изначально был смысл только для самых крупных российских вузов, но и для них часть модулей этой системы была избыточна. У огромного множества ведущих мировых вузов доступа к SciVal и InСites нет, что никак не мешает им развиваться гораздо быстрее нас.

В России SciVal был популярен в нескольких контекстах:
• Сравнение стран и организаций. Здесь многое можно сделать через API Scopus, о чем мы расскажем в скором времени.
• Проверка «квартилей SNIP» — не вполне научной журнальной метрики, выбранной в качестве целевой в привязке к финансированию (разработчики SNIP, узнав о таком применении, вероятно, сильно бы удивились). Здесь мы помочь не сможем. При выборе журналов опирайтесь на мнение ведущих специалистов в соответствующих областях, используя наукометрию только справочно.
• Глубокомысленное изучение цветных кружков с «прорывными фронтирами» и «горячими топиками».

Как раз для этого недавно появился крайне интересный общедоступный инструмент — карта мировой науки, построенная на огромном связном датасете Merged Academic Corpus (напоминаем о наших видео про открытые данные и идентификаторы — именно про это). 100 тысяч кластеров с динамикой, ведущими подразделами, странами, авторами, финансирующими организациями. Все открыто, красиво, ярко, есть даже большая галочка-фильтр «Extreme Growth Predicted». Иными словами, то, что нужно для подготовки презентаций руководству. Если, конечно, их не смущает изготовитель — американский Центр безопасности и новых технологий.

#scopus #журналы #россия
Насколько Crossref может быть полезен как инструмент библиографического поиска в сфере искусства и гуманитарных наук, попробовали выяснить коллеги из Барселонского университета.

Scopus и Web of Science традиционно критикуются за ограниченность в плане отслеживания исследований в отдельных дисциплинах. Недавнее сравнение этих коммерческих продуктов с открытыми базами данных от наших коллег, показало, что в некоторых аспектах качество находящихся в свободном доступе метаданных оказывается ничуть не хуже, чем метаданные Scopus/WoS. Авторы рассматриваемого нами сегодня исследования попытались пойти дальше и провести схожий анализ в сфере искусства и гуманитарных наук. Ключевая идея работы связана с поиском ответа на вопрос, помогает ли охват CrossRef (данные А.В. Лутая и Е.Э. Любушко на общем массиве были не во всех случаях в пользу данного продукта) отслеживать литературу по искусству и гуманитарным наукам, учитывая, что в этих областях как правило присутствует национальная и региональная направленность и ориентация на внутреннюю аудиторию?

Чтобы ответить на этот вопрос, авторы проанализировали охваты журналов в ERIH PLUS (European Reference Index for the Humanities), который содержит библиографическую информацию об академических журналах в области социальных и гуманитарных наук. На момент сбора данных, февраль 2022 года, в ERIH PLUS было включено 10 213 журналов. И также создали выборку статей по искусству и гуманитарным наукам, опубликованных в 2020 году, чтобы определить, в какой степени метаданные присутствуют в отдельных случаях (подробнее о выборке в препринте).

Что получили в итоге:

• В Scopus было проиндексировано 49% журналов, перечисленных в ERIH PLUS, а Crossref — 80%. Scopus представил широкий охват журналов, опубликованных в Северной Америке (86% журналов, перечисленных в ERIH PLUS), Океании (86%), Северной Европе (85%) и Западной Европе (74%). Crossref, как и Scopus, охватывает журналы ERIH PLUS, опубликованные в Северной Америке (94%), Северной Европе (94%), Океании (88%) и Западной Европе (86%). Охват также был широк для Азии (80%), Латинской Америки и Карибского бассейна (76%) и Восточной Европы (73%). Регионами с наименьшим охватом были Южная Европа (66%) и Африка (56%), хотя в обоих случаях охват был выше, чем у Scopus.

• Что касается метаданных, то журналы, издаваемые в Латинской Америке и Карибском бассейне (86%), Южной Европе (83%) и Восточной Европе (75%), чаще всего размещали аннотации к своим статьям. Издатели из Северной Европы чаще всего депонировали ORCID (78%) и аффилиации (67%), в то время как издатели из Латинской Америки и Карибского бассейна, как правило, депонировали ORCID (77%), но не аффилиации (11%). Информацию о финансировании чаще всего депонировали журналы, издаваемые в Северной Европе (62%) и, в меньшей степени, в Северной Америке (51%).

• Большинство статей по искусству и гуманитарным наукам, проиндексированных в Scopus в 2020 году, были также представлены в Crossref, причем охват варьировался от 86% для статей на польском языке до 99% для статей на английском языке, который был самым распространенным языком в выборке. Единственным крупным исключением были статьи на итальянском языке: лишь четверть (27%) статей, проиндексированных в Scopus, были представлены в Crossref. Большинство статей на португальском (81%), испанском (71%) и польском (68%) имели аннотацию, тогда как для статей на английском языке этот процент снизился до 31%. Напротив, 88% статей на английском и 45% статей на португальском языке включали ссылки. 35% статей на английском языке включали информацию о финансировании, но на других языках эта информация появлялась очень редко.

Это исследование показывает, что Crossref индексирует больше источников, чем Scopus, и включает дополнительные журналы из Восточной и Южной Европы и Глобального Юга. Crossref представляет собой перспективный инструмент библиографического поиска в области искусств и гуманитарных наук, но нуждается в улучшении в отношении уровня заполнения метаданных.

#обзор #журналы #crossref #открытыйдоступ
Как меняется международное соавторство в российских публикациях?

Публикации 2022 года уже в основном проиндексированы в Scopus, поэтому можно попробовать ответить на этот вопрос с опорой на данную базу.

Мы подсчитали общее число публикаций в Scopus (article, review, data paper, book, book chapter) в разбивке по укрупненным группам наук и трем ключевым странам: США, Китай и Германия. Предваряя результаты, отметим: все области очень разного размера, и чем больше число публикаций, тем показательнее данные о проценте работ с той или иной страной. Четыре области, в которых за два года не набралось и тысячи российских публикаций, мы из рассмотрения исключили. Также исключена область «мультидисциплинарные исследования», на деле состоящая из публикаций в журналах типа PLOS One, которые Scopus не умеет приписывать к конкретным тематикам.

Процент работ с иностранными соавторами выбранных стран в целом мал: шкала на диаграммах не доходит до 20%. Это во многом объясняется успешным покорением Scopus сотнями российских журналов, случившимся в последние годы, и неравномерным по направлениям. Международных статей в них, увы, в среднем очень мало. С другой стороны, если вовсе исключить из рассмотрения российские журналы, картина будет тоже искажена.

Направления на диаграммах расположились по часовой стрелке по тематической близости (в понимании Scopus): науки о здоровье, затем сельскохозяйственные и биологические, технические и естественные, общественные и гуманитарные.

На графиках: общее число публикаций России в 2021-22 гг. по областям науки; процент российских работ с аффилиацией данной страны в 2021 году; процент российских работ с аффилиацией данной страны в 2022 году.

#журналы #россия #scopus #инфографика #международноесотрудничество
​​SJR 2022: что изменилось для российских журналов

В начале месяца обновились данные по показателю SJR для журналов, входящих в Scopus. Всего в обновленный список вошло 27955 изданий (годом ранее — 28306 журналов). В целом, тренд на сокращение рейтингового списка сохраняется с 2017 года.

Как и в прошлом году мы решили посмотреть на изменение позиций для журналов из России. Всего таких изданий в списке 507 — на 3 больше, чем в прошлом году. Большинство журналов Q1 по максимальному квартилю сохранили свои позиции (35 из 53). Сразу 7 журналов без квартиля по итогам прошлого года попали в Q1 сейчас, но в целом доля верхних квартилей изменилась незначительно. Журналы без квартиля в прошлом году в основном попали в 4 квартиль (41 из 76).

Для наглядности вновь подготовили sankey-диаграмму, которая отражает «миграцию» журналов. Кроме того, к ней прилагается таблица с указанием квартилей журналов в 2021 и 2022 году, в которой можно отфильтровать представленные на диаграмме случаи.

#scopus #sjr #квартили #россия #журналы #инфографика
Соответствие журналов Белого списка квартилям журналов в Scopus и WoS

На страничке Белого списка (далее БС) появились уровни журналов. На представленных ниже картинках мы построили связь между старыми квартилями по двум базам и новыми уровнями.
В целом можно сказать, что уровни БС примерно соответствуют квартилям Scopus. Тогда как журналы WoS входят в основном в первые 3 уровня, а первый уровень БС соответствует 1-2 квартилю WoS.

#журналы #белыйсписок #scopus #wos #россия
​​Цитирования и качество исследований: есть ли взаимосвязь?

Мы уже писали про анализ использования импакт-фактора в оценке исследований от британских коллег (там же мы кратко рассказали о программе UK Research Excellence Framework). Авторы того исследования обнаружили очень слабую положительную корреляцию между экспертными оценками статей и импакт-факторами журналов. Статья, о которой мы расскажем сегодня, является ответвлением исследования, проведенного в 2021 году в рамках подготовки к REF2028, и посвящена анализу взаимосвязи цитирований и качества исследований.

Ценность цитирований для оценки качества исследований нередко становится предметом научных споров. Безусловно, не всегда ясно, что именно подразумевают под качеством исследований, но обычно его рассматривают с точки зрения методологической строгости, новизны/оригинальности и влияния на науку или общество. Авторы называют свою статью первой крупномасштабной общенаучной академической оценкой взаимосвязи качества исследований и цитирований, сопоставляя данные для 87739 журнальных статей по 34 укрупненным предметным группам (UoA). Эти два показателя положительно коррелируют во всех академических областях, отражая в целом линейные отношения во всех областях.

Основные выводы, к которым авторы приходят:

• Статьи с большим количеством цитирований, как правило, более высокого качества во всех областях науки. Положительные корреляции наблюдаются даже в большинстве областей искусства и гуманитарных наук (включая Music, Drama, Dance, and Performing Arts; Studies in Creative Arts and Writing; Arts and Humanities), хотя сила этих связей значительно варьируется (см. скриншот).

• Высокое цитирование не гарантирует однозначное высокое качество исследований в какой-либо области.

• Положительная связь между исследованиями качества и цитируемости относительно универсальны.

К ограничениям данного исследования можно отнести тот факт, что все отобранные журнальные статьи публиковались сотрудниками британских университетов, и взаимосвязь между цитированием и качеством может быть иной в других странах. К тому же нормализация поля ограничена схемами Scopus и Dimensions, а сами статьи выбираются авторами самостоятельно и в большинстве случаев представляют лучшие по их мнению работы.

Таким образом, несмотря на то, что цитирование, нормализованное по соответствующим областям, положительно коррелирует с качеством исследований во всех областях, оно никогда не отражает значимость исследования в полной мере, даже при переходе к высокоцитируемым публикациям.

#обзор #цитирование #журналы #экспертнаяоценка
Предметные рейтинги вузов: кейс норвежского списка журналов

Ранее мы обращали внимание на экспертные списки, используемые в мире в качестве инструментов оценки науки. Сегодня подготовили небольшой срез по публикациям 2019-2023 гг. крупнейших российских вузов в журналах, входящих в 1-ый и 2-ой уровни норвежского списка. Напомним, что ко второму уровню относятся ведущие журналы, а к первому — те, которые известны специалистам в своих областях и обеспечивают приемлемый уровень публикаций. Сводный балл, который лежит в основе сравнений, формировался исходя из принципа: 1 статья в ведущем журнале (2-го уровня; NPI2) = 3 статьи в обычном журнале (1-го уровня; NPI1). С результатами анализа можно ознакомиться по ссылке. Для удобства сравнений приводим аналитику в разрезе областей и организаций.

P.S. Заметим, что норвежская система оценки ориентируется также на долевой подсчет, поэтому результаты по некоторым областям могут быть смещены из-за мегаколлабораций.

#экспертныесписки #журналы #национальнаясистема
​​Изменения в квартилях журналов WoS

28 июня компания Clarivate опубликовала очередной список Journal Citation Reports (JCR), в котором приводится распределение по квартилям для всех журналов, индексирующихся в Web of Science.
Как и в случае с квартилями SJR, мы проанализировали «миграцию» журналов между квартилями. Кроме того, приведены диаграммы, показывающие различия в распределении самого импакт-фактора для разных коллекций (AHCI, ESCI, SCIE и SSCI). Нужно отметить, что для журналов из коллекций Arts and Humanities Citation Index (AHCI) и Emerging Sources Citation Index (ESCI) импакт-факторы опубликованы впервые.

#wos #журналы #инфографика #квартили
«Мертвые души» в соавторах

31 октября в некоторых странах в канун католического Дня всех святых широко отмечается Хэллоуин. Несмотря на неоднозначные реакции и отношение к его празднованию в России, сама дискуссия — хороший повод затронуть близкие к области death studies вопросы в контексте наукометрии. Сегодня мы рассмотрим кейс, касающийся посмертного авторства, на примере известного венгерского математика Пала Эрдёша (1913-1996).

Широкой публике он известен в первую очередь благодаря шуточному «числу Эрдёша» — рекуррентно определяемому показателю, который демонстрирует кратчайший путь соавторства от какого-либо ученого к самому Эрдёшу: например, у прямого соавтора Эрдёша показатель 1, у исследователя, пишущего в коллаборации с соавтором Эрдёша — 2, а ученые, от которых нельзя построить цепочку соавторств с Эрдёшем, имеют в качестве показателя бесконечность. По сути, можно сказать, что число Эрдёша — это число «рукопожатий» между соавторами (проверить, какое у вас число Эрдёша, вы можете в специальном сервисе).

В заметке 2011 года Вольфганг Гленцель (Wolfgang Glänzel) отмечает, что по разным причинам уже в 21 веке — в период от 3 до 10 лет после смерти П. Эрдёша — вышло 25 статей, которые указывали его как соавтора. Работу Гленцеля, в свою очередь, упоминает польский ученый Марек Космульски (Marek Kosmulski) в статье 2021 года в рамках исследования случаев фиктивного посмертного соавторства.

«Фиктивное авторство» — это форма научного мошенничества, в котором недобросовестные ученые поддельно приписываются к исследованию из корыстных соображений (например, наиболее распространенный случай: старший коллега принуждает младшего добавлять его в соавторы). В качестве случая крайнего злоупотребления соавторством Космульски приводит исследованный в статье 2020 года случай, названный «free-riding»: руководитель группы добавляет всех членов в качестве соавторов, и у последних зачастую нет права редактировать конечный вариант «их» текста.

Такая форма фиктивного соавторства, как посмертное, имеет свои особенности, т.к. усопший автор всегда более уязвим для манипуляций его именем. Для подобных случаев Космульски предлагает новое понятие — «некроавторство».

При этом Космульски подчеркивает, что не относит к фиктивному соавторству те случаи подлинного посмертного авторства, причиной которых стали:

• Технические проблемы: между отправкой и окончательной печатью прошло много времени.
• Финансовые проблемы: автор был слишком беден, чтобы покрыть расходы на печать, и не мог найти спонсоров.
• Цензура (например, государственная или издательская), и т. д., не позволившие опубликовать работу при жизни автора.

Чтобы обосновать границу легитимного указания на авторство, Космульски ссылается на критерии Международного комитета редакторов медицинских журналов (ICMJE):

• Существенный вклад в разработку концепции или дизайна работы, а также получение, анализ или интерпретация данных для работы,
• Подготовка проекта работы или ее критический пересмотр с учетом важного интеллектуального содержания,
• Окончательное утверждение версии для публикации,
• Согласие нести ответственность за все аспекты работы, чтобы вопросы, связанные с точностью или целостностью любой части работы, были надлежащим образом изучены и решены.

Если хотя бы один из критериев не выполнен, то возникает повод сомневаться в уместности указания соавторства.

По оценке автора «некроавторство» как форма научного мошенничества не является серьезной угрозой, так как почти не приносит реальной пользы. Однако он замечает, что в случае с менее известными учеными, чем П. Эрдёш, редакторы и рецензенты могут не иметь технической возможности узнать о кончине одного из авторов, что открывает пространство для манипуляций.

#обзор #журналы #некроавторство
Цели устойчивого развития: сравнение исследований по Web of Science и OpenAlex

С тех пор как в 2015 году ООН представила «Цели в области устойчивого развития» (ЦУР) в качестве основной повестки на период до 2030 года, классификация исследовательских работ, содействующих выполнению поставленных целей, стала еще одним широко используемым подходом при анализе научного вклада и результативности. Для того, чтобы отметить вклад исследователей в достижение этих целей, в базах Scopus и WoS были введены специальные классификаторы, указывающие на реализацию какой из 17 целей направлено конкретное исследование. Такая схема позволила ученым оценить текущие объемы исследований в разрезе не только научных областей, но и ЦУР. Однако, можно задаться вопросом, насколько репрезентативны данные классификаторы?

Так, в 2020 году вышло крупное исследование, посвященное оценке разных подходов к определению связи исследований с ЦУР. В нем авторы указывают, что любое подобное исследование должно предполагать несколько этапов подготовки: (а) предварительная интерпретация тем и концепций ЦУР, (б) определение того, что подразумевается под “вкладом” в ЦУР, (в) преобразование концепций в поисковый запрос, который позволит найти публикации, внесшие вклад, и (г) выбор базы данных.

Исследователи отобрали статьи, которые напрямую заявляют о своем вкладе в ЦУР (т.к. оценить косвенный вклад крайне сложно), и сравнили получившиеся результаты с тем, что было реализовано при помощи SciVal компанией Elsevier. В результате они обнаружили большое расхождение полученных данных. Несмотря на то, что их собственный подход выявил примерно схожее с WoS количество статей, тем не менее, найденные разными подходами статьи совпадали только в 25-50% случаев (в отношении разных целей процент совпадения варьировался). Исходя из этих результатов, авторы статьи настаивают на том, что данные WoS, посвященные ЦУР, следует оценивать критически.

При этом 13 сентября команда OpenAlex анонсировала обновление схемы базы данных: среди прочего, были добавлены поля и баллы для обозначения силы связей с целями устойчивого развития; для разметки использовалась модель машинного обучения, основанная на репозитории Aurora Universities Network. Этот репозиторий содержит размеченные поисковые запросы, касающиеся реализации ЦУР. Мы решили воспользоваться этим, чтобы расширить и дополнить анализ приведенного исследования.

С этой целью сделали собственную выборку из OpenAlex. Первоначально были отобраны более 112 тысяч статей, для которых указана тематика (concept) «sustainable development goals», а из них выделены статьи, для которых сила связей с различными целями составляет не менее 0,6. Таких статей оказалось 21 300.

Наибольшее количество статей посвящены следующим целям:

- Цель №2 «ликвидация голода» (4536),
- Цель №8 «достойная работа и экономический рост» (4078),
- Мета-цель №17 «партнерство в интересах устойчивого развития» (3642),
- Цель №9 «индустриализация, инновации и инфраструктура» (2025).

Кроме того, мы выяснили, что 52% статей находятся в открытом доступе, при этом 65% из них имеет статус Gold OA.

Следует отметить, что статьи, отобранные таким образом, все-таки составляют неполный датасет, поскольку концепции присваиваются автоматически на основании заголовка и аннотации статьи. Таким образом, если в этих полях не указывались «цели устойчивого развития» в качестве термина, статья не попадала в нашу выборку.

Результат визуализирован в приведенной диаграмме. Предлагаем читателям сравнить показатели.

#цур #wos #openalex #обзор #журналы #инфографика
​​SJR 2023: ежегодное обновление

На прошлой неделе вышло обновление показателя SJR для источников, входящих в Scopus. Всего в обновленный список вошло 29165 изданий, у 28740 изданий есть квартиль (в 2022 году квартили были присвоены 27606 изданиям, а в 2021 — 26701). Таким образом, тренд на сокращение списка, сохранявшийся с 2017 года, развернулся в сторону увеличения количества изданий, что не могло не повлиять на квартильные окна (особенно в гуманитарных и социально-экономических дисциплинах, где различия в значениях SJR порой минимальны).

Мы по традиции решили рассмотреть изменение позиций российских журналов. Всего таких изданий в нынешнем списке 566, квартиль присвоен 559 (в прошлом году журналов было 565, из них квартиль был у 504). Большинство журналов Q1 по максимальному квартилю сохранили свои позиции (48 из 69). Кроме того, в Q1 вошло 2 издания, не индексировавшихся ранее.

Для наглядности мы обновили sankey-диаграмму (https://hsenc.shinyapps.io/sjr-update/), которая отражает «миграцию» журналов. Теперь в ней три столбца — 2021, 2022 и 2023 гг. соответственно. В таблице по той же ссылке можно проверить квартили для отдельных журналов за те же годы.

#scopus #sjr #квартили #россия #журналы #инфографика