Что нам показывает история развития старейшего научного издания?

На примере «Philosophical Transactions of the Royal Society», который часто называют старейшим в мире научным периодическим изданием, Камилла Мёрк Рёствик прослеживает, как длительный взгляд на научные публикации может помочь нам лучше понять текущее положение вещей в научной индустрии.

5 основных выводов по материалам из 350-летней истории старейшего журнала:

1. Научные публикации всегда были международными

Philosophical Transactions начал свою жизнь в 1665 году в Лондоне. Однако по меньшей мере половина материалов раннего журнала была написана не на английском языке. Интернациональность, лингвистическая гибкость и открытость были достоинством и сильной стороной академических изданий на протяжении веков. При этом ранний интернационализм европейских журналов редко охватывал колонии и развивающиеся страны.

2. Рецензирование не всегда было частью публикационного процесса

Процессы публикации статьи не были устоявшимися с самого начала. Они включали нормы подачи и оценки, в том числе систематическое рецензирование к середине 19 века (группа экспертов из Комитета по публикациям оценивала достоинства статьи). Это заложило основу для будущих изменений, но еще не включало анонимное рецензирование или структуры для оценки на основе отдельных критериев, которые появились значительно позже.

3. Долгое время публикация научных исследований не приносила денег

Выпуск журнала обходился в среднем в 300 фунтов стерлингов в год (сегодня эта сумма равнозначна примерно 30 000 фунтам стерлингов), из которых редко окупалось более половины. Кроме того, авторам разрешалось брать копии отдельных статей для собственного использования (100 экземпляров).

4. Научное издательство не свободно от коммерческих интересов

К двадцатому веку журнал стал все острее ощущать давление со стороны коммерческих и университетских издательств. Предпринимались различные попытки сохранить и расширить относительно недавно обретенную прибыльность журнала. Комитет призывал стипендиатов подавать больше статей, сократил количество бесплатных копий статей для авторов до пятидесяти. Эти изменения свидетельствуют о наступлении нового времени, когда журналы должны были зарабатывать деньги.

5. Открытый доступ: разнонаправленные ожидания

Сегодня «Philosophical Transactions of the Royal Society» выпускает десять научных журналов (два из которых находятся в открытом доступе), а также множество периодических изданий. К 2010-м годам новое внимание к эффективности позволило журналам публиковать исследования быстрее, чем они это делали раньше, и получать больший доход. Журналы издательства впервые появились в интернете в 1997 году, а с 2010 года весь архив выпусков за 1887 год находится в свободном доступе. К середине 2021 года более половины статей, опубликованных «Philosophical Transactions», уже были в открытом доступе. Переход всех журналов на ОА будет иметь значительные долгосрочные последствия для финансов издательства.

#обзор #журналы #история

​​Публикации по философии в Scopus 2011-2021: рейтинг ВУЗов и научных организаций

Сегодня, во всемирный день философии, мы предлагаем посмотреть, как сменяли друг друга вузы и научные организации в рейтинге по числу публикаций в журналах по философии (article и review) за последние 10 лет. Приводим динамику по данным Scopus. Российские организации выделены синим цветом.

#инфографика #университеты #scopus

​​Вышке 30: 2021 год

В 2021 году Вышка запустила первую полностью дистанционную программу бакалавриата. Ей стала программа «Компьютерные науки и анализ данных». Также прошел первый конкурс лучших русскоязычных научных (по гуманитарным, социальным и естественным наукам) и научно-популярных проектов (книги, лекции, видео-каналы, подкасты, онлайн-проекты и др.) работников Вышки.

Георгий Сюняев, который прошел путь от студента до аспиранта и научного сотрудника Вышки, стал соавтором глобального исследования, посвященного феномену доверия к вакцинации. Эта статья стала самой цитируемой статьей с автором из ВШЭ в 2021 году.

#вышка #вышке30 #обзор

Ограничивает ли растущая стандартизация журнальных статей интеллектуальное творчество?

Прочли исследование об анализе феномена стандартацизации научных статей на примере 18 журналов WoS в области Science and Technology Studies (STS). Если журналы начала 1990-х годов обычно содержали разнообразные и более свободные типы публикаций, такие как эссе, статьи с мнениями и более литературные произведения, то современные статьи за счет постоянного роста сопровождаются гомогенизацией своих характерных черт. Коллеги выявили следующие особенности современных статей в области STS:

• статьи содержат около 20 страниц и 50-60 ссылок,
• все чаще статьи пишутся в соавторстве,
• все большая доля авторов, публикующих статьи в WoS, используют другие публикации WoS в качестве основной литературы и в качестве модели для своих собственных работ,
• статьи чаще узкоспециализированные и представляют интерес для конкретного академического круга (вместо направленности на широкую аудиторию),
• методы исследования излагаются в специальном разделе и содержат классический набор методов сбора данных (интервью, этнографическая работа, документы, и в меньшей степени архивные работы).

Стандартизация формата статьи облегчает процесс исследования и публикации для отдельных ученых, более того, единый формат статьи позволяет обобщать и интерпретировать предыдущую литературу, формулировать исследовательские вопросы и строить аргументацию. Тем не менее, остается открытым вопрос об оригинальном и критическом вкладе ученого из-за чрезмерной стандартизации статей.

#обзор #журналы #wos

Год каналу «Выше квартилей»!

Сегодня нашему каналу исполняется ровно год! Чтобы отметить это событие, мы составили ТОП-10 публикаций за год по количеству просмотров.

1️⃣ Немного наукометрии в твоём кармане
2️⃣ С днём всех влюблённых!
3️⃣ SciHub сходит со сцены? Процент нелегально доступных статей ежегодно падает
4️⃣ Высшая школа экономики как сеть соавторов
5️⃣ Лидеры РФ по высокоцитируемым публикациям
6️⃣ Приглашаем всех на открытые и бесплатные вебинары по новой наукометрии!
7️⃣ Агрегаторы научных конференций
8️⃣ Новые квартили WoS
9️⃣ Динамика высокоцитируемых публикаций для ВУЗов трека «Исследовательское лидерство» в программе Приоритет 2030
🔟 Компьютерные науки в мире и России: анализ через топовые конференции

За этот год мы успели выпустить обзоры на статьи и события, визуализировали данные, сравнивали российские вузы и научные учреждения, анализировали экспертные списки. По хэштегу #обзоры можно почитать рецензии и обзоры на научные статьи и книги, по хэштегу #руководство — материалы и обновления в онлайн-руководстве по наукометрии, в группе #университеты — материалы, связанные с ВШЭ и другими университетами, а в разделах #инфографика и #инструменты — инструменты, метрики и термины, полезные для наукометрического анализа и развития учёного. Больше хэштегов для навигации закреплено в нашем первом посте.

Надеемся, что следующий год будет таким же продуктивным, и благодарим всех авторов и читателей нашего канала!

«Новая наукометрия»: вебинар 4

Заключительный вебинар пройдет 30 ноября в 12:00 и будет посвящен эволюции научной экспертизы и снижению\модификации роли наукометрии в ней. Спикер — Иван Стерлигов.

Обсудим битву цветущей сложности и объективной измеримости. В программе:

1. DORA и Leiden Manifesto годы спустя
2. Новая официальная политика ЕС: пример борьбы с наукометрией и формализмом — или симуляция?
3. Примеры организации экспертизы на разных уровнях
• Практики ведущих грантодателей
• Оценка университетов. Изменения в REF, ERA, Норвежской модели
4. Импакт без фактора: прикладная оценка влияния науки на общество и экономику
5. Сохраняя локальное? Языки и контексты в глобальном эффективном мире

Регистрация на вебинар по ссылке.

Видео и слайды первых вебинаров размещены на сайте Центра.

#анонсы #вебинары

Вышке 30!

27 ноября Вышке исполняется 30 лет! И мы завершаем наш наукометрический анализ подборкой картинок по данным публикационной активности Вышки с 1992 по 2021 год. С отрывом движутся публикации по социальным наукам. А самая цитируемая публикация тридцатилетия — ”SciPy 1.0: fundamental algorithms for scientific computing in Python” за авторством Евгения Буровского.

#вышка #вышке30 #обзоры

Движение к открытости

Мы начинаем новую рубрику, где будем рассказывать о лучших — и бесплатных для авторов! — каналах публикации в открытом доступе.

SciPost — одна из знаковых подобных инициатив. В ее центре — переход к открытой науке на условиях самого научного сообщества, а не for-profit издательств. Она снимает главную проблему — необходимость брать деньги с авторов — за счет сочетания дешевизны, основанной на современных технологических решениях, и спонсорства. Это позволяет отбирать статьи, руководствуясь только их научным качеством и новизной.

Это платформа открытой публикации и открытого рецензирования, созданная в 2016 году голландскими физиками и популярная у их коллег во всем мире, включая Россию.

Отбор рукописей тоже ведется открыто, можно подавать препринты прямо из arxiv.org. После первоначальной проверки (плагиат, конфликт интересов, минимально приемлемый научный уровень) поданные рукописи смотрят члены редколлегии (editorial college), выбирают близкие себе и приглашают рецензентов, чьи рецензии публикуются открыто (анонимность — на усмотрение рецензента). При этом допускаются и внешние рецензии без приглашения, так что если Вы — физик, химик или математик, можете попробовать свои силы, но опубликуют только рецензии, научный уровень которых оперативно проверен редколлегией.

Доработанные рукописи публикуются там же, их комментируют рецензенты, а затем editorial college простым голосованием принимает решение о финальной публикации по лицензии CC-BY. SciPost с гордостью называет свою систему ”arguably the most stringent editorial quality control system available”, что подтверждается выбором этого журнала самыми притязательными авторами: достаточно упомянуть идеолога «Корпуса экспертов» М.В. Фейгельмана. Еще одно подтверждение — сравнительно небольшое число публикаций, составляющее для флагманского SciPost Physics менее 300 статей в год.

Модель крайне воодушевляет всех от идеологов Plan S до крупнейших грантодателей и университетов, что отражается в списке доноров. Удастся ли ее масштабировать и распространить на другие области, покажет время и усилия самого научного сообщества.

А что же импакт-фактор? Конечно имеется, и весьма высокий.

#открытыйдоступ #движениекоткрытости #бесплатнодляавторов

Насколько мы недооцениваем или переоцениваем свои публикации перед рецензированием?

Вышел препринт статьи о разнице восприятия своих статей авторами до и после рецензирования. Peer-review широко используется в научных исследованиях для контроля качества, но часто исследователи считают процесс рецензирования нуждающимся в улучшении. Авторы препринта смотрят на то, как соотносятся представления авторов о поданных ими работах с результатами процесса рецензирования.

Авторы провели опрос на конференции Neural Information Processing Systems (NeurIPS) 2021, которая является одной из ведущих конференцией в области машинного обучения. На конференцию было подано более 9 000 докладов от более чем 23 000 авторов. Традиционно на конференцию принимается 20-25% поданных докладов, а в 2021 году этот показатель составил 25,8%. Чтобы выяснить мнение исследователей о поданных ими работах и дальнейшем рецензировании, авторы препринта спросили у них следующее:

• какова прогнозируемая вероятность принятия каждой из их работ,
• предполагаемый рейтинг их собственных работ на основе научного вклада,
• как изменилось восприятие их собственных работ после просмотра рецензий.

Основные результаты опроса:

1️⃣ Авторы примерно в три раза переоценивают вероятность принятия их статей.

2️⃣ Авторы-женщины демонстрируют немного большую ошибку, чем авторы-мужчины; прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, калибруются примерно так же, но лучше, чем у авторов, которые не были приглашены для рецензирования.

3️⃣ Относительное ранжирование авторами научного вклада двух поданных ими материалов в целом согласуется (93%) с предсказанной ими вероятностью принятия, но есть заметные 7% ответов, где авторы считают, что их лучшая работа будет иметь худший результат с точки зрения успешного рецензирования.

4️⃣ Рейтинги, составляемые авторами, не совпадали с решениями рецензентов примерно в трети случаев; когда соавторы ранжировали свои работы, написанные совместно, они не совпадали с ними примерно в трети случаев.

5️⃣ Не менее 30% респондентов как принятых, так и отклоненных работ заявили, что после процесса рецензирования их восприятие собственной работы улучшилось.

Это интересные выводы, которые можно принять во внимание при определении своих ожиданий от рецензирования.

#обзор #рецензирование #журналы #конференции

Взаимоцитирования США и Китая в области искусственного интеллекта

В последние годы ландшафт исследований в области машинного обучения изменился ввиду значительного роста числа китайских исследований в области искусственного интеллекта. В настоящее время Китай занимает стабильное второе место по количеству публикаций на NeurIPS (о которой мы упоминали в предыдущем посте) после США. В 2021 году материалы с аффилиациями китайских институтов составили 17,5% от всех публикаций в рамках NeurIPS. При этом несмотря на положение Китая как одного из лидеров развития ИИ сотрудничество между китайскими и американскими институтами происходит реже, чем, например, между американскими и западноевропейскими институтами.

Используя данные о цитировании конференционных материалов NeurIPS, авторы проанализировали взаимовлияние работ американских и китайских институтов. В то время как американские доклады составляют 60% общего набора данных, на них приходится только 34% ссылок от китайских коллег. Показатели цитирования китайских авторов от исследователей из США еще более драматичны: в то время как китайские материалы составляют 34% от всего набора данных, на них приходится только 9% цитирований от американских коллег. Кроме того, исследователи каждого из рассмотренных регионов намного чаще предпочитают внутрирегиональное цитирование межстрановому: разница между двумя показателями составляет 21% для Китая, 41% для США и 14% для Европы.

Таким образом, несмотря на то, что американские и китайские исследователи публикуются в одних и тех же сборниках и выступают на одних и тех же конференциях, они представляют собой во многом два параллельных сообщества, каждое из которых публикует работы, имеющие ограниченное влияние на соседей. В какой-то степени этот разрыв может объясняться интересом к разным темам и различными приоритетами исследований. Однако для компьютерных наук и областей, связанных с искусственным интеллектом, развитие коммуникации между странами, вносящими значимый вклад в данные области, может значительно ускорить достижение новых прорывных результатов.

#обзор #цитирования #китай #сша #искусственныйинтеллект

Языковое разнообразие научных публикаций: на примере нового хэндбука по социальным наукам

Про важность языкового разнообразия в научных публикациях мы уже писали здесь и здесь, но после заключительной лекции Ивана Стерлигова на курсе «Новая наукометрия», где он затронул эту тему, хотим еще раз обратиться к ней. Многоязычие очень важно для общественных и гуманитарных наук. Польские и бельгийские коллеги выпустили хэндбук про то, какие есть практики оценки общественных и гуманитарных наук в разных странах и каков вклад этих стран на национальном языке — Handbook on Research Assessment in the Social Sciences (2022).

Исследователи обычно публикуются более чем на одном языке, чаще всего на местных языках и английском. Но язык научного общения — это также и инструмент контроля за исследованиями, разработками и инновациями, производимыми исследователями в данной стране.

В течение многих лет в научном общении существовал свой lingua franca, причем сначала вовсе не английский, а латынь, французский и немецкий языки. Также есть ведущие языки для исследований в области социальных наук в определенных регионах, например, испанский для Латинской Америки или арабский для арабского мира. Кроме того, страны с меньшим числом носителей национального языка имеют меньше академических публикаций на этом языке, чем в более крупных странах.

Для изучения языковых моделей исследователей социальных наук в семи европейских странах авторы использовали информацию о рецензируемых журнальных статьях, опубликованных 32 386 исследователями в 2013-2015 годах в Чехии, Дании, Финляндии, Бельгии, Норвегии, Польше и Словении.

На этой базе авторы хэндбука провели анализ с точки зрения стажа и гендера. 65% исследователей в начале карьеры (до 10 лет с момента получения PhD) опубликовали работы на двух или более языках, в то время как среди исследователей со стажем более 11 лет публиковались на двух или более языках 61,5%. А среди более старших исследователей (31+ год с момента получения PhD) только 54% публиковались на двух или более языках. Среди женщин на двух или более языках публиковались 56,9%, а среди мужчин — 52%.

Во многих странах публикации на английском языке имеют преимущество перед распространением результатов исследований в академических кругах и за их пределами на других языках. Тем не менее, национальные языки остаются актуальными как для областей STEM, так и для SSH. На примере Финляндии авторы показывают, что более 70% не рецензируемых публикаций, включая те, что ориентированы на профессиональную и широкую аудиторию, написаны на национальных языках. Основное различие представляют рецензируемые публикации, в которых исследователи демонстрируют результаты и приложения своих исследований другим экспертам — такие работы написаны на английском языке.

Хотим напомнить, что серия вебинаров «Новая наукометрия» завершена. Все четыре семинара можно посмотреть на нашем youtube-канале, а презентации выложены на нашем сайте.

#открытаянаука #обзор #stem #ssh

Гендерный разрыв среди высокоцитируемых исследователей

Так называемые «элитные» исследователи, т.е. те, чьи работы больше всего цитируются, оказывают большое влияние на свое окружение и часто выступают в качестве ролевых моделей и наставников, обогащая социальный и интеллектуальный капитал своих коллег и студентов. Вопрос представленности женщин среди высокоцитируемых исследователей в мире изучается в недавней работе коллег. Авторы статьи взяли данные за 2014-2021 годы и рассмотрели 8 факторов гендерной диспропорции среди высокоцитируемых исследователей: производительность исследований и их влияние, журналы для публикаций, научное сотрудничество, соавторство, нехватка женщин в области STEM, демографическая инерция, эффект Матфея и эффект Матильды.

Женщины-исследователи по разным причинам обычно публикуются и цитируются меньше, чем мужчины в большинстве областей. Если смотреть на 10%, 5% и 1% лучших по продуктивности и цитированиям исследователей, то здесь наблюдается наиболее значительный гендерный разрыв. Для достижения аналогичного успеха в карьере женщинам необходимо иметь более высокий уровень научных исследований, чем мужчинам.

Среди выводов исследования:
• С 2014 по 2021 год на долю женщин пришлось 1855 или 15,7% от всех 11842 высокоцитируемых исследователей. Ежегодно доля высокоцитируемых женщин увеличивается: с 13,1% в 2014 году до 14,0% в 2021 году.
• Гендерный разрыв среди высокоцитируемых исследователей наиболее велик в химии, информатике, инженерных науках, математике, физике и астрономии, где на женщин приходится 4-7% всех высокоцитируемых исследователей, хотя они составляют 25-35% авторов этих областей.
• Наиболее представлены женщины в экономических, социальных науках и науках о здоровье, где они составляют 17-21% всех высокоцитируемых исследователей.
• Женщины реже сохраняют свой статус высокоцитируемых исследователей: более 1 года в этом статусе были 62% женщин против 69% мужчин.
• В Северной Америке, Океании, Северной, Южной и Западной Европе проживает 1656 (или 89%) из 1855 женщин, работающих в сфере исследований в области здравоохранения. Доля женщин среди всех высокоцитируемых исследователей в этих пяти регионах колеблется от 15% до 18%, в то время как в среднем по миру она составляет 13,7%.
• В Латинской Америке и Карибском бассейне (где проживает 8% населения мира) женщины составляют более 26% всех высокоцитируемых исследователей в регионе, но на их долю приходится лишь 1% или 19 из 1855 высокоцитируемых женщин-исследователей в мире.
• Гендерный разрыв среди высокоцитируемых исследователей наиболее выражен в Южной Азии, Восточной Азии, Ближнем Востоке и Северной Африке, а также Восточной Европе, где представленность женщин среди всех высокоцитируемых исследователей в соответствующих регионах варьируется от максимальных 10% до минимальных 6%.
• Из 50 стран, в которых представлены высокоцитируемые женщины-исследователи, только 16 имеют более 1% от общемировой доли всех высокоцитируемых исследователей, и только 13 стран имеют более 1% от общемировой доли высокоцитируемых женщин-исследователей.
• В число стран, в которых женщины представлены крайне непропорционально, входят Тайвань, Южная Корея и Иран.
• Швейцария — единственная страна, в которой примерно равное соотношение женщин-исследователей и высокоцитируемых женщин-исследователей.

Доля женщин-авторов во всем мире значительно увеличилась, и сейчас в большинстве стран превышает 30%. Безусловно, есть барьеры на пути к равенству, разнообразию и инклюзии, чем и объясняется нехватка женщин-исследователей в академии. И поэтому необходимо изменение практик в области публикационного процесса для устранения гендерного дисбаланса.

#обзор #женщины #цитирования

​​Выход за мейнстрим: можно ли опубликоваться в стандартные сроки?

Новые исследования часто сталкиваются с сопротивлением со стороны господствующих научных парадигм. Публикации с высокой степенью новизны с меньшей вероятностью будут опубликованы в авторитетных журналах, а для привлечения цитирования им требуется больше времени. Такая же картина бывает и с заявками на грант: у заявок с ярко выраженной новизной исследования меньше шансов получить грант.

Коллеги исследовали, как новизна работы связана с более длительным временем рецензирования публикации. Источником стали 778 345 статей в 1159 журналах, индексируемых PubMed (статьи в области биомедицины и наук о жизни).

В работе отмечается, что предыдущие исследования новизны в публикациях сосредоточены на постпубликационных характеристиках, таких как цитирование и технологическое влияние. Это исследование рассматривает влияние допубликационной обработки.

Редакторы и рецензенты несут ответственность за оценку и контроль качества публикаций, прежде чем научная работа становится доступной для исследовательского сообщества. Одновременно они же оказывают определенное влияние на скорость распространения инноваций. Тем не менее редакции охотнее принимают исследования, которые вписываются в рамки знакомых им тем и парадигм. Рукописи, предлагающие нетрадиционные и новые тезисы, как правило, проходят более длинный публикационный путь, даже если их доказательная база столь же убедительна, как у менее новаторских статей.

Хотя академия и производственный сектор высоко ценят инновации как движущую силу научных открытий и разработки продуктов, они часто отвергают новые идеи на практике. Такие идеи отходят от существующей практики и часто сопровождаются неопределенностью или сменой старых норм. Резкая инновация имеет меньше очевидных преимуществ, чем постепенная инновация. Для принятия и распространения новых идей важен баланс между новизной и традиционностью.

В ходе исследования авторы пришли к нескольким выводам:

• Рукописи с высокой степенью новизны принимаются дольше, чем рукописи, тезисы которых менее новы и соответствуют господствующей парадигме знаний.

• Разница во времени обработки публикаций от престижных авторов/аффилиаций и менее престижных становится меньше в случае подачи рукописи с претензией на новизну.

• Влияние новых статей становится очевидным только в долгосрочной перспективе.

#обзор #журналы #новизна #рецензенты

Плати за бесплатное и радуйся? Как работает Subscribe to Open

Бесплатный не только для читателей, но и для авторов открытый доступ — Diamond Open Access, — не обязательно связан с новыми журналами или проектами. Есть и другой путь: превращать в Diamond обычные подписные журналы, при этом сохраняя их финансово устойчивыми. Речь про подход Subscribe to Open (S20), который может показаться необычным:

• Организации-подписчики (университеты, консорциумы) подписываются на журналы, ценные для их сотрудников.
• Если суммарный объем годовой подписки превышает установленный издателем порог, то новые выпуски журналов весь следующий год выходят в Open Access по лицензии Creative Commons и таким образом становятся бесплатно доступны всему миру, плата за публикацию с авторов также не взимается.
• Если суммарный объем подписки падает ниже порога, издания возвращаются к подписному доступу— естественно, для новых материалов: как вы помните из наших вебинаров, лицензии Creative Commons отозвать нельзя: все, что было открыто, должно таким и оставаться.

Выходит, одни университеты платят, а другие пользуются бесплатно? На деле здесь и альтруизм, и прагматика: первые платили бы и так, а при такой модели еще и приносят пользу другим. Повышается доступность системы публикаций, что в свою очередь благотворно сказывается на развитии науки как таковой, а издатели сохраняют источник дохода.

Звучит красиво, поддерживается Plan S и другими, но пока не распространяется широко: во-первых, богатых альтруистов в университетском мире маловато, во-вторых, коммерческие издатели в условиях принуждения к OA предпочитают зарабатывать на Gold-модели и брать деньги с авторов, в-третьих, смущает вероятность отката к закрытому режиму.

Первым модель внедрило Annual Reviews — издатель авторитетных научных обзоров. За счет денег от вузов типа Беркли им удалось сделать бесплатными 8 из 47 журналов. Но AR — издательство особое, авторов там приглашают, а не ждут с улицы. Поэтому важно, что модель реализуется и другими. Например, Европейским математическим обществом, которое посчитало, что развивать модель, когда автор платит за OA, просто нехорошо и создает неравенство, поэтому ставка сделана на S20.

Как всё это реализуется со стороны университета, можно посмотреть на примере Утрехта. Станет ли модель магистральной? Вопросов много. В количественном отношении она вряд ли победит Gold OA и традиционный субсидируемый Diamond OA, но число заинтересованных участников растет, а для авторов главное, что растет и число журналов, где благодаря S20 можно бесплатно опубликоваться в OA.

#открытыйдоступ #движениекоткрытости #бесплатнодляавторов

​​Импакт-фактор журнала и экспертные оценки: к продолжению дискуссии

Несмотря на инициативы по ограничению использования импакт-фактора в оценке исследований (например, DORA), этот показатель наравне с другими наукометрическими индикаторами по-прежнему используется многими учеными и специалистами, влияющими на формирование научной политики.

Британские коллеги сравнили средние показатели цитируемости журналов с экспертными оценками опубликованных в них статей во всех областях науки на базе 96 031 проведенного исследования. Все статьи, опубликованные в 2014–2018 годах, проходили оценку в рамках программы UK Research Excellence Framework (REF) 2021. REF — это процесс экспертной оценки, проводимой по 34 укрупненным предметным группам (UOA). Экспертные группы состоят из старших научных работников, международных членов и «пользователей исследований», которые оценивают значимость результатов исследований за пределами академических кругов.

В рамках проведенного исследования ученые выяснили:

• хотя наличие положительной корреляции между экспертными оценками статей и импакт-факторами журналов сложно отрицать, во многих областях она очень слабая;

• самая высокая корреляция для 94 узких областей Scopus с не менее чем 750 статьями составила всего 0.54 для инфекционных болезней, при этом была зафиксирована одна отрицательная корреляция — для смешанной категории Computer Science (all);

• средний показатель цитируемости журнала, индексируемого в Scopus, зачастую вообще никак не связан с экспертной оценкой качества статьи;

• показатели корреляции по областям, как правило, очень низкие для группы D (в основном к ней относятся гуманитарные науки и искусство), за исключением истории. Наиболее высокие показатели фиксируются для группы A (в основном это исследования в области здравоохранения и наук о жизни). В группах B и C наблюдаются значительные различия;

• экспертные рейтинги журналов положительно коррелируют с импакт-фактором журналов для всех 27 широких областей Scopus;

• относительно сильные корреляции между престижем журнала и влиянием цитирований фиксируются в областях психологии и бизнеса;

• экспертная оценка ценности журнала, как правило, положительно коррелирует с его влиянием на цитируемость, включая более сильные корреляции для областей, связанных со здравоохранением, и более слабые корреляции для социальных наук.

Наконец, авторы отмечают, что статьи более высокого качества, как правило, публикуются в журналах с более высоким импакт-фактором во всех 34 предметных группах (UOA), во всех 27 широких областях и почти во всех 94 узких областях науки, за единственным исключением, не являющимся академической областью. Но импакт-фактор журнала никогда не является точным прогнозным показателем качества отдельных статей. Поэтому, следуя духу DORA, лучше избегать использования импакт-факторов журналов в качестве косвенного показателя качества статей, в том числе для областей, в которых эта связь положительная и статистически устойчивая.

#импактфактор #журналы #экспертнаяоценка

Так ли хороши стандартные сетевые показатели для ранжирования журналов?

Журнальные рейтинги, основанные на сетевых методах ранжирования, сильно отличаются от тех, что основаны на данных цитирования. Про сетевые методы можно почитать в нашем руководстве. Коллеги провели исследование (корректность полученных данных все еще в процессе обсуждения научным сообществом) на базе PageRank и показали, что стандартный подход к сетевому моделированию данных о цитировании на уровне журналов (т.е. проекция цитирования статей на журналы) вводит «фиктивные отношения» между журналами. Авторы использовали для анализа MEDLINE, крупнейший набор библиометрических данных в области медицинских наук с открытым доступом.

Импакт-фактор и h-индекс являются одними из наиболее широко используемых показателей для оценки журналов. Эти показатели являются локальными в том смысле, что они основаны на количестве ссылок, полученных конкретной статьей, автором или журналом за определенный период. С использованием данных о цитировании и сетевого анализа были разработаны более сложные показатели: Eigenfactor и SCImago Journal Rank. Эти показатели опираются на нелокальную информацию, тем самым придавая больший вес ссылкам на хорошо цитируемые статьи.

Основные проблемы при использовании цитирования для наукометрического анализа заключаются в том, что практика цитирования в научных областях разная, и публикации все чаще пишутся несколькими соавторами, а соавторство и количество цитирований взаимосвязаны. Плюс ко всему редакторские предубеждения связаны с социальными факторами (предыдущее соавторство/вознаграждение за цитирование и т.д.). Основная проблема при использовании сетевого анализа — важность правильного соотнесения единицы и цели анализа с соответствующим сетевым представлением. Это справедливо и в том случае, когда сетевые показатели применяются для ранжирования журналов по цитируемости статей.

Сосредоточив внимание на мерах влияния журналов, авторы показали, как наивное сочетание этих методов может привести к ошибочным или даже неверным результатам. В частности, авторы утверждают, что стандартная проекция цитирования статей на журналы может привести к появлению несуществующих связей, так называемому «фиктивному влиянию».

Такое «фиктивное влияние» не является безобидным эффектом при составлении рейтингов журналов. Результаты анализа данных о цитировании из MEDLINE показывают, что даже несмотря на то, что одни и те же журналы входят в верхние строчки рейтингов, они занимают разные позиции при использовании различных подходов ранжирования. В целом, результаты исследования показывают, что «фиктивное влияние» существенно влияет на надежность PageRank как способа ранжирования журналов.

Предложение коллег сводиться к тому, чтобы не концентрироваться на отдельных ссылках на цитаты, а рассматривать последовательные ссылки между статьями для получения путей цитирования.

Также чтобы преодолеть проблему «фиктивного влияния», возможным решением являются сети более высокого порядка. Однако разработка адекватных наукометрических показателей — очень сложная задача. Например, Лейденский манифест предлагает искать баланс между сложностью индикаторов и прозрачностью их расчетов. Использование известных сетевых мер может повысить их прозрачность; в то же время дополнительная сложность сетей высшего порядка может замаскировать их смысл. Следовательно, жизнеспособность этих методов будет зависеть от предполагаемого использования.

#обзор #журналы #цитирование #сетевойанализ