Выше квартилей
2.61K subscribers
101 photos
1 video
1 file
275 links
HSE: Home of Scientometrics and Expertise

Обучение и консультирование по практическим вопросам research evaluation и управлении наукой.

Все вопросы и предложения направляйте @vyshekbot или на почту Наукометрического центра ВШЭ: scientometrics@hse.ru
Download Telegram
Насколько мы недооцениваем или переоцениваем свои публикации перед рецензированием?

Вышел препринт статьи о разнице восприятия своих статей авторами до и после рецензирования. Peer-review широко используется в научных исследованиях для контроля качества, но часто исследователи считают процесс рецензирования нуждающимся в улучшении. Авторы препринта смотрят на то, как соотносятся представления авторов о поданных ими работах с результатами процесса рецензирования.

Авторы провели опрос на конференции Neural Information Processing Systems (NeurIPS) 2021, которая является одной из ведущих конференцией в области машинного обучения. На конференцию было подано более 9 000 докладов от более чем 23 000 авторов. Традиционно на конференцию принимается 20-25% поданных докладов, а в 2021 году этот показатель составил 25,8%. Чтобы выяснить мнение исследователей о поданных ими работах и дальнейшем рецензировании, авторы препринта спросили у них следующее:

• какова прогнозируемая вероятность принятия каждой из их работ,
• предполагаемый рейтинг их собственных работ на основе научного вклада,
• как изменилось восприятие их собственных работ после просмотра рецензий.

Основные результаты опроса:

1️⃣ Авторы примерно в три раза переоценивают вероятность принятия их статей.

2️⃣ Авторы-женщины демонстрируют немного большую ошибку, чем авторы-мужчины; прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, калибруются примерно так же, но лучше, чем у авторов, которые не были приглашены для рецензирования.

3️⃣ Относительное ранжирование авторами научного вклада двух поданных ими материалов в целом согласуется (93%) с предсказанной ими вероятностью принятия, но есть заметные 7% ответов, где авторы считают, что их лучшая работа будет иметь худший результат с точки зрения успешного рецензирования.

4️⃣ Рейтинги, составляемые авторами, не совпадали с решениями рецензентов примерно в трети случаев; когда соавторы ранжировали свои работы, написанные совместно, они не совпадали с ними примерно в трети случаев.

5️⃣ Не менее 30% респондентов как принятых, так и отклоненных работ заявили, что после процесса рецензирования их восприятие собственной работы улучшилось.

Это интересные выводы, которые можно принять во внимание при определении своих ожиданий от рецензирования.

#обзор #рецензирование #журналы #конференции
Взаимоцитирования США и Китая в области искусственного интеллекта

В последние годы ландшафт исследований в области машинного обучения изменился ввиду значительного роста числа китайских исследований в области искусственного интеллекта. В настоящее время Китай занимает стабильное второе место по количеству публикаций на NeurIPS (о которой мы упоминали в предыдущем посте) после США. В 2021 году материалы с аффилиациями китайских институтов составили 17,5% от всех публикаций в рамках NeurIPS. При этом несмотря на положение Китая как одного из лидеров развития ИИ сотрудничество между китайскими и американскими институтами происходит реже, чем, например, между американскими и западноевропейскими институтами.

Используя данные о цитировании конференционных материалов NeurIPS, авторы проанализировали взаимовлияние работ американских и китайских институтов. В то время как американские доклады составляют 60% общего набора данных, на них приходится только 34% ссылок от китайских коллег. Показатели цитирования китайских авторов от исследователей из США еще более драматичны: в то время как китайские материалы составляют 34% от всего набора данных, на них приходится только 9% цитирований от американских коллег. Кроме того, исследователи каждого из рассмотренных регионов намного чаще предпочитают внутрирегиональное цитирование межстрановому: разница между двумя показателями составляет 21% для Китая, 41% для США и 14% для Европы.

Таким образом, несмотря на то, что американские и китайские исследователи публикуются в одних и тех же сборниках и выступают на одних и тех же конференциях, они представляют собой во многом два параллельных сообщества, каждое из которых публикует работы, имеющие ограниченное влияние на соседей. В какой-то степени этот разрыв может объясняться интересом к разным темам и различными приоритетами исследований. Однако для компьютерных наук и областей, связанных с искусственным интеллектом, развитие коммуникации между странами, вносящими значимый вклад в данные области, может значительно ускорить достижение новых прорывных результатов.

#обзор #цитирования #китай #сша #искусственныйинтеллект
Языковое разнообразие научных публикаций: на примере нового хэндбука по социальным наукам

Про важность языкового разнообразия в научных публикациях мы уже писали здесь и здесь, но после заключительной лекции Ивана Стерлигова на курсе «Новая наукометрия», где он затронул эту тему, хотим еще раз обратиться к ней. Многоязычие очень важно для общественных и гуманитарных наук. Польские и бельгийские коллеги выпустили хэндбук про то, какие есть практики оценки общественных и гуманитарных наук в разных странах и каков вклад этих стран на национальном языке — Handbook on Research Assessment in the Social Sciences (2022).

Исследователи обычно публикуются более чем на одном языке, чаще всего на местных языках и английском. Но язык научного общения — это также и инструмент контроля за исследованиями, разработками и инновациями, производимыми исследователями в данной стране.

В течение многих лет в научном общении существовал свой lingua franca, причем сначала вовсе не английский, а латынь, французский и немецкий языки. Также есть ведущие языки для исследований в области социальных наук в определенных регионах, например, испанский для Латинской Америки или арабский для арабского мира. Кроме того, страны с меньшим числом носителей национального языка имеют меньше академических публикаций на этом языке, чем в более крупных странах.

Для изучения языковых моделей исследователей социальных наук в семи европейских странах авторы использовали информацию о рецензируемых журнальных статьях, опубликованных 32 386 исследователями в 2013-2015 годах в Чехии, Дании, Финляндии, Бельгии, Норвегии, Польше и Словении.

На этой базе авторы хэндбука провели анализ с точки зрения стажа и гендера. 65% исследователей в начале карьеры (до 10 лет с момента получения PhD) опубликовали работы на двух или более языках, в то время как среди исследователей со стажем более 11 лет публиковались на двух или более языках 61,5%. А среди более старших исследователей (31+ год с момента получения PhD) только 54% публиковались на двух или более языках. Среди женщин на двух или более языках публиковались 56,9%, а среди мужчин — 52%.

Во многих странах публикации на английском языке имеют преимущество перед распространением результатов исследований в академических кругах и за их пределами на других языках. Тем не менее, национальные языки остаются актуальными как для областей STEM, так и для SSH. На примере Финляндии авторы показывают, что более 70% не рецензируемых публикаций, включая те, что ориентированы на профессиональную и широкую аудиторию, написаны на национальных языках. Основное различие представляют рецензируемые публикации, в которых исследователи демонстрируют результаты и приложения своих исследований другим экспертам — такие работы написаны на английском языке.

Хотим напомнить, что серия вебинаров «Новая наукометрия» завершена. Все четыре семинара можно посмотреть на нашем youtube-канале, а презентации выложены на нашем сайте.

#открытаянаука #обзор #stem #ssh
Гендерный разрыв среди высокоцитируемых исследователей

Так называемые «элитные» исследователи, т.е. те, чьи работы больше всего цитируются, оказывают большое влияние на свое окружение и часто выступают в качестве ролевых моделей и наставников, обогащая социальный и интеллектуальный капитал своих коллег и студентов. Вопрос представленности женщин среди высокоцитируемых исследователей в мире изучается в недавней работе коллег. Авторы статьи взяли данные за 2014-2021 годы и рассмотрели 8 факторов гендерной диспропорции среди высокоцитируемых исследователей: производительность исследований и их влияние, журналы для публикаций, научное сотрудничество, соавторство, нехватка женщин в области STEM, демографическая инерция, эффект Матфея и эффект Матильды.

Женщины-исследователи по разным причинам обычно публикуются и цитируются меньше, чем мужчины в большинстве областей. Если смотреть на 10%, 5% и 1% лучших по продуктивности и цитированиям исследователей, то здесь наблюдается наиболее значительный гендерный разрыв. Для достижения аналогичного успеха в карьере женщинам необходимо иметь более высокий уровень научных исследований, чем мужчинам.

Среди выводов исследования:
• С 2014 по 2021 год на долю женщин пришлось 1855 или 15,7% от всех 11842 высокоцитируемых исследователей. Ежегодно доля высокоцитируемых женщин увеличивается: с 13,1% в 2014 году до 14,0% в 2021 году.
• Гендерный разрыв среди высокоцитируемых исследователей наиболее велик в химии, информатике, инженерных науках, математике, физике и астрономии, где на женщин приходится 4-7% всех высокоцитируемых исследователей, хотя они составляют 25-35% авторов этих областей.
• Наиболее представлены женщины в экономических, социальных науках и науках о здоровье, где они составляют 17-21% всех высокоцитируемых исследователей.
• Женщины реже сохраняют свой статус высокоцитируемых исследователей: более 1 года в этом статусе были 62% женщин против 69% мужчин.
• В Северной Америке, Океании, Северной, Южной и Западной Европе проживает 1656 (или 89%) из 1855 женщин, работающих в сфере исследований в области здравоохранения. Доля женщин среди всех высокоцитируемых исследователей в этих пяти регионах колеблется от 15% до 18%, в то время как в среднем по миру она составляет 13,7%.
• В Латинской Америке и Карибском бассейне (где проживает 8% населения мира) женщины составляют более 26% всех высокоцитируемых исследователей в регионе, но на их долю приходится лишь 1% или 19 из 1855 высокоцитируемых женщин-исследователей в мире.
• Гендерный разрыв среди высокоцитируемых исследователей наиболее выражен в Южной Азии, Восточной Азии, Ближнем Востоке и Северной Африке, а также Восточной Европе, где представленность женщин среди всех высокоцитируемых исследователей в соответствующих регионах варьируется от максимальных 10% до минимальных 6%.
• Из 50 стран, в которых представлены высокоцитируемые женщины-исследователи, только 16 имеют более 1% от общемировой доли всех высокоцитируемых исследователей, и только 13 стран имеют более 1% от общемировой доли высокоцитируемых женщин-исследователей.
• В число стран, в которых женщины представлены крайне непропорционально, входят Тайвань, Южная Корея и Иран.
• Швейцария — единственная страна, в которой примерно равное соотношение женщин-исследователей и высокоцитируемых женщин-исследователей.

Доля женщин-авторов во всем мире значительно увеличилась, и сейчас в большинстве стран превышает 30%. Безусловно, есть барьеры на пути к равенству, разнообразию и инклюзии, чем и объясняется нехватка женщин-исследователей в академии. И поэтому необходимо изменение практик в области публикационного процесса для устранения гендерного дисбаланса.

#обзор #женщины #цитирования
​​Выход за мейнстрим: можно ли опубликоваться в стандартные сроки?

Новые исследования часто сталкиваются с сопротивлением со стороны господствующих научных парадигм. Публикации с высокой степенью новизны с меньшей вероятностью будут опубликованы в авторитетных журналах, а для привлечения цитирования им требуется больше времени. Такая же картина бывает и с заявками на грант: у заявок с ярко выраженной новизной исследования меньше шансов получить грант.

Коллеги исследовали, как новизна работы связана с более длительным временем рецензирования публикации. Источником стали 778 345 статей в 1159 журналах, индексируемых PubMed (статьи в области биомедицины и наук о жизни).

В работе отмечается, что предыдущие исследования новизны в публикациях сосредоточены на постпубликационных характеристиках, таких как цитирование и технологическое влияние. Это исследование рассматривает влияние допубликационной обработки.

Редакторы и рецензенты несут ответственность за оценку и контроль качества публикаций, прежде чем научная работа становится доступной для исследовательского сообщества. Одновременно они же оказывают определенное влияние на скорость распространения инноваций. Тем не менее редакции охотнее принимают исследования, которые вписываются в рамки знакомых им тем и парадигм. Рукописи, предлагающие нетрадиционные и новые тезисы, как правило, проходят более длинный публикационный путь, даже если их доказательная база столь же убедительна, как у менее новаторских статей.

Хотя академия и производственный сектор высоко ценят инновации как движущую силу научных открытий и разработки продуктов, они часто отвергают новые идеи на практике. Такие идеи отходят от существующей практики и часто сопровождаются неопределенностью или сменой старых норм. Резкая инновация имеет меньше очевидных преимуществ, чем постепенная инновация. Для принятия и распространения новых идей важен баланс между новизной и традиционностью.

В ходе исследования авторы пришли к нескольким выводам:

• Рукописи с высокой степенью новизны принимаются дольше, чем рукописи, тезисы которых менее новы и соответствуют господствующей парадигме знаний.

• Разница во времени обработки публикаций от престижных авторов/аффилиаций и менее престижных становится меньше в случае подачи рукописи с претензией на новизну.

• Влияние новых статей становится очевидным только в долгосрочной перспективе.

#обзор #журналы #новизна #рецензенты
Плати за бесплатное и радуйся? Как работает Subscribe to Open

Бесплатный не только для читателей, но и для авторов открытый доступ — Diamond Open Access, — не обязательно связан с новыми журналами или проектами. Есть и другой путь: превращать в Diamond обычные подписные журналы, при этом сохраняя их финансово устойчивыми. Речь про подход Subscribe to Open (S20), который может показаться необычным:

• Организации-подписчики (университеты, консорциумы) подписываются на журналы, ценные для их сотрудников.
• Если суммарный объем годовой подписки превышает установленный издателем порог, то новые выпуски журналов весь следующий год выходят в Open Access по лицензии Creative Commons и таким образом становятся бесплатно доступны всему миру, плата за публикацию с авторов также не взимается.
• Если суммарный объем подписки падает ниже порога, издания возвращаются к подписному доступу— естественно, для новых материалов: как вы помните из наших вебинаров, лицензии Creative Commons отозвать нельзя: все, что было открыто, должно таким и оставаться.

Выходит, одни университеты платят, а другие пользуются бесплатно? На деле здесь и альтруизм, и прагматика: первые платили бы и так, а при такой модели еще и приносят пользу другим. Повышается доступность системы публикаций, что в свою очередь благотворно сказывается на развитии науки как таковой, а издатели сохраняют источник дохода.

Звучит красиво, поддерживается Plan S и другими, но пока не распространяется широко: во-первых, богатых альтруистов в университетском мире маловато, во-вторых, коммерческие издатели в условиях принуждения к OA предпочитают зарабатывать на Gold-модели и брать деньги с авторов, в-третьих, смущает вероятность отката к закрытому режиму.

Первым модель внедрило Annual Reviews — издатель авторитетных научных обзоров. За счет денег от вузов типа Беркли им удалось сделать бесплатными 8 из 47 журналов. Но AR — издательство особое, авторов там приглашают, а не ждут с улицы. Поэтому важно, что модель реализуется и другими. Например, Европейским математическим обществом, которое посчитало, что развивать модель, когда автор платит за OA, просто нехорошо и создает неравенство, поэтому ставка сделана на S20.

Как всё это реализуется со стороны университета, можно посмотреть на примере Утрехта. Станет ли модель магистральной? Вопросов много. В количественном отношении она вряд ли победит Gold OA и традиционный субсидируемый Diamond OA, но число заинтересованных участников растет, а для авторов главное, что растет и число журналов, где благодаря S20 можно бесплатно опубликоваться в OA.

#открытыйдоступ #движениекоткрытости #бесплатнодляавторов
​​Импакт-фактор журнала и экспертные оценки: к продолжению дискуссии

Несмотря на инициативы по ограничению использования импакт-фактора в оценке исследований (например, DORA), этот показатель наравне с другими наукометрическими индикаторами по-прежнему используется многими учеными и специалистами, влияющими на формирование научной политики.

Британские коллеги сравнили средние показатели цитируемости журналов с экспертными оценками опубликованных в них статей во всех областях науки на базе 96 031 проведенного исследования. Все статьи, опубликованные в 2014–2018 годах, проходили оценку в рамках программы UK Research Excellence Framework (REF) 2021. REF — это процесс экспертной оценки, проводимой по 34 укрупненным предметным группам (UOA). Экспертные группы состоят из старших научных работников, международных членов и «пользователей исследований», которые оценивают значимость результатов исследований за пределами академических кругов.

В рамках проведенного исследования ученые выяснили:

• хотя наличие положительной корреляции между экспертными оценками статей и импакт-факторами журналов сложно отрицать, во многих областях она очень слабая;

• самая высокая корреляция для 94 узких областей Scopus с не менее чем 750 статьями составила всего 0.54 для инфекционных болезней, при этом была зафиксирована одна отрицательная корреляция — для смешанной категории Computer Science (all);

• средний показатель цитируемости журнала, индексируемого в Scopus, зачастую вообще никак не связан с экспертной оценкой качества статьи;

• показатели корреляции по областям, как правило, очень низкие для группы D (в основном к ней относятся гуманитарные науки и искусство), за исключением истории. Наиболее высокие показатели фиксируются для группы A (в основном это исследования в области здравоохранения и наук о жизни). В группах B и C наблюдаются значительные различия;

• экспертные рейтинги журналов положительно коррелируют с импакт-фактором журналов для всех 27 широких областей Scopus;

• относительно сильные корреляции между престижем журнала и влиянием цитирований фиксируются в областях психологии и бизнеса;

• экспертная оценка ценности журнала, как правило, положительно коррелирует с его влиянием на цитируемость, включая более сильные корреляции для областей, связанных со здравоохранением, и более слабые корреляции для социальных наук.

Наконец, авторы отмечают, что статьи более высокого качества, как правило, публикуются в журналах с более высоким импакт-фактором во всех 34 предметных группах (UOA), во всех 27 широких областях и почти во всех 94 узких областях науки, за единственным исключением, не являющимся академической областью. Но импакт-фактор журнала никогда не является точным прогнозным показателем качества отдельных статей. Поэтому, следуя духу DORA, лучше избегать использования импакт-факторов журналов в качестве косвенного показателя качества статей, в том числе для областей, в которых эта связь положительная и статистически устойчивая.

#импактфактор #журналы #экспертнаяоценка
Так ли хороши стандартные сетевые показатели для ранжирования журналов?

Журнальные рейтинги, основанные на сетевых методах ранжирования, сильно отличаются от тех, что основаны на данных цитирования. Про сетевые методы можно почитать в нашем руководстве. Коллеги провели исследование (корректность полученных данных все еще в процессе обсуждения научным сообществом) на базе PageRank и показали, что стандартный подход к сетевому моделированию данных о цитировании на уровне журналов (т.е. проекция цитирования статей на журналы) вводит «фиктивные отношения» между журналами. Авторы использовали для анализа MEDLINE, крупнейший набор библиометрических данных в области медицинских наук с открытым доступом.

Импакт-фактор и h-индекс являются одними из наиболее широко используемых показателей для оценки журналов. Эти показатели являются локальными в том смысле, что они основаны на количестве ссылок, полученных конкретной статьей, автором или журналом за определенный период. С использованием данных о цитировании и сетевого анализа были разработаны более сложные показатели: Eigenfactor и SCImago Journal Rank. Эти показатели опираются на нелокальную информацию, тем самым придавая больший вес ссылкам на хорошо цитируемые статьи.

Основные проблемы при использовании цитирования для наукометрического анализа заключаются в том, что практика цитирования в научных областях разная, и публикации все чаще пишутся несколькими соавторами, а соавторство и количество цитирований взаимосвязаны. Плюс ко всему редакторские предубеждения связаны с социальными факторами (предыдущее соавторство/вознаграждение за цитирование и т.д.). Основная проблема при использовании сетевого анализа — важность правильного соотнесения единицы и цели анализа с соответствующим сетевым представлением. Это справедливо и в том случае, когда сетевые показатели применяются для ранжирования журналов по цитируемости статей.

Сосредоточив внимание на мерах влияния журналов, авторы показали, как наивное сочетание этих методов может привести к ошибочным или даже неверным результатам. В частности, авторы утверждают, что стандартная проекция цитирования статей на журналы может привести к появлению несуществующих связей, так называемому «фиктивному влиянию».

Такое «фиктивное влияние» не является безобидным эффектом при составлении рейтингов журналов. Результаты анализа данных о цитировании из MEDLINE показывают, что даже несмотря на то, что одни и те же журналы входят в верхние строчки рейтингов, они занимают разные позиции при использовании различных подходов ранжирования. В целом, результаты исследования показывают, что «фиктивное влияние» существенно влияет на надежность PageRank как способа ранжирования журналов.

Предложение коллег сводиться к тому, чтобы не концентрироваться на отдельных ссылках на цитаты, а рассматривать последовательные ссылки между статьями для получения путей цитирования.

Также чтобы преодолеть проблему «фиктивного влияния», возможным решением являются сети более высокого порядка. Однако разработка адекватных наукометрических показателей — очень сложная задача. Например, Лейденский манифест предлагает искать баланс между сложностью индикаторов и прозрачностью их расчетов. Использование известных сетевых мер может повысить их прозрачность; в то же время дополнительная сложность сетей высшего порядка может замаскировать их смысл. Следовательно, жизнеспособность этих методов будет зависеть от предполагаемого использования.

#обзор #журналы #цитирование #сетевойанализ
Почему ученые используют пиратские ресурсы для доступа к документам?

Несмотря на то, что с 2021 года была предложена инициатива Plan S, большинство научной литературы по-прежнему публикуется по модели закрытого доступа, и почти 75% всех научных документов можно получить только через подписку или по платному доступу.

Коллеги решили изучить мотивы научного пиратства и провели опрос среди авторов публикаций в Scopus за 2019-2020 год (подробнее про выборку и методы можно почитать в самой работе). Задавали вопросы о том, как часто авторы загружают свои работы в открытые репозитории и прибегают ли к Black OA (например, по хэштегу #icanhazPDF в твиттере можно попросить других исследователей поделиться недоступным документом, или пользоваться пиратскими библиотеками Sci-Hub, Libgen, 91lib).

В результате получили такие выводы:

1️⃣ Исследователи чаще полагаются на Gold, Green или Bronze OA или пытаются получить копию у автора или других коллег. Пиратство является маргинальным путем по сравнению с этими вариантами.

2️⃣ Исследователям легко и удобно искать версии документов в открытом доступе, такие как препринты или постпринты, в дисциплинарных или институциональных репозиториях, поскольку открытый доступ становится все более распространённым.

3️⃣ Межинститутские обмены чаще происходят через неформальные сети (обращение к коллегам из других учреждений с просьбой предоставить документ с платной информацией), чем через формальные (межинститутские займы библиотек). Реже всего исследователи используют собственные средства для оплаты доступа к документу.

4️⃣ Способы получения платных документов чаще встречаются в традиционно менее финансируемых дисциплинах, таких как искусство, гуманитарные и социальные науки, чем в дисциплинах, где исследовательские гранты и бюджеты более актуальны, включая науки о жизни и здоровье.

5️⃣ Исследователи, которые самостоятельно архивируют свои статьи в репозиториях, лучше знакомы со средой OA и охотнее ищут препринты и постпринты. Открытый доступ популярен среди начинающих исследователей как в качестве места публикации, так и в качестве источника поиска информации.

6️⃣ Чаще пользуются пиратскими сервисами молодые ученые, ученые из стран с низким уровнем дохода. Ученые из университетов с небольшими ресурсами стремятся решить проблему недостатка финансирования в своих библиотеках, обращаясь к Sci-Hub и другим альтернативам.

7️⃣ Наиболее значимая причина использования пиратских ресурсов — отсутствие доступа к документам, затем уже идёт простота использования или этический выбор. Использование OA в качестве политической позиции или протеста против бизнес-модели издательской индустрии является лишь незначительной причиной среди опрошенных исследователей. Также опросы показали, что ученые, которые не пользовались услугами Black OA, были значительно старше, работали на более престижных должностях и в странах с высоким уровнем дохода. Это может означать, что те, кто составляет ядро академической среды, в основном игнорируют пиратские библиотеки. Таким образом, использование пиратских библиотек кажется чем-то особенным для периферии, для тех, кто занимает менее привилегированное положение. Игнорирование пиратских библиотек — это роскошь, которую те, кто располагает меньшими ресурсами, не могут себе позволить.

8️⃣ Основные причины неиспользования пиратских ресурсов: этические и юридические или незнание о существовании таких сайтов. Этические возражения значительно чаще встречаются у исследователей в области STEM и ученых старшего возраста. Незнание, напротив, чаще встречается в странах с низким уровнем дохода.

Таким образом, существует две различные категории ученых, которые не пользуются пиратскими библиотеками. Первая — это исследователи из богатых стран, занимающие более прочные профессиональные позиции, которым не нужно использовать каналы, которые они считают незаконными. Вторая — ученые из стран с низким и средним уровнем дохода, которые не знают о таких платформах и услугах.

#обзор #открытыйдоступ #scopus
Как рецензенты отбирают заявки для грантов в Европейском исследовательском совете

European Research Council предлагает гранты (1,5–2,5 миллиона евро) ученым, проводящим свои исследования в учреждениях ЕС на срок до 5 лет. В 2022 году годовой бюджет Европейского исследовательского совета составил 2 миллиарда евро. Интересно посмотреть на то, как отбирают заявки для финансирования. Чтобы ответить на этот вопрос, коллеги провели исследование (и опросили 22 члена комитета ERC), сфокусировавшись на грантах, предназначенных для отдельных исследователей на двух разных этапах карьеры: стартовый грант (2–7 лет после получения докторской степени) и грант-консолидатор (7–12 лет после получения докторской степени).

Всего 27 групп рецензентов по трем основным областям исследований, которыми занимается ERC: физические и инженерные науки, науки о жизни, социальные и гуманитарные науки. Каждая группа рецензентов состоит из 11–18 всемирно признанных ученых, которые решают, какие именно проекты должны получить финансирование.

Сам процесс рецензирования состоит из двух этапов. На первом этапе рецензенты оценивают резюме кандидатов, списки публикаций и краткую пятистраничную версию исследовательского проекта. На втором — получают полные версии исследовательских проектов, а также рассылают их профильным экспертам для дополнительной проверки, после чего проводятся собеседования с предварительно отобранными кандидатами и окончательно выбираются финалисты.

Основной вопрос исследования — как рецензенты принимают решения касательно заявок в условиях высокой конкуренции исследовательских проектов. В ходе первого этапа процесса оценки ERC рецензентам необходимо оценить большое количество высококачественных заявок за короткий период времени, часто не являясь специалистами в отдельных узкоспециализированных областях. Для того, чтобы это сделать, рецензенты регулярно используют четыре типа механизма оценки:

1️⃣ Количественные показатели предыдущих успехов: количество публикаций, импакт-факторы и показатели цитирования, а также активность участия в конференциях, ранее полученное финансирование, участие в исследовательских комитетах или международных исследованиях. Особенно распространена такая оценка среди рецензентов в области естественных наук.
❗️Некоторые рецензенты рассматривали кандидатов с меньшим количеством публикаций или в менее престижных журналах, если кандидаты были из стран Восточной или Южной Европы или небольших университетов, потому что те могли иметь ограниченный доступ к исследовательской инфраструктуре и международным исследовательским сетям.

2️⃣ Оценка проектов путем их сравнения друг с другом (а не индивидуальной оценки). «Неконкурентные» проекты исключаются сразу, если отсутствует четкий исследовательский вопрос, имеются вопросы к заявке с точки зрения содержания, или она не проходит по требованиям объема.

3️⃣ Оценка того, насколько достижимыми и выполнимыми являются цель и задачи проекта + насколько все элементы, связанные с проектом и исследованием, соотносятся между собой. Рецензенты оценивали общую организацию проекта (сроки, график мероприятий, сочетание рабочих планов и научных сотрудников).
❗️Некоторые рецензенты в области социальных наук подчеркивали важность публикаций, написанных без участия докторов наук и/или научных руководителей, а в области естественных наук ждали тем, отличных от тем научных руководителей. Также некоторые рецензенты предпочитали хорошо сформулированные и «безопасные» проекты с запасным планом на случай неудачи, в то время как другие поддержали более рискованные предложения.

4️⃣ Оценка возможного вклада исследования в науку и влияния на общество. Чтобы оценить, какой вклад предлагаемые проекты могут внести в существующие исследования, большинству рецензентов необходимо иметь соответствующие знания о предмете исследования, но такие знания есть не всегда.

Читать далее

#обзор #рецензирование #гранты
​​Дорогие читатели, канал «Выше квартилей» поздравляет вас с наступающим Новым Годом!

Мы подготовили для вас new year's scientometrics resolution, выбирайте, какие новогодние обещания подходят именно вам и отмечайте ☑️

Желаем вам находить силы в себе и поддерживать исследовательский огонь, вне зависимости от обстоятельств. Здоровья, благополучия и любви. Счастливого Нового Года!
Влияние топовых ученых на научную новизну, или как независимые исследователи создают научные инновации

Степень доверия к наиболее успешным ученым высока, собственно, как и ценность их наставничества для молодых ученых. Как правило, вторые, сотрудничающие с ведущими учеными на ранних этапах своей карьеры, имеют больше шансов быть процитированными и в дальнейшем. Но встает вопрос о том, насколько инновационны совместные работы топовых ученых и молодых ученых.

Чтобы исследовать влияние топовых ученых (топ-1% по индексу Хирша) на академическую продуктивность и инновации, коллеги проанализировали корпус работ Американского физического общества (среди авторов, впервые опубликовавших свои работы в 1970 году или позже). Выяснили, что те, кто сотрудничает с топовыми учеными и цитирует их, чаще публикуются и цитируются сами, а также создают более разнообразные по содержанию работы. Тем не менее их работы не более инновационны, чем работы остальных ученых (тех, кто не пишет в соавторстве с топами), а если исключить работы, написанные в соавторстве с топ-учеными, то количество публикаций и цитирований вовсе не отличается от остальных работ коллег.

Исследователи выяснили, что работам топовых ученых присуща высокая новизна, они вдохновляют своих последователей и соавторов, при этом сдерживая их инновационный потенциал. Молодые исследователи, которые создают инновационный контент без преимущества раннего сотрудничества с топовыми учеными, продолжают создавать такой контент на протяжении всей своей карьеры. А те исследователи, которые сильно вдохновляются работой с топовым учеными, не привносят достаточно новизны в коллективную работу в дальнейшем.

Также обнаружили здесь и эффект Матфея: ученые, часто цитирующие топов, получают большее количество цитирований при сотрудничестве с топом, чем без него. Хотя сотрудничество с успешными учеными может стимулировать карьерный рост, такие коллаборации могут подавлять инновационные идеи и не являются лучшим показателем долгосрочного успеха независимой карьеры.

Из выводов коллег: исследователи, которые оказываются под наименьшим влиянием топовых ученых на ранних этапах развития научной карьеры, в среднем внедряют больше инноваций и, соответственно, имеют более высокие показатели цитируемости.

#обзор #соавторство #цитирование
«Труды научных конференций: тренды, аномалии и российская специфика»: вебинар с приглашенными спикерами 25 января в 12:00

Начинаем открытое профессиональное обсуждение важных тем с ведущими российскими наукометристами. Выбираем темы, интересные широкой публике и значимые для актуальной российской научной политики, которые серьезно разбираем на основе больших данных. Первая такая тема — про «конференционный взрыв» — как раз такой и является. Пригласили коллег: А.Е. Гуськова, Д.В. Косякова из РИЭПП с докладом «Труды научных конференций: тренды, аномалии и российская специфика». Оппонентом выступит Иван Стерлигов.

Публикации в трудах конференций — это второй по количеству тип научных публикаций (после статей в журналах), индексируемых в международных базах данных. В последние 10 лет в России наблюдается быстрый рост таких публикаций («конференционный взрыв»), который многие связывают с развитием наукометрических подходов к оценке научной результативности. Подобный эффект наблюдался и исследовался ранее и в других странах, например, в Чехии и Индонезии. Однако общая ситуация, описывающая роль трудов конференций в различных дисциплинах и отклонения в разных странах, на текущий момент не изучена.

В докладе изучаются тренды и аномалии потока публикаций в трудах конференций, проиндексированных в Scopus, в разрезах областей наук и стран. Отдельное внимание уделяется феномену быстрого роста количества публикаций российских исследователей в трудах конференций. Предполагается, что он сопровождается, в том числе, системными нарушениями научной этики, связанными с проведением «домашних» конференций и «участием» российских исследователей в «мусорных» конференциях. Детальный анализ потока публикаций с российским участием типа Conference Paper в базе данных Scopus и связанных с ними конференциях позволяет поставить под сомнение влияние «домашних» и «мусорных» конференций на развитие этого феномена.

Приглашаем на вебинар всех желающих. Регистрация здесь.

#анонс #вебинары #scopus
​​Возможное влияние 2022 OSTP Memo на публикации, финансируемые федеральным бюджетом США

Не так давно мы писали о том, что американский OSTP (Office of Science and Technology Policy) разместил требование о немедленном предоставлении открытого доступа ко всем исследованиям, финансируемым из федерального бюджета, что значительно ускорило переход к моделям публикации в открытом доступе в США.

В январе вышла статья с подробным анализом публикаций, попадающих под действие этого меморандума. Ранее действовал меморандум 2013 года, предполагающий 12-месячный период эмбарго для публикаций, финансируемых госбюджетом США.

Это исследование направлено на более глубокое изучение характеристик исследований, финансируемых из федерального бюджета США, за 5-летний период с 2017 по 2021 год. Анализировали с помощью платного доступа в Dimensions (индексирует более широкий спектр журналов и ищет информацию о финансировании по тексту статьи в разделе «благодарности» и др). Подробнее о методологии читайте в самой работе.

Результаты показывают, что каждый год публикуется в среднем 265 000 статей, в которых упоминаются федеральные финансовые агентства США.

• На первом месте грантодателей — National Cancer Institute (137 тысяч публикаций). В первую десятку федеральных финансирующих организаций США входят преимущественно институции, связанные со медициной.

• В тематических областях финансируемых работ выделяются три ведущие категории — биомедицинские и клинические науки (400 000 статей за пять лет), биологические науки и инженерные науки занимают 2 и 3 места с примерно 200 000 публикаций в каждой.

• Самый высокий процент исследований, финансируемых из федерального бюджета США, наблюдается среди издательств с относительно низким общим объемом выпуска. На первом месте среди издательств, выпускающих больше всего таких публикаций — Международная программа по исследованию океана (IODP) — 94% всех публикаций.

• Scientific Reports и PLOS ONE публикуют очень большое количество исследований, финансируемых из федерального бюджета США (примерно 16% от общего количества публикаций), но они также публикуют очень большое количество статей в целом. Nature Communications, PNAS и Astrophysical Journal публикуют от 8 000 до 12 000 федерально финансируемых статей в течение рассматриваемого периода.

• В 2017-2020 годах в закрытом доступе было опубликовано около 26% статей, финансируемых из федерального бюджета США, но в 2021 году этот показатель увеличился почти до 32%. Доля Green OA за эти годы снизилась: с самого распространенного способа в 2017 году до третьего по распространенности к 2021 году. Gold OA в публикациях, финансируемых из федерального бюджета, увеличился за исследуемый период времени, став вторым по распространенности способом доступа, и составил около 27% в 2021 году. Bronze OA уменьшился с 16% до 10%, а Hybrid держится на уровне 8%.

• Elsevier, Springer Nature и Wiley — крупные издательства, в которых около 30% исследований, финансируемых из федерального бюджета США, публикуются в формате закрытого доступа. У IEEE и ACS процент публикаций в закрытом доступе гораздо выше — около 50-60%. Эти издательства могут быть более уязвимы к изменениям в политике, поскольку их ранее закрытый платный контент становится общедоступным и открытым.

Интерактивные версии каждого графика статьи находятся здесь.

#открытыйдоступ #apc #ostp
Новое в руководстве: коллекция датасетов

В рамках нашего онлайн-руководства по наукометрии начали собирать коллекцию актуальных наукометрических датасетов — общедоступных и легальных. Сотни миллионов авторов и публикаций, тематики, цитирования, аннотации, журналы, финансирование, полные тексты — всё это доступно для скачивания, обработки, исследования и интеграции.

Уже сейчас при наличии навыков работы с данными любой желающий может собрать себе из этих данных хоть в PostgreSQL, хоть в BigQuery такую карту науки, что по охвату опередит Web of Science и Scopus, а сложные аналитические запросы типа «выдай и ранжируй всех авторов статей про пингвинов вместе со всеми их метриками и ссылками на полные тексты их публикаций в открытом доступе, а также всё то же самое для всех ссылающихся на них авторов из Антарктиды» будут выполняться легко, просто и бесплатно. Конечно, после настройки и отладки. Для удобства приводим примеры данных для ключевых датасетов.

Пока собрали датасеты по публикациям, авторам и организациям, в планах — источники (журналы), тематики, каналы финансирования и полные тексты. Всегда рады советам и рекомендациям.

#руководство #новости #датасеты #открытыйдоступ #бесплатнодляавторов
ChatGPT и научные публикации

Ведущие научные издательства наперегонки запрещают брать в соавторы ChatGPT, но получится ли загнать джинна в бутылку? И хорошо ли такой запрет сочетается с рекомендациями использовать AI в науке максимально прозрачно? Вопросы будут только множиться.

А пока отмечаем, что индекс Хирша ChatGPT уже достиг отметки 2 по Google Scholar. Один из первых его соавторов — русскоязычный ученый Алексей Жаворонков, сотрудничавший с МФТИ. Правда, к издательству, опубликовавшему работу (и принадлежащему русскоязычным биотехнологам — из пяти ссылок у Жаворонкова две первые на главреда-владельца), есть существенные претензии.

Насколько можно считать этот материал полноценной публикацией, судите сами. Это несложно: текст занимает полторы страницы. Возможно, поэтому редакция приняла его к печати за один(!) день.

#новости #журналы
10 февраля в 12:00 открытый вебинар «Скопус после скопуса: какие функции сохранились и чем заменить выпавшие?»

• функционал бесплатной открытой веб-версии,
• поисковые запросы через открытый API: как подключиться, как считать число публикаций и какие метаданные доступны (объясним с нуля, опыт программирования не требуется),
• технические API, которые помогут в сборе информации по авторам и источникам,
• альтернативные открытые базы, доступ к которым нельзя отключить.

Присылайте нам свои вопросы заранее в бот @vyshekbot, постараемся найти ответы. О том, как получить нелегальный доступ к Scopus, лучше не спрашивать, таким не занимаемся.

Приглашаем на вебинар всех желающих. Регистрация здесь. Записи предыдущих вебинаров на нашем сайте и youtube-канале.

#анонс #вебинары #scopus
Коллеги, на платформе Webinar произошел сбой, решаем проблему, сообщим, если в ближайшее время получится восстановить связь.
Запись вебинара «Скопус после скопуса: какие функции сохранились и чем заменить выпавшие?»

Сегодня из-за технического сбоя нам не удалось провести запланированный вебинар в прямом эфире. С связи с этим мы решили записать видео, оно доступно на youtube, можете оставлять свои вопросы и комментарии под видео или писать нам в бот.

#анонс #вебинары #scopus
Международный день женщин в науке!

Мы уже писали про гендерный разрыв среди высокоцитируемых исследователей и гендерные диспропорции в российской академии, и сегодня, в международный день женщин в науке, хотим показать представленность женщин в публикационной активности российских университетов.

• На первой диаграмме даем статистику по распределению мужчин и женщин в ведущих университетах по числу исследователей.
• На второй — приводим данные в разрезе по областям.

Теперь немного про данные. Мы проанализировали 902 803 профиля авторов в Scopus, имевших когда-либо аффилиацию с российскими организациями. Из них по метаданным определили пол для 703 109 человек (77.88%). Затем выделили 163 организации с числом аффилированных ученых не менее 1000. На них пришлось 153 962 женщины и 185 116 мужчин (соотношение: 0.89 к 1). Заметим, что данный портрет фиксирует данные по всем профилям Scopus без фильтров на потенциальные двойные профили ученых и годы последней публикации.

Из интересного, но не вошедшего в графики: cреди исследователей в химических, биологических, медицинских НИИ доля женщин в среднем 50%. А в институтах физики — не более 30%. Например, в Институте ядерной физики им. Будкера число женщин составляет менее 8% от общего количества ученых; еще меньше у Института физики высоких энергий — около 7% женщин.

#новости #россия #scopus #университеты #женщины