Выше квартилей
2.74K subscribers
110 photos
1 video
1 file
303 links
HSE: Home of Scientometrics and Expertise

Обучение и консультирование по практическим вопросам research evaluation и управлении наукой.

Все вопросы и предложения направляйте @vyshekbot или на почту Наукометрического центра ВШЭ: scientometrics@hse.ru
Download Telegram
Языковое разнообразие научных публикаций: на примере нового хэндбука по социальным наукам

Про важность языкового разнообразия в научных публикациях мы уже писали здесь и здесь, но после заключительной лекции Ивана Стерлигова на курсе «Новая наукометрия», где он затронул эту тему, хотим еще раз обратиться к ней. Многоязычие очень важно для общественных и гуманитарных наук. Польские и бельгийские коллеги выпустили хэндбук про то, какие есть практики оценки общественных и гуманитарных наук в разных странах и каков вклад этих стран на национальном языке — Handbook on Research Assessment in the Social Sciences (2022).

Исследователи обычно публикуются более чем на одном языке, чаще всего на местных языках и английском. Но язык научного общения — это также и инструмент контроля за исследованиями, разработками и инновациями, производимыми исследователями в данной стране.

В течение многих лет в научном общении существовал свой lingua franca, причем сначала вовсе не английский, а латынь, французский и немецкий языки. Также есть ведущие языки для исследований в области социальных наук в определенных регионах, например, испанский для Латинской Америки или арабский для арабского мира. Кроме того, страны с меньшим числом носителей национального языка имеют меньше академических публикаций на этом языке, чем в более крупных странах.

Для изучения языковых моделей исследователей социальных наук в семи европейских странах авторы использовали информацию о рецензируемых журнальных статьях, опубликованных 32 386 исследователями в 2013-2015 годах в Чехии, Дании, Финляндии, Бельгии, Норвегии, Польше и Словении.

На этой базе авторы хэндбука провели анализ с точки зрения стажа и гендера. 65% исследователей в начале карьеры (до 10 лет с момента получения PhD) опубликовали работы на двух или более языках, в то время как среди исследователей со стажем более 11 лет публиковались на двух или более языках 61,5%. А среди более старших исследователей (31+ год с момента получения PhD) только 54% публиковались на двух или более языках. Среди женщин на двух или более языках публиковались 56,9%, а среди мужчин — 52%.

Во многих странах публикации на английском языке имеют преимущество перед распространением результатов исследований в академических кругах и за их пределами на других языках. Тем не менее, национальные языки остаются актуальными как для областей STEM, так и для SSH. На примере Финляндии авторы показывают, что более 70% не рецензируемых публикаций, включая те, что ориентированы на профессиональную и широкую аудиторию, написаны на национальных языках. Основное различие представляют рецензируемые публикации, в которых исследователи демонстрируют результаты и приложения своих исследований другим экспертам — такие работы написаны на английском языке.

Хотим напомнить, что серия вебинаров «Новая наукометрия» завершена. Все четыре семинара можно посмотреть на нашем youtube-канале, а презентации выложены на нашем сайте.

#открытаянаука #обзор #stem #ssh
​​Особенности наукометрической оценки в гуманитарных и естественных науках

В октябрьской статье Scholarly Kitchen, на фоне закрытия нескольких гуманитарных программ в Университете Западной Вирджинии, Карин Вульф в очередной раз поднимает вопрос о том, что применение моделей и требований, предъявляемых к STEM, в гуманитарных и социальных науках не только неуместно, но и нежелательно и даже опасно.

Действительно, часто приходится подчеркивать необходимость использования различных подходов, метрик и показателей при сравнении областей SSH (Social Sciences & Humanities) и STEM (Science, Technology, Engineering & Mathematics) — об особенностях оценки гуманитарных наук упоминается даже в нашем руководстве. Традиционные метрики, которые на сегодняшний день используются большинством библиометрических баз, рассчитаны преимущественно на естественные и инженерно-технические науки, тогда как в гуманитарных и социальных науках есть своя специфика: а) публикации часто представлены на родном языке, б) монографии составляют существенную долю в отдельных областях, в) в среднем число соавторов в областях SSH ниже, чем в STEM; г) темп выпуска новых публикаций в SSH также намного ниже (Waltman).

По этой причине нет универсального способа оценки публикационной активности, который был бы одинаково эффективен в отношении рассматриваемых укрупненных областей. В сегодняшнем посте мы предлагаем ознакомиться со статьей датского исследователя П. Мельхиорсена (P. Melchiorsen), посвященного особенностям библиометрии SSH и STEM.

В этой статье рассматриваются двое условных ученых, ведущих исследования в областях гуманитарных и технических наук, находящихся примерно на одной ступени научной карьеры и активности. Исследователь X публикует в основном материалы конференций в сборниках и журналах на английском языке. Среднее количество авторов публикаций — 4,2. Исследователь А пишет в основном на датском языке, но типы публикаций гораздо более разнообразны: это статьи, главы книг, книги, обзоры, комментарии и дебаты в журналах. Среднее количество авторов публикаций – 1,3. И у Х, и у А число публикаций заметно увеличивается до и в течение нескольких лет после назначения на должность профессора, а затем снова снижается.

Для анализа эффективности их работы предлагается использовать три типа индикаторов:

1. Основанные на публикациях:
1. Количество и типы публикаций;
2. Фракционный балл — для международных коллабораций и общий;
2. Основанные на цитированиях:
1. Индекс Хирша в WoS и Google Scholar;
2. Публикации в журналах из верхнего дециля по CiteScore;
3. FWCI;
3. Альтметрики:
1. Число скачиваний;
2. Число упоминаний в медиа;
3. Объем финансирования.

Все эти показатели рассчитывались для сотрудников подразделения, в которых работали рассматриваемые ученые. Полученные значения распределялись по квартилям (заметим, что в данном примере четвертый квартиль является наивысшим); для итоговой оценки использовался так называемый q-индекс, который представляет собой простую сумму квартилей по вышеприведенным показателям. Таким образом, максимально возможное значение q-индекса равно числу показателей, умноженному на 4.

На скриншоте приведены лепестковые диаграммы для рассматриваемых гипотетических исследователей. Несмотря на сильные различия в распределении преимуществ и в публикационных стратегиях, их q-индексы оказались близки друг другу: 35 у исследователя X и 37 у исследователя А.

На первый взгляд, такой подход выглядит достаточно привлекательным для ранжирования исследователей в рамках одного подразделения крупного университета или института, а также для последующего сравнения эффективности работы ученых из разных областей. Однако вопрос о том, как сравнивать ученых из различных институтов или даже стран, остается открытым. К тому же суммирование квартилей (пусть и в разрезе разных индикаторов) является скорее еще одним количественным формализованным подходом, подменяющим экспертное оценивание исследовательского вклада по модели «выше квартилей».

#SSH #STEM #обзор #руководство