Выше квартилей
2.78K subscribers
110 photos
1 video
1 file
305 links
HSE: Home of Scientometrics and Expertise

Обучение и консультирование по практическим вопросам research evaluation и управлении наукой.

Все вопросы и предложения направляйте @vyshekbot или на почту Наукометрического центра ВШЭ: scientometrics@hse.ru
Download Telegram
Импакт-фактор — самый известный и критикуемый наукометрический показатель на свете, но насколько хорошо его знают сами ученые?

Импакт-фактор привлекает своей простотой и понятностью и уже многие десятилетия используется в качестве инструмента навигации, сопоставления журналов и оценки публикаций — последнее вызывает наиболее ожесточенные споры. Об особенностях подсчета, недостатках и альтернативах ИФ читайте в нашем руководстве. А пока предлагаем вам ответить на пару вопросов.

#руководство
Новое в онлайн-руководстве: профили и идентификаторы организаций

Университеты и прочие научные центры — ключевой объект изучения наукометрии. Показатели для организаций используются в рейтингах, федеральных мониторингах и госпрограммах, подчас подменяя содержательную экспертизу и прямо влияя на финансирование.

В такой ситуации особенно важны профили организаций в популярных наукометрических базах, а также уникальные идентификаторы организаций, позволяющие надежнее сопоставлять статьи и организации и связывать разные источники информации. Особенно значимы такие идентификаторы для бурно развивающихся открытых баз наукометрических метаданных, которые в перспективе заменят коммерческие.

В новом разделе нашего руководства речь идет как раз об этом. Мы рассматриваем профили организаций WoS и Scopus, глобальный проект по созданию открытых идентификаторов Research Organization Registry, а также проект RIRO, позволяющий совмещать данные из этих трех, а также многих других источников (от геоданных до численности сотрудников) для российских организаций.

#новости #руководство #университеты #wos #scopus
В каких областях лучше работает журнальная наукометрия?

Так как мы получаем вопросы от читателей про популярную журнальную метрику SNIP, подготовили и добавили в наше руководство таблицу, позволяющую оценить применимость этой метрики в тех или иных областях науки. В силу особенностей расчета SNIP ссылки из множества журналов выбрасываются из рассмотрения, и доля таких «наказанных» изданий в разных науках кардинально отличается. Если она составляет менее 75%, использовать SNIP для данной области мы не рекомендуем.

Полагаем, что подготовленная таблица позволяет в целом оценить применимость наукометрии для различных областей внутри базы Scopus: разработчики SNIP ответственно подходят к методологии и их подход помогает идентифицировать дисциплины, где при оценке журналов лучше опираться не на количественные, а на содержательные критерии.

#новости #руководство
Научная коммуникация во времена кризиса

Людо Вальтман и Стивен Пинфилд совместно с другими исследователями опубликовали отчет «Научная коммуникация во времена кризиса: реакция системы научной коммуникации на пандемию COVID-19», в котором идет речь о том, как система научной коммуникации функционировала во время пандемии, какие инновации были внедрены и как они могут быть использованы в будущем.

В начале пандемии более 160 организаций по всему миру подписали положение об обмене данными по теме коронавируса, так же была запущена инициатива о более быстрых рецензиях на статьи о COVID-19. Те обязательства, которые были приняты в этих документах, имеют большое значение для современной науки, поскольку предполагают обеспечение открытого доступа к результатам исследований, ускорение сроков публикации статей и экспертную оценку препринтов.

Среди основных выводов доклада:
• система научной коммуникации успешно обеспечивает свободный доступ к исследованиям (около 90% исследований COVID-19 есть в открытом доступе),
• повысился интерес к публикации препринтов перед отправкой их в рецензируемый журнал (несмотря на это доля рецензируемых исследований COVID-19 с препринтом по-прежнему невелика),
• обмен данными по теме COVID-19 оставался относительно низким,
• ускорилось время публикации в журналах (время от подачи до публикации статей о COVID-19 было значительно короче, чем для аналогичных, не связанных с COVID-19),
• произошли некоторые инновации в области рецензирования препринтов (но эти инициативы экспериментальны и не масштабны).

Помимо основных выводов в отчете есть несколько рекомендаций, которые, по мнению авторов, могут улучшить научную коммуникацию:
• необходимы более согласованные действия в области препринтов, а также дополнительные инвестиции в экспертную оценку препринтов для расширения масштабов деятельности,
• распространение обмена данными может быть увеличено за счет совместных усилий ключевых участников,
• необходимо повысить доступность и качество данных и метаданных о научных публикациях.

Улучшение научной коммуникации — это совместная ответственность, которая требует сотрудничества и скоординированных действий всех заинтересованных сторон в исследовательской системе. Пандемия продемонстрировала важность открытого доступа в более широком смысле. Подробнее об открытом доступе читайте в нашем руководстве.
С отчетом можете познакомиться по ссылке.

#руководство #обзор #новости
Экспертные списки в Dimensions: журналы по гамбургскому счету

Научные журналы можно рейтинговать по показателям типа импакт-фактора и квартилей, а можно — силами профессионалов-экспертов, разбирающихся в сути опубликованного. Конечно, второй подход при должной реализации — в том числе использующей метрики как подспорье — гораздо правильнее, и поэтому он реализуется в передовых научных державах типа Скандинавии.

Почему бы не добавить такие списки и рейтинги прямо в наукометрическую базу в виде фильтров для пользователей? Идея лежит на поверхности и проста в реализации, но пока WoS, Scopus и Google Scholar от нее по разным причинам отказываются. Зато такие фильтры уже год как реализованы в Dimensions — огромной по охвату наукометрической системе от группы компаний, владеющих Springer и Nature, и база эта (в усеченной версии) доступна всем.

Из имеющихся в системе списков мы рекомендуем в первую очередь национальный норвежский, там два уровня: на первом пристойные журналы (например, Scientometrics), на втором — престижные (например, Research Policy). Использовать систему для подбора очень просто:
• вводим нужную тематику или ключевое слово в строку поиска и\или выбираем тематику из списка дисциплин (Research Categories);
• выбираем нужный экспертный фильтр (Journal List);
• получаем число публикаций по выбранной теме в журналах нужного уровня (Source Titles).

Ну а администраторов в эпоху расцвета «мусорных» сомнительных изданий и разнообразных накруток наверняка заинтересует функция фильтрации набора публикаций конкретного автора: так легко выделить статьи в действительно авторитетных изданиях.

Подробнее о подборе журналов вы можете прочесть в нашем руководстве.

#обзор #руководство #dimensions
С Днем Российской науки!

Сегодня День российской науки. Мы решили сделать слепок её текущего состояния.
РФ занимает 15-е место по числу документов WoS за последние 5 лет (2017-2021). На ее долю приходится 2,76% всех публикаций. В предыдущую пятилетку (2012-2016) эта доля составляла 2,15%.

Такие значения могут быть отчасти объяснены невысокой позицией в области медицины и наук о жизни. Здесь РФ занимает 28 место, но эта категория сама по себе занимает 37% от всех публикаций за 5 лет среди распределенных по классификатору WoS Сitation Topics (без учета индекса ESCI).

В других областях ситуация лучше. Россия входит в десятку по гуманитарным наукам (9 место), по химии (8 место), по инженерным наукам и наукам о материалах (8 место), по математике (7 место). А по физике вообще замыкает пятерку стран.

Сам по себе классификатор Citation topics имеет три уровня, поэтому позволяет углубиться и посмотреть, где Россия является лидером по публикациям в старших индексах WoS СС за последние пять лет.

Такие области действительно есть! Из 30 областей большинство (21) относятся к химии и физике. В науках о материалах Россия является лидером по исследованию металлов платиновой группы. В математике РФ на первом месте в следующих темах: оператор Шрёдингера, уравнение Гамильтона-Якоби и алгебры Клиффорда. В общественных науках мы стали лидерами в трех областях, связанных с оценкой рисков и общественным развитием. И в гуманитарных науках Россия ожидаемо является лидером в исследованиях по России и русинам.

Все области приведены на этой интерактивной инфографике.

#инфографика #wos #руководство #новости
Новое в руководстве: API

API — это программные интерфейсы, позволяющие получать внешние данные автоматически, без захода на веб-страницы, и интегрировать их в свои приложения. Владение API становится базовой компетенцией наукометристов, да и множества других ученых, работающих с данными — а других среди ученых всё меньше.

Сами API при этом становятся все проще в освоении и интереснее. Лучший пример в наукометрии — OpenAlex, самая перспективная наукометрическая база, совершенно бесплатная и общедоступная, о которой мы уже писали ранее. В рамках нашего руководства мы подготовили простую вводную инструкцию, основанную на Python. Освоив ее, вы научитесь легко и быстро выгружать огромные массивы метаданных и показателей публикаций, авторов, источников и организаций из базы, во многом не уступающей Web of Science и Scopus, а во многом — превосходящей их.

#руководство #новости #openalex
Научное влияние или личная выгода: зачем цитируют?

Недавно вышла статья «Как статус исследовательских работ влияет на то, как их читают и цитируют», основанная на опросе ряда авторов, для того чтобы оценить, насколько содержательно повлияли на их исследования ссылки и цитирования из других работ. Данные были собраны в 2018 году с помощью персонализированного опроса Qualtrics среди случайно выбранных авторов статей, опубликованных в 2015 году в WOS. Были получены заполненные анкеты от 9380 респондентов, предоставивших данные по 17 154 ссылкам в 15 предметных областях. Про методы анализа данных подробнее в самой статье.

Основные выводы статьи:
• Более половины ссылок на научные статьи отражают незначительное или полное отсутствие научного влияния на цитирующих их авторов.
• Цитирование уже высоко цитируемых работ в 2-3 раза чаще отражает существенное научное влияние.
• Цитирование изменяет восприятие качества: при низком количестве цитирований статьи кажутся менее качественными. Такие статьи читаются более поверхностно и обнаруживаются на более поздних этапах работы над статьей.

Некоторые исследователи ищут статьи для поддержки какого-то конкретного аргумента в своей собственной работе, другие —те, из которых можно почерпнуть идеи, которые повлияют на их текущую или будущую работу. Авторы утверждают, что первых цитирований и ссылок сравнительно больше. Например, иногда ссылка на признанного эксперта в определенной области используется для легитимации вклада самого цитирующего.

Действительно, ссылки имеют ряд функций, а их авторы — массу мотивов, и смешивать их в одном показателе может казаться грубым упрощением. О том, какую можно выделить типологию цитирований с точки зрения содержательных мотивов, мы написали в нашем руководстве.

#обзор #цитирование #руководство
Новое в руководстве по наукометрии: основные журналы и прочие интересные источники

По просьбам читателей собрали ссылки и краткие описания самых важных источников новой научной информации в наукометрии и смежных областях, в основном — ведущих международных журналов. Следить за ними стоит всем, кто хочет быть в курсе свежих достижений или ищет, где самому опубликовать что-то интересное. Помимо журналов и конференций рекомендуем сразу шесть интересных блогов для широкой аудитории.

#руководство #журналы
Новое в руководстве: как достать полные тексты без подписки

На фоне отключения подписок на иностранную научную литературу и приостановки обновления популярного пиратского сервиса собрали для вас инструкции про то, как легально находить и скачивать полные тексты. Ведущие международные и российские базы, скачивание для дата-майнинга через API и не только, браузерные плагины — способов с каждым днем всё больше, поэтому раздел будем регулярно обновлять.

#руководство #новости #открытыйдоступ
Год каналу «Выше квартилей»!

Сегодня нашему каналу исполняется ровно год! Чтобы отметить это событие, мы составили ТОП-10 публикаций за год по количеству просмотров.

1️⃣ Немного наукометрии в твоём кармане
2️⃣ С днём всех влюблённых!
3️⃣ SciHub сходит со сцены? Процент нелегально доступных статей ежегодно падает
4️⃣ Высшая школа экономики как сеть соавторов
5️⃣ Лидеры РФ по высокоцитируемым публикациям
6️⃣ Приглашаем всех на открытые и бесплатные вебинары по новой наукометрии!
7️⃣ Агрегаторы научных конференций
8️⃣ Новые квартили WoS
9️⃣ Динамика высокоцитируемых публикаций для ВУЗов трека «Исследовательское лидерство» в программе Приоритет 2030
🔟 Компьютерные науки в мире и России: анализ через топовые конференции

За этот год мы успели выпустить обзоры на статьи и события, визуализировали данные, сравнивали российские вузы и научные учреждения, анализировали экспертные списки. По хэштегу #обзоры можно почитать рецензии и обзоры на научные статьи и книги, по хэштегу #руководство — материалы и обновления в онлайн-руководстве по наукометрии, в группе #университеты — материалы, связанные с ВШЭ и другими университетами, а в разделах #инфографика и #инструменты — инструменты, метрики и термины, полезные для наукометрического анализа и развития учёного. Больше хэштегов для навигации закреплено в нашем первом посте.

Надеемся, что следующий год будет таким же продуктивным, и благодарим всех авторов и читателей нашего канала!
Новое в руководстве: коллекция датасетов

В рамках нашего онлайн-руководства по наукометрии начали собирать коллекцию актуальных наукометрических датасетов — общедоступных и легальных. Сотни миллионов авторов и публикаций, тематики, цитирования, аннотации, журналы, финансирование, полные тексты — всё это доступно для скачивания, обработки, исследования и интеграции.

Уже сейчас при наличии навыков работы с данными любой желающий может собрать себе из этих данных хоть в PostgreSQL, хоть в BigQuery такую карту науки, что по охвату опередит Web of Science и Scopus, а сложные аналитические запросы типа «выдай и ранжируй всех авторов статей про пингвинов вместе со всеми их метриками и ссылками на полные тексты их публикаций в открытом доступе, а также всё то же самое для всех ссылающихся на них авторов из Антарктиды» будут выполняться легко, просто и бесплатно. Конечно, после настройки и отладки. Для удобства приводим примеры данных для ключевых датасетов.

Пока собрали датасеты по публикациям, авторам и организациям, в планах — источники (журналы), тематики, каналы финансирования и полные тексты. Всегда рады советам и рекомендациям.

#руководство #новости #датасеты #открытыйдоступ #бесплатнодляавторов
Новое в руководстве: датасеты источников

Добавили новый подраздел в онлайн-руководство. Он посвящен датасетам источников: спискам и каталогам журналов, конференций, репозиториев — естественно, общедоступным.

Собрали ссылки и краткие описания каталогов DOAJ (с примером данных из общедоступной выгрузки), OpenAlex, списков на основе Scopus, базы журналов Российского центра научной информации, основных экспертных списков журналов и конференций, каталогов репозиториев датасетов и препринтов.

Также обновляем и расширяем все остальные разделы руководства, уделяя особое внимание базам, доступным в России.

#новости #руководство #открытыйдоступ
​​Новое в руководстве: раздел про OpenAlex

В онлайн-руководство добавлен раздел про OpenAlex — новую, свободную и открытую базу метаданных, за пару лет ставшую очень популярной. Это получилось за счет опоры на данные закрытого в прошлом году Microsoft Academic, творчески пополняемые и интегрируемые из десятка других источников. OpenAlex уже используется и в академической наукометрии, и как основа для новых научных поисковиков и других сервисов (Litmaps, Inciteful и т.д.).

Для России после отключения Web of Science и Scopus эта база наряду с Semantic Scholar, Lens и Dimensions стала особенно актуальна. Ее отличают бесплатность и максимально свободная лицензия, хороший и подробно документированный API. При этом по ряду аспектов она пока существенно отстает от классических баз, на что мы обращаем особое внимание.

#руководство #OpenAlex #открытыйдоступ
​​Об индексе Хирша на среднем цитировании: новая метрика – старые проблемы?

В последние годы h-индекс остается одним из наиболее широко используемых и одновременно обсуждаемых наукометрических показателей (в том числе и в нашем руководстве). Так, совсем недавно мы рассказывали о рейтинговании изданий в Google Scholar на основе журнального индекса Хирша, отметив при этом определенные недостатки используемого подхода. Критики зачастую подчеркивают, что h-индекс недооценивает молодых ученых, к тому же с его помощью оказывается довольно сложно сравнивать различные дисциплинарные области, обладающие своими особенностями цитирования. Попытки скорректировать методологию подсчета предпринимались неоднократно, в том числе и самим Х. Хиршем.

Новое прочтение показателя предложено в недавней работе бельгийского ученого И. Фассина. В ней автор развивает представленную ранее идею о ha-индексе – наибольшем числе публикаций, которые получили не менее ha цитат в среднем по годам. Такая нормализация, по мнению автора, позволяет уравнивать ученых, начавших свою карьеру относительно недавно и добившихся определенных успехов в науке, и признанных исследователей, у которых со временем ha-индекс остается относительно стабильным (пример сравнения динамики показателей приведен на картинке по данным статьи). Еще более значимое различие выявляется на журнальных подборках статей: хотя для рассмотренных в статье изданий показатель ha-индекса не уменьшается с течением времени, он значительно быстрее фиксирует достижение плато уровня цитируемости, чем индекс Хирша, отражающий накопительный эффект.

Между тем набор ограничений по использованию полученного индекса, упоминаемых И. Фассином в заключении, сводится к стандартным для h-индекса проблемам: невозможности выявления особенностей цитирования в отдельных науках и отсутствию учета эффекта мегаколлабораций при оценке публикационной активности авторов. Эти и другие недостатки h-подобных индексов служат хорошим напоминанием о том, что к любым подобным количественным показателям следует относиться с особой осторожностью и тем более слепо не полагаться на них при оценке публикационной активности.

#hиндекс #руководство #исследования
​​Особенности наукометрической оценки в гуманитарных и естественных науках

В октябрьской статье Scholarly Kitchen, на фоне закрытия нескольких гуманитарных программ в Университете Западной Вирджинии, Карин Вульф в очередной раз поднимает вопрос о том, что применение моделей и требований, предъявляемых к STEM, в гуманитарных и социальных науках не только неуместно, но и нежелательно и даже опасно.

Действительно, часто приходится подчеркивать необходимость использования различных подходов, метрик и показателей при сравнении областей SSH (Social Sciences & Humanities) и STEM (Science, Technology, Engineering & Mathematics) — об особенностях оценки гуманитарных наук упоминается даже в нашем руководстве. Традиционные метрики, которые на сегодняшний день используются большинством библиометрических баз, рассчитаны преимущественно на естественные и инженерно-технические науки, тогда как в гуманитарных и социальных науках есть своя специфика: а) публикации часто представлены на родном языке, б) монографии составляют существенную долю в отдельных областях, в) в среднем число соавторов в областях SSH ниже, чем в STEM; г) темп выпуска новых публикаций в SSH также намного ниже (Waltman).

По этой причине нет универсального способа оценки публикационной активности, который был бы одинаково эффективен в отношении рассматриваемых укрупненных областей. В сегодняшнем посте мы предлагаем ознакомиться со статьей датского исследователя П. Мельхиорсена (P. Melchiorsen), посвященного особенностям библиометрии SSH и STEM.

В этой статье рассматриваются двое условных ученых, ведущих исследования в областях гуманитарных и технических наук, находящихся примерно на одной ступени научной карьеры и активности. Исследователь X публикует в основном материалы конференций в сборниках и журналах на английском языке. Среднее количество авторов публикаций — 4,2. Исследователь А пишет в основном на датском языке, но типы публикаций гораздо более разнообразны: это статьи, главы книг, книги, обзоры, комментарии и дебаты в журналах. Среднее количество авторов публикаций – 1,3. И у Х, и у А число публикаций заметно увеличивается до и в течение нескольких лет после назначения на должность профессора, а затем снова снижается.

Для анализа эффективности их работы предлагается использовать три типа индикаторов:

1. Основанные на публикациях:
1. Количество и типы публикаций;
2. Фракционный балл — для международных коллабораций и общий;
2. Основанные на цитированиях:
1. Индекс Хирша в WoS и Google Scholar;
2. Публикации в журналах из верхнего дециля по CiteScore;
3. FWCI;
3. Альтметрики:
1. Число скачиваний;
2. Число упоминаний в медиа;
3. Объем финансирования.

Все эти показатели рассчитывались для сотрудников подразделения, в которых работали рассматриваемые ученые. Полученные значения распределялись по квартилям (заметим, что в данном примере четвертый квартиль является наивысшим); для итоговой оценки использовался так называемый q-индекс, который представляет собой простую сумму квартилей по вышеприведенным показателям. Таким образом, максимально возможное значение q-индекса равно числу показателей, умноженному на 4.

На скриншоте приведены лепестковые диаграммы для рассматриваемых гипотетических исследователей. Несмотря на сильные различия в распределении преимуществ и в публикационных стратегиях, их q-индексы оказались близки друг другу: 35 у исследователя X и 37 у исследователя А.

На первый взгляд, такой подход выглядит достаточно привлекательным для ранжирования исследователей в рамках одного подразделения крупного университета или института, а также для последующего сравнения эффективности работы ученых из разных областей. Однако вопрос о том, как сравнивать ученых из различных институтов или даже стран, остается открытым. К тому же суммирование квартилей (пусть и в разрезе разных индикаторов) является скорее еще одним количественным формализованным подходом, подменяющим экспертное оценивание исследовательского вклада по модели «выше квартилей».

#SSH #STEM #обзор #руководство
​​Самоцитирования журналов: тематический, страновой и квартильный разрезы

Постепенно возвращаясь к академическому ритму после летних каникул, мы решили обратить внимание наших подписчиков на динамику самоцитирований журналов, индексирующихся в Web of Science.

В онлайн-руководстве вопрос самоцитирований рассматривается как с точки зрения отдельного автора, так и с позиции журнального самоцитирования. Основная проблема самоцитирований в последнем случае — это искажение информации об истинной видимости журнальных статей академическим сообществом, что снижает надежность метрик, рассчитываемых на основе цитируемости (в том числе и широко используемых квартилей, являющихся побочным продуктом статистического подхода). Последние работы в области наукометрии (Bennett H., Singh B. & Slattery F.: 2024; Fiorillo. L.: 2024) показывают, что интерес к оценке самоцитирований не только сохраняется, но и является драйвером для описания тех изменений, которые претерпевают отдельные научные области.

Наша сегодняшняя аналитика продолжает заданное направление и построена на данных по источникам WoS за 2021-2023 гг. На диаграмме можно увидеть области, в которых наиболее часто встречается самоцитирование: в основном это узкие специфические области литературы (в частности, славянская литература — в среднем более 50% самоцитирований) и физики (физика полей и частиц, астрофизика, физика плазмы — 25-30%) Если говорить о странах-издателях журналов, то наибольшее количество самоцитирований встречается в журналах стран Африки и СНГ.

С квартилем журнала доля самоцитирований коррелирует слабо, но устойчиво — медианное значение составляет от 7,2% в журналах Q1 до 11,3% в Q4. Наблюдается и зависимость от коллекции, в которую входит журнал: меньше всего прибегают к самоцитированию авторы журналов из коллекции SCIE (Science Citation Index Expanded, 7,3%), за ней следует SSCI (Social Sciences Citation Index, 9,3%). У коллекций ESCI (Emerging Sources Citation Index) и AHCI (Arts & Humanities Citation Index) показатели самоцитирования выше — 10,2% и 11,1% соответственно.

#аналитика #самоцитирование #webofscience #руководство