Метрики изданий в Google Scholar
В июле Google Scholar опубликовал обновленные данные по метрикам научных журналов, включая сборники материалов некоторых инженерных и IT-конференций. Из списка были исключены издания, в которых было размещено менее 100 публикаций за период с 2018 по 2022 г., а также те, у которых не было ни одной цитируемой статьи, вышедшей в данный пятилетний период. Дополнительно были опубликованы списки из 100 наиболее высоко оцененных журналов на 11 языках, включая русский.
Мы сравнили список российских журналов в Google Scholar, «белый» национальный список, размещенный на сайте РЦНИ, и метрики изданий в недавно опубликованном Scimago Journal Report. Из 100 журналов в русскоязычном списке Google Scholar в список РЦНИ входят 29, а в SJR — 19. Поскольку Google Scholar работает по поисковым алгоритмам, его охват намного выше, чем у многих других наукометрических баз, но он не предусматривает оценки качества источников, которые являются наиболее значимыми для отдельных наук. Поэтому в топ-100 входит достаточно много журналов, которые редко попадают в экспертные списки в связи с особенностями редакционной политики.
Google Scholar включает в себя большое количество перекрестных ссылок на цитируемые источники. Он достаточно удобен, если нужно быстро найти ссылку на оригинальную публикацию в конкретном журнале или проанализировать источники определенной статьи. Тем не менее широкий охват служит и определенным препятствием для адекватной оценки уровня и значимости отдельных изданий, так как селективность исходной выборки играет немаловажную роль в построении надежных показателей. Поэтому мы советуем с крайней осторожностью подходить к выбору места публикации лишь на основании представленных данных и обращаться к другим источникам, включая экспертные списки.
#GoogleScholar #рейтинги #hиндекс
В июле Google Scholar опубликовал обновленные данные по метрикам научных журналов, включая сборники материалов некоторых инженерных и IT-конференций. Из списка были исключены издания, в которых было размещено менее 100 публикаций за период с 2018 по 2022 г., а также те, у которых не было ни одной цитируемой статьи, вышедшей в данный пятилетний период. Дополнительно были опубликованы списки из 100 наиболее высоко оцененных журналов на 11 языках, включая русский.
Мы сравнили список российских журналов в Google Scholar, «белый» национальный список, размещенный на сайте РЦНИ, и метрики изданий в недавно опубликованном Scimago Journal Report. Из 100 журналов в русскоязычном списке Google Scholar в список РЦНИ входят 29, а в SJR — 19. Поскольку Google Scholar работает по поисковым алгоритмам, его охват намного выше, чем у многих других наукометрических баз, но он не предусматривает оценки качества источников, которые являются наиболее значимыми для отдельных наук. Поэтому в топ-100 входит достаточно много журналов, которые редко попадают в экспертные списки в связи с особенностями редакционной политики.
Google Scholar включает в себя большое количество перекрестных ссылок на цитируемые источники. Он достаточно удобен, если нужно быстро найти ссылку на оригинальную публикацию в конкретном журнале или проанализировать источники определенной статьи. Тем не менее широкий охват служит и определенным препятствием для адекватной оценки уровня и значимости отдельных изданий, так как селективность исходной выборки играет немаловажную роль в построении надежных показателей. Поэтому мы советуем с крайней осторожностью подходить к выбору места публикации лишь на основании представленных данных и обращаться к другим источникам, включая экспертные списки.
#GoogleScholar #рейтинги #hиндекс
Сравнение методов расчета высокоцитируемых публикаций
Подсчет статей, которые выделяются за счет аномально высокого количества полученных цитирований, являются объектом изучения экспертов, занимающимися количественным анализом науки.
Очевидная необъективность и отсутствие точных методов, которые используются для составления «рейтингов» высокоцитируемых публикаций, заставляют исследователей искать новые подходы для их усовершенствования. Наиболее распространенным из различных критериев такой оценки является определение высокоцитируемых статей как статей, находящихся в первом процентиле (верхний 1%) числа цитирований, с чем связано два неразрешенных вопроса:
· как составить список наиболее цитируемых статей, ранжированных в порядке убывания (или возрастания), в зависимости от метода?
· как преобразовать это порядковое распределение в процентили, пригодные для сравнения публикаций в разных предметных областях?
Используемые для решения этих вопросов методы на данный момент имеют определенные недостатки. Но всё же общее мнение исследователей сводится к тому, что независимо от того, как рассчитывается рейтинг, необходимо учитывать практику публикаций и цитирования каждой научной специальности, чтобы уменьшить влияние асимметрии науки. Недавнее введение в Web of Science процентиля предметных категорий для журналов, перечисленных в Journal Citation Reports (JCR), является подтверждением такого консенсуса.
В 2022 году был предложен новый подход — метод Вагнер, который, в отличие от распространенных, не учитывает год выхода и тип публикации, а также направленность журнала. В апрельской статье Quantative Science Studies авторы проанализировали эффективность предложенного подхода путем его сопоставления с более привычным (в основе которого лежит метод InCites, схожий с методами Лейденского рейтинга и SCImago Journal Rank).
Исследование показало, что при использовании метода Вагнер статистическое предпочтение отдается публикациям из Китая, Японии, Южной Кореи и Сингапура, а также Саудовской Аравии и Швейцарии. В отличие от InCites, он отводит меньшую долю другим странам и регионам, таким как Австралия, Канада, Европейский союз, Великобритания, Бразилия и Южная Африка.
Анализ по дисциплинам (см. график) объясняет этот перекос: страны, в которых более развиты инженерные науки, более широко представлены в новом подходе. С другой стороны, страны со значительной долей публикаций фундаментальных исследований, исследований в области социальных и гуманитарных наук представлены недостаточно по сравнению с данными, полученными при помощи метода InCites.
Согласно результатам исследования, выбор метода расчета перцентилей влияет на долю представленности стран и дисциплин: по мнению авторов, метод Вагнер существенно искажает результаты, а «верность традиционным методам», применяемым для составления рейтинга высокоцитируемых статей, абсолютно оправдана.
#обзор #HCP #webofscience #рейтинги
Подсчет статей, которые выделяются за счет аномально высокого количества полученных цитирований, являются объектом изучения экспертов, занимающимися количественным анализом науки.
Очевидная необъективность и отсутствие точных методов, которые используются для составления «рейтингов» высокоцитируемых публикаций, заставляют исследователей искать новые подходы для их усовершенствования. Наиболее распространенным из различных критериев такой оценки является определение высокоцитируемых статей как статей, находящихся в первом процентиле (верхний 1%) числа цитирований, с чем связано два неразрешенных вопроса:
· как составить список наиболее цитируемых статей, ранжированных в порядке убывания (или возрастания), в зависимости от метода?
· как преобразовать это порядковое распределение в процентили, пригодные для сравнения публикаций в разных предметных областях?
Используемые для решения этих вопросов методы на данный момент имеют определенные недостатки. Но всё же общее мнение исследователей сводится к тому, что независимо от того, как рассчитывается рейтинг, необходимо учитывать практику публикаций и цитирования каждой научной специальности, чтобы уменьшить влияние асимметрии науки. Недавнее введение в Web of Science процентиля предметных категорий для журналов, перечисленных в Journal Citation Reports (JCR), является подтверждением такого консенсуса.
В 2022 году был предложен новый подход — метод Вагнер, который, в отличие от распространенных, не учитывает год выхода и тип публикации, а также направленность журнала. В апрельской статье Quantative Science Studies авторы проанализировали эффективность предложенного подхода путем его сопоставления с более привычным (в основе которого лежит метод InCites, схожий с методами Лейденского рейтинга и SCImago Journal Rank).
Исследование показало, что при использовании метода Вагнер статистическое предпочтение отдается публикациям из Китая, Японии, Южной Кореи и Сингапура, а также Саудовской Аравии и Швейцарии. В отличие от InCites, он отводит меньшую долю другим странам и регионам, таким как Австралия, Канада, Европейский союз, Великобритания, Бразилия и Южная Африка.
Анализ по дисциплинам (см. график) объясняет этот перекос: страны, в которых более развиты инженерные науки, более широко представлены в новом подходе. С другой стороны, страны со значительной долей публикаций фундаментальных исследований, исследований в области социальных и гуманитарных наук представлены недостаточно по сравнению с данными, полученными при помощи метода InCites.
Согласно результатам исследования, выбор метода расчета перцентилей влияет на долю представленности стран и дисциплин: по мнению авторов, метод Вагнер существенно искажает результаты, а «верность традиционным методам», применяемым для составления рейтинга высокоцитируемых статей, абсолютно оправдана.
#обзор #HCP #webofscience #рейтинги
Связь финансирования университета и его места в Шанхайском рейтинге
Сегодня мы бы хотели затронуть тему влияния финансирования университета на его место в Шанхайском рейтинге, а также рассказать об инструменте прогнозирования позиции вуза в данном рейтинге.
Тяжело переоценить влияние объема ресурсов организации на позицию в университетском рейтинге, но все же предполагается, что это влияние не играет ключевую роль и что рейтинговая позиция зависит от огромного количества параметров. Однако результаты недавнего исследования показывают существенную и устойчивую связь объема финансирования и позиции в рейтинге.
В статье авторы проанализировали 318 международных университетов и выявили связь между их финансовыми ресурсами и местом в Шанхайском рейтинге (ARWU) от 2019 года. Анализ показал, что университеты с высокими и низкими баллами ARWU зачастую демонстрируют одинаково высокую эффективность в использовании имеющихся ресурсов, из чего следует, что разница между ними состоит не в искусстве управления ресурсами, а в их количестве.
Следует отметить, что отсутствие открытой информации о финансовых данных университетов и размытые стандарты бухгалтерского учета значительно затрудняют сбор информации и влияют на выборку данных.
Существуют национальные базы — американская IPEDS, европейская ETER, британская HESA и другие, но в настоящее время финансовые данные большинства из них ограничиваются только расходами и доходами, в то время как данные об активах, обязательствах и денежных потоках не предоставляются. В этом отношении авторы делают несколько замечаний о возможных шагах по унификации данных: в частности, было бы желательно обогатить существующие базы данных вузов дополнительными финансовыми данными (или создать новые).
Сами по себе рейтинги, хотя и привлекают внимание общественности из-за удобства ранжирования организаций по показателям и тех выводов, которые можно сделать на этом основании, в то же время активно критикуются. Так, авторы ссылаются на других исследователей, которые выделяют три основные тенденции критических замечаний в адрес рейтингов:
а) содержание показателей: отсутствие учета междисциплинарности, предвзятость к крупным университетам, реальное социальное влияние университета, эффективность распоряжения
ресурсами, альтернативные миссии университетов)
б) методология: статистическая ненадежность и опора на метрики, потенциально содержащие ошибки;
в) влияние: идеологическая нагруженность, легитимация неравенства, «самоисполняющееся пророчество».
Выявление взаимосвязи параметров финансирования и итогового балла университета в рейтинге позволяет спрогнозировать его позицию в будущем. Для этого авторы разделили ARWU на несколько лиг и разработали прогностическую модель (HEI league prediction tool) для оценки балла ARWU и соответствующей лиги, опираясь на данные о ресурсах университета.
Прогностическая модель доступна онлайн по следующей ссылке: https://simonedileo.shinyapps.io/ARWU_League_Estimator/
Модель использует несколько параметров: стоимость материальных неденежных активов, общая сумма операционных расходов, количество студентов, академического и административного персонала (в эквиваленте полной занятости).
Библиометрические показатели в расчет не включены — впрочем, их связь с финансированием университета гораздо более опосредована, чем соотношение студентов и преподавателей. Одним из возможных вариантов доработки модели мог бы стать учет бюджета НИОКР, поскольку он обладает более выраженной корреляцией с публикационной активностью.
#обзор #рейтинги #ARWU
Сегодня мы бы хотели затронуть тему влияния финансирования университета на его место в Шанхайском рейтинге, а также рассказать об инструменте прогнозирования позиции вуза в данном рейтинге.
Тяжело переоценить влияние объема ресурсов организации на позицию в университетском рейтинге, но все же предполагается, что это влияние не играет ключевую роль и что рейтинговая позиция зависит от огромного количества параметров. Однако результаты недавнего исследования показывают существенную и устойчивую связь объема финансирования и позиции в рейтинге.
В статье авторы проанализировали 318 международных университетов и выявили связь между их финансовыми ресурсами и местом в Шанхайском рейтинге (ARWU) от 2019 года. Анализ показал, что университеты с высокими и низкими баллами ARWU зачастую демонстрируют одинаково высокую эффективность в использовании имеющихся ресурсов, из чего следует, что разница между ними состоит не в искусстве управления ресурсами, а в их количестве.
Следует отметить, что отсутствие открытой информации о финансовых данных университетов и размытые стандарты бухгалтерского учета значительно затрудняют сбор информации и влияют на выборку данных.
Существуют национальные базы — американская IPEDS, европейская ETER, британская HESA и другие, но в настоящее время финансовые данные большинства из них ограничиваются только расходами и доходами, в то время как данные об активах, обязательствах и денежных потоках не предоставляются. В этом отношении авторы делают несколько замечаний о возможных шагах по унификации данных: в частности, было бы желательно обогатить существующие базы данных вузов дополнительными финансовыми данными (или создать новые).
Сами по себе рейтинги, хотя и привлекают внимание общественности из-за удобства ранжирования организаций по показателям и тех выводов, которые можно сделать на этом основании, в то же время активно критикуются. Так, авторы ссылаются на других исследователей, которые выделяют три основные тенденции критических замечаний в адрес рейтингов:
а) содержание показателей: отсутствие учета междисциплинарности, предвзятость к крупным университетам, реальное социальное влияние университета, эффективность распоряжения
ресурсами, альтернативные миссии университетов)
б) методология: статистическая ненадежность и опора на метрики, потенциально содержащие ошибки;
в) влияние: идеологическая нагруженность, легитимация неравенства, «самоисполняющееся пророчество».
Выявление взаимосвязи параметров финансирования и итогового балла университета в рейтинге позволяет спрогнозировать его позицию в будущем. Для этого авторы разделили ARWU на несколько лиг и разработали прогностическую модель (HEI league prediction tool) для оценки балла ARWU и соответствующей лиги, опираясь на данные о ресурсах университета.
Прогностическая модель доступна онлайн по следующей ссылке: https://simonedileo.shinyapps.io/ARWU_League_Estimator/
Модель использует несколько параметров: стоимость материальных неденежных активов, общая сумма операционных расходов, количество студентов, академического и административного персонала (в эквиваленте полной занятости).
Библиометрические показатели в расчет не включены — впрочем, их связь с финансированием университета гораздо более опосредована, чем соотношение студентов и преподавателей. Одним из возможных вариантов доработки модели мог бы стать учет бюджета НИОКР, поскольку он обладает более выраженной корреляцией с публикационной активностью.
#обзор #рейтинги #ARWU
Дайджест: июнь 2024
Первый летний месяц в мире науки традиционно тихий. Тем не менее, за июнь произошел ряд интересных событий, и мы представляем свежий дайджест.
Научные публикации
- Подошла к концу история с амилоидной гипотезой возникновения болезни Альцгеймера (мы писали о ней ранее). Карен Эш, соавтор-корреспондент и коллега Сильвена Лесне, согласилась с необходимостью ретракции статьи 2006 года, и 24 июня статья была отозвана.
- На конференции FAccT’2024 была представлена работа А. Лизенфельда и М. Дингеманса, в которой анализируется, насколько генеративные ИИ с открытым исходным кодом действительно открыты (на самом деле не очень).
Редакторская политика
- На конференции Clarivate Ignite 2024, проходившей в Сан-Диего, США, представили IP Collaboration Hub. Новое решение позволит управлять всем процессом подачи и рассмотрения заявок на патенты и товарные знаки за рубежом с помощью единого механизма учета заявок.
- Кроме того, Web of Science запустили систему Research Horizon Navigator — новый модуль с поддержкой ИИ в InCites Benchmarking & Analytics. Он призван помогать быстро находить новые темы, возникающие в научном сообществе в области интересов конкретного исследователя или института.
- Система Problematic Paper Screener (PPS), используемая для обнаружения признаков плагиата в научных публикациях, теперь может распознавать так называемые «искаженные аббревиатуры» — довольно явный признак того, что статья была написана при помощи ИИ.
Базы данных
- В Scientometrics вышла статья о разработке и применении нового библиометрического пакета для R — biblioverlap. Сам пакет доступен в репозитории CRAN. Предлагаем читателям пробовать и делиться своими впечатлениями (мы тоже скоро планируем).
- Появился список Altmetrics 500. Туда входят статьи, которые привлекли наибольшее внимание в Интернете в 2023 году: в новостях, цитатах, Википедии и X/Twitter.
Университетские рейтинги
- 30 мая вышел новый выпуск международного рейтинга университетов RUR. Всего в этом году в рейтинге 131 российский вуз, но в первую сотню попал только МГУ.
- 19 июня на XII ежегодном форуме ведущих вузов «Будущее высшей школы» был представлен рейтинг лучших российских вузов RAEX-100. В топ-3 — МГУ, Бауманка и МФТИ.
- 25 июня был опубликован свежий рейтинг USNews, в котором рассматривается 2250 вузов из более чем 100 стран. Из России в рейтинге 42 вуза, на первом месте по стране — Южно-Уральский государственный университет.
Наука в мире
- Планируемые изменения в системе Research Excellence Framework (Великобритания) вызывают у научных администаторов опасения: если учитывать в REF результаты работы сотрудников, работающих всего на 0,2 ставки (FTE), то университеты могут начать фиктивно нанимать сильных ученых для повышения своих показателей.
Наука в России
- ТюмГУ вслед за САФУ и МГПУ утвердил право студентов использовать генеративный ИИ при написании ВКР.
- Федеральная антимонопольная служба оштрафовала Яндекс за распостранение рекламы сервиса по написанию рефератов, курсовых и дипломных работ.
- Опубликован список победителей в конкурсе на “президентскую мегастипендию для аспирантов” в размере 75 тыс. рублей. Мы поздравляем победителей!
- Указом Президента РФ от 18.06.24 были утверждены обновленные а) приоритетные направления научно-тенхологического развития и б) перечень важнейших наукоемких технологий.
И бонусная новость: фармацевтическая компания «Ланцет» подала иск с требованием прекратить правовую охрану товарного знака The Lancet (и не только). Дело зарегистрировано под номером №СИП-589/2024, к участию привлекли и Роспатент. Пока что суд вынес определение об оставлении искового заявления без движения, но мы будем с интересом наблюдать за развитием событий.
#дайджест #новости #редакторскаяполитика #базыданных #наукавроссии #искуственныйинтеллект #рейтинги
Первый летний месяц в мире науки традиционно тихий. Тем не менее, за июнь произошел ряд интересных событий, и мы представляем свежий дайджест.
Научные публикации
- Подошла к концу история с амилоидной гипотезой возникновения болезни Альцгеймера (мы писали о ней ранее). Карен Эш, соавтор-корреспондент и коллега Сильвена Лесне, согласилась с необходимостью ретракции статьи 2006 года, и 24 июня статья была отозвана.
- На конференции FAccT’2024 была представлена работа А. Лизенфельда и М. Дингеманса, в которой анализируется, насколько генеративные ИИ с открытым исходным кодом действительно открыты (на самом деле не очень).
Редакторская политика
- На конференции Clarivate Ignite 2024, проходившей в Сан-Диего, США, представили IP Collaboration Hub. Новое решение позволит управлять всем процессом подачи и рассмотрения заявок на патенты и товарные знаки за рубежом с помощью единого механизма учета заявок.
- Кроме того, Web of Science запустили систему Research Horizon Navigator — новый модуль с поддержкой ИИ в InCites Benchmarking & Analytics. Он призван помогать быстро находить новые темы, возникающие в научном сообществе в области интересов конкретного исследователя или института.
- Система Problematic Paper Screener (PPS), используемая для обнаружения признаков плагиата в научных публикациях, теперь может распознавать так называемые «искаженные аббревиатуры» — довольно явный признак того, что статья была написана при помощи ИИ.
Базы данных
- В Scientometrics вышла статья о разработке и применении нового библиометрического пакета для R — biblioverlap. Сам пакет доступен в репозитории CRAN. Предлагаем читателям пробовать и делиться своими впечатлениями (мы тоже скоро планируем).
- Появился список Altmetrics 500. Туда входят статьи, которые привлекли наибольшее внимание в Интернете в 2023 году: в новостях, цитатах, Википедии и X/Twitter.
Университетские рейтинги
- 30 мая вышел новый выпуск международного рейтинга университетов RUR. Всего в этом году в рейтинге 131 российский вуз, но в первую сотню попал только МГУ.
- 19 июня на XII ежегодном форуме ведущих вузов «Будущее высшей школы» был представлен рейтинг лучших российских вузов RAEX-100. В топ-3 — МГУ, Бауманка и МФТИ.
- 25 июня был опубликован свежий рейтинг USNews, в котором рассматривается 2250 вузов из более чем 100 стран. Из России в рейтинге 42 вуза, на первом месте по стране — Южно-Уральский государственный университет.
Наука в мире
- Планируемые изменения в системе Research Excellence Framework (Великобритания) вызывают у научных администаторов опасения: если учитывать в REF результаты работы сотрудников, работающих всего на 0,2 ставки (FTE), то университеты могут начать фиктивно нанимать сильных ученых для повышения своих показателей.
Наука в России
- ТюмГУ вслед за САФУ и МГПУ утвердил право студентов использовать генеративный ИИ при написании ВКР.
- Федеральная антимонопольная служба оштрафовала Яндекс за распостранение рекламы сервиса по написанию рефератов, курсовых и дипломных работ.
- Опубликован список победителей в конкурсе на “президентскую мегастипендию для аспирантов” в размере 75 тыс. рублей. Мы поздравляем победителей!
- Указом Президента РФ от 18.06.24 были утверждены обновленные а) приоритетные направления научно-тенхологического развития и б) перечень важнейших наукоемких технологий.
И бонусная новость: фармацевтическая компания «Ланцет» подала иск с требованием прекратить правовую охрану товарного знака The Lancet (и не только). Дело зарегистрировано под номером №СИП-589/2024, к участию привлекли и Роспатент. Пока что суд вынес определение об оставлении искового заявления без движения, но мы будем с интересом наблюдать за развитием событий.
#дайджест #новости #редакторскаяполитика #базыданных #наукавроссии #искуственныйинтеллект #рейтинги
