Наукометрия vs экспертиза: сравниваем списки журналов
В России последнего десятилетия управление наукой велось с опорой на квартили по базам Web of Science и Scopus. Механическое применение квартилей противоречит как современным мировым тенденциям, так и критериям самой наукометрии, но имеет своих сторонников — в основном из числа представителей естественных наук, в которых журнальные метрики лучше отражают реальную значимость изданий.
Сейчас на фоне ухода WoS и вероятного ухода Scopus обсуждается создание российского национального списка учитываемых журналов, который придет на смену квартилям. Очевидно, для обеспечения плавности перехода на первом этапе его стоит формировать в основном из изданий, включенных в эти базы. Но также очевидно и другое:
• Списки WoS\Scopus необходимо проредить от изданий, не обеспечивающих должный контроль качества публикаций, в том числе откровенно «мусорных». Продолжать стимулировать и спонсировать симуляцию науки в текущих условиях просто недопустимо.
• Метрики цитируемости должны быть подспорьем для принятия содержательных решений по рангам конкретных журналов, а не подменять их. Решения с их учетом должны принимать специалисты-предметники — естественно, не местечковые, а мирового уровня.
• Многие авторитетные издания по целому ряду дисциплин — особенно гуманитарных — не входят в WoS\Scopus, и речь здесь далеко не только про российские журналы.
Чтобы лучше подсветить эти проблемы, мы решили сопоставить два списка журналов — Scopus (как больший из двух коммерческих списков) и национальный норвежский — наиболее известный из списков, составленных экспертами (с учетом, но не приматом наукометрии). Он давно и успешно применяется в Норвегии для распределения части финансирования науки среди университетов и вдохновил на создание аналогичных списков в других странах.
В норвежском списке есть три уровня:
• 0 — по сути, «черный список»: статья приносит ноль баллов (туда, например, недавно попал популярный в России Sustainability),
• 1 — учитываемые журналы, научному уровню, профессиональному охвату и рецензированию которых можно доверять (25,5 тысяч),
• 2 — ведущие журналы (немногим более 2 тысяч).
В рамках оценки за статью в журнале 1 уровня университет получит 1 балл, за статью в журнале 2 уровня — 3 балла, монографии приносят от 5 до 8 баллов, статьи в сборниках и труды конференций — до 1 балла.
Сопоставление списков мы проводили по ISSN (печатному и электронному), а если совпадений не было — по названию. Из-за ошибок и разночтений часть журналов могла не совпасть (погрешность мы оцениваем в <5%). В некоторых направлениях (прежде всего, Computer Science) на 1-2 уровни добавлены ведущие конференции, здесь мы их не учитывали.
В отличие от списков WoS\Scopus в норвежском соблюдается примерный паритет по числу изданий между крупными направлениями. Соответственно, процент журналов, индексируемых в Scopus, получается совершенно разный.
Цифры говорят сами за себя: полагаться на Scopus для оценки гуманитарных наук не стоит, да и с другими областями есть сложности, особенно на уровне «просто нормальных» журналов. С другой стороны, ведущие журналы по большинству дисциплин в целом индексируются в Scopus хорошо.
Очень большие различия наблюдаются также на уровне стран, причем хуже всего с индексацией в Scopus у скандинавских изданий, что отчасти объясняется высоким процентом гуманитарных изданий среди них (это обусловлено важностью локального контекста в этих областях).
#квартили #экспертныесписки #норвежскийсписок #scopus #россия
В России последнего десятилетия управление наукой велось с опорой на квартили по базам Web of Science и Scopus. Механическое применение квартилей противоречит как современным мировым тенденциям, так и критериям самой наукометрии, но имеет своих сторонников — в основном из числа представителей естественных наук, в которых журнальные метрики лучше отражают реальную значимость изданий.
Сейчас на фоне ухода WoS и вероятного ухода Scopus обсуждается создание российского национального списка учитываемых журналов, который придет на смену квартилям. Очевидно, для обеспечения плавности перехода на первом этапе его стоит формировать в основном из изданий, включенных в эти базы. Но также очевидно и другое:
• Списки WoS\Scopus необходимо проредить от изданий, не обеспечивающих должный контроль качества публикаций, в том числе откровенно «мусорных». Продолжать стимулировать и спонсировать симуляцию науки в текущих условиях просто недопустимо.
• Метрики цитируемости должны быть подспорьем для принятия содержательных решений по рангам конкретных журналов, а не подменять их. Решения с их учетом должны принимать специалисты-предметники — естественно, не местечковые, а мирового уровня.
• Многие авторитетные издания по целому ряду дисциплин — особенно гуманитарных — не входят в WoS\Scopus, и речь здесь далеко не только про российские журналы.
Чтобы лучше подсветить эти проблемы, мы решили сопоставить два списка журналов — Scopus (как больший из двух коммерческих списков) и национальный норвежский — наиболее известный из списков, составленных экспертами (с учетом, но не приматом наукометрии). Он давно и успешно применяется в Норвегии для распределения части финансирования науки среди университетов и вдохновил на создание аналогичных списков в других странах.
В норвежском списке есть три уровня:
• 0 — по сути, «черный список»: статья приносит ноль баллов (туда, например, недавно попал популярный в России Sustainability),
• 1 — учитываемые журналы, научному уровню, профессиональному охвату и рецензированию которых можно доверять (25,5 тысяч),
• 2 — ведущие журналы (немногим более 2 тысяч).
В рамках оценки за статью в журнале 1 уровня университет получит 1 балл, за статью в журнале 2 уровня — 3 балла, монографии приносят от 5 до 8 баллов, статьи в сборниках и труды конференций — до 1 балла.
Сопоставление списков мы проводили по ISSN (печатному и электронному), а если совпадений не было — по названию. Из-за ошибок и разночтений часть журналов могла не совпасть (погрешность мы оцениваем в <5%). В некоторых направлениях (прежде всего, Computer Science) на 1-2 уровни добавлены ведущие конференции, здесь мы их не учитывали.
В отличие от списков WoS\Scopus в норвежском соблюдается примерный паритет по числу изданий между крупными направлениями. Соответственно, процент журналов, индексируемых в Scopus, получается совершенно разный.
Цифры говорят сами за себя: полагаться на Scopus для оценки гуманитарных наук не стоит, да и с другими областями есть сложности, особенно на уровне «просто нормальных» журналов. С другой стороны, ведущие журналы по большинству дисциплин в целом индексируются в Scopus хорошо.
Очень большие различия наблюдаются также на уровне стран, причем хуже всего с индексацией в Scopus у скандинавских изданий, что отчасти объясняется высоким процентом гуманитарных изданий среди них (это обусловлено важностью локального контекста в этих областях).
#квартили #экспертныесписки #норвежскийсписок #scopus #россия
