Экспертные списки. Academic Journal Guide 2021
Не всегда престиж журнала определяется квартилем или другими метриками. Чтобы убедиться в реальной престижности, пригодятся белые списки и рейтинги, составленные специалистами по соответствующим тематикам. Подробнее про выбор журнала мы писали в нашем руководстве.
Один из таких сервисов, Academic Journal Guide, включает в себя широкий выбор журналов в области экономики, бизнеса и менеджмента (на данный момент 1703 журнала), которые обновляются каждые три года. AJG отличается тем, что его методология хоть и основана на наукометрических показателях, но его рейтинги базируются на экспертных оценках, проведенных экспертами-предметниками из научного комитета.
Процесс добавления новых журналов в рейтинг AJG следующий: открытый конкурс на добавление новых журналов ➡️ анализ данных по JCR, SJR, SNIP, CiteScore ➡️ экспертиза от профильных специалистов ➡️ стандартизизация для
каждой предметной области. На основе метрик, результатов процесса консультаций, другой соответствующей информации и оценки экспертов в предметной области, предлагают либо сохранить существующий уровень журнала, либо изменить его.
Что нужно принимать во внимание при работе с экспертным списком AJG:
• AJG — это гайд для лучшего выбора подходящего журнала;
• Достойные работы можно найти в самых разных журналах (не только в ведущих);
• Помимо оценки рейтинга и актуальности журнала, учитывайте другие факторы, такие как состав и разнообразие его редакционной коллегии, методы взимания гонораров или процент принятых публикаций;
• Важно учитывать методологию подсчета показателей AJG, чтобы понимать, как формируется рейтинг;
• Следует обращаться за советом и рекомендациями к коллегам и академическому сообществу.
Всего в рейтинге AJG выделяют несколько уровней журналов: 1, 2, 3, 4 (где 4 — ведущие мировые журналы).
Чтобы посмотреть список журналов, нужно зарегистрироваться на сайте CABS.
#экспертныесписки #журналы #инструменты
Не всегда престиж журнала определяется квартилем или другими метриками. Чтобы убедиться в реальной престижности, пригодятся белые списки и рейтинги, составленные специалистами по соответствующим тематикам. Подробнее про выбор журнала мы писали в нашем руководстве.
Один из таких сервисов, Academic Journal Guide, включает в себя широкий выбор журналов в области экономики, бизнеса и менеджмента (на данный момент 1703 журнала), которые обновляются каждые три года. AJG отличается тем, что его методология хоть и основана на наукометрических показателях, но его рейтинги базируются на экспертных оценках, проведенных экспертами-предметниками из научного комитета.
Процесс добавления новых журналов в рейтинг AJG следующий: открытый конкурс на добавление новых журналов ➡️ анализ данных по JCR, SJR, SNIP, CiteScore ➡️ экспертиза от профильных специалистов ➡️ стандартизизация для
каждой предметной области. На основе метрик, результатов процесса консультаций, другой соответствующей информации и оценки экспертов в предметной области, предлагают либо сохранить существующий уровень журнала, либо изменить его.
Что нужно принимать во внимание при работе с экспертным списком AJG:
• AJG — это гайд для лучшего выбора подходящего журнала;
• Достойные работы можно найти в самых разных журналах (не только в ведущих);
• Помимо оценки рейтинга и актуальности журнала, учитывайте другие факторы, такие как состав и разнообразие его редакционной коллегии, методы взимания гонораров или процент принятых публикаций;
• Важно учитывать методологию подсчета показателей AJG, чтобы понимать, как формируется рейтинг;
• Следует обращаться за советом и рекомендациями к коллегам и академическому сообществу.
Всего в рейтинге AJG выделяют несколько уровней журналов: 1, 2, 3, 4 (где 4 — ведущие мировые журналы).
Чтобы посмотреть список журналов, нужно зарегистрироваться на сайте CABS.
#экспертныесписки #журналы #инструменты
Норвежский список
Говоря об экспертных списках, первыми следует упомянуть перечни, работающие в рамках “Северной модели” оценки науки в ВУЗах Скандинавии. При оценке они не ориентируются ни на какую индексацию в разных наукометрических базах. Журналы и книжные издательства в этой модели разделены на несколько уровней, которые определяют, сколько за соответствующую публикацию получит университет, где работают авторы. Северные страны пробуют сделать единый список, но пока до этого далеко и приходится пользоваться отдельными: норвежским, финским и датским. Различия в них невелики, у всех есть английские интерфейсы. Списки обновляются регулярно панелями из многих десятков специалистов-предметников, которые не опираются на наукометрические показатели, но, конечно, принимают их во внимание в рамках экспертных обсуждений.
В Норвежском списке выделяют несколько уровней журналов и издательств:
• Уровень 2 считается самым высоким;
• Журналы 1 уровня отвечают минимальным требованиям, чтобы считаться научными (внешнее рецензирование, научная редакционная коллегия и минимальное национальное авторство, т.е. максимум 2/3 авторов могут принадлежать к одному и тому же учреждению);
• Уровень 0 означает, что журнал был рассмотрен, но отклонен, и публикация в нем не будет учитываться при подсчете публикационной активности;
• Уровень X — это журналы в подвешенном состоянии: неясно, следует одобрить их в свете текущих условий или нет.
Во 2 уровень входят 2196 журналов и 85 издательств. В 1 — 26230 журналов и 1647 издательств. В 0 — 5488 журналов и 1530 издательств. В X — 5 журналов. Посмотреть, к какому уровню относится журнал, можно здесь.
Список никак не дискриминирует по языку издания, индексации и прочим данным. В норвежском списке на текущий момент 142 русскоязычных журнала. Из них один, «Вопросы языкознания», входит в высшую категорию. 106 имеют уровень 1, и еще 35 — уровень 0.
В наукометрической системе Dimensions есть уже встроенные экспертные списки и рейтинги в виде фильтров для пользователей. Мы уже писали о таком подборе публикаций на примере норвежского списка.
#экспертныесписки #журналы #инструменты
Говоря об экспертных списках, первыми следует упомянуть перечни, работающие в рамках “Северной модели” оценки науки в ВУЗах Скандинавии. При оценке они не ориентируются ни на какую индексацию в разных наукометрических базах. Журналы и книжные издательства в этой модели разделены на несколько уровней, которые определяют, сколько за соответствующую публикацию получит университет, где работают авторы. Северные страны пробуют сделать единый список, но пока до этого далеко и приходится пользоваться отдельными: норвежским, финским и датским. Различия в них невелики, у всех есть английские интерфейсы. Списки обновляются регулярно панелями из многих десятков специалистов-предметников, которые не опираются на наукометрические показатели, но, конечно, принимают их во внимание в рамках экспертных обсуждений.
В Норвежском списке выделяют несколько уровней журналов и издательств:
• Уровень 2 считается самым высоким;
• Журналы 1 уровня отвечают минимальным требованиям, чтобы считаться научными (внешнее рецензирование, научная редакционная коллегия и минимальное национальное авторство, т.е. максимум 2/3 авторов могут принадлежать к одному и тому же учреждению);
• Уровень 0 означает, что журнал был рассмотрен, но отклонен, и публикация в нем не будет учитываться при подсчете публикационной активности;
• Уровень X — это журналы в подвешенном состоянии: неясно, следует одобрить их в свете текущих условий или нет.
Во 2 уровень входят 2196 журналов и 85 издательств. В 1 — 26230 журналов и 1647 издательств. В 0 — 5488 журналов и 1530 издательств. В X — 5 журналов. Посмотреть, к какому уровню относится журнал, можно здесь.
Список никак не дискриминирует по языку издания, индексации и прочим данным. В норвежском списке на текущий момент 142 русскоязычных журнала. Из них один, «Вопросы языкознания», входит в высшую категорию. 106 имеют уровень 1, и еще 35 — уровень 0.
В наукометрической системе Dimensions есть уже встроенные экспертные списки и рейтинги в виде фильтров для пользователей. Мы уже писали о таком подборе публикаций на примере норвежского списка.
#экспертныесписки #журналы #инструменты
Белые списки журналов: подход Китая
Продолжая серию постов про экспертные списки, предлагаем взглянуть на Китай. Значение вклада и результатов научных исследований Китая постоянно увеличивалось в течение последних десятилетий. И в 2019 году, превысив аналогичный показатель Соединенных Штатов, Китай стал самой производительной страной в мире.
В настоящее время в Китае существует семь основных списков журналов, каждый из которых составлен с учетом собственных целей и методов оценки:
1️⃣ Chinese Science Citation Database (CSCD),
2️⃣ Journal Partition Table (JPT),
3️⃣ AMI Comprehensive Evaluation Report (AMI),
4️⃣Chinese S&T Journal Citation Report (CJCR),
5️⃣ “A Guide to the Core Journals of China” (GCJC),
6️⃣ Chinese Social Sciences Citation Index (CSSCI),
7️⃣ World Academic Journal Clout Index (WAJCI).
С 2020 года в Китае новая политика оценки исследований, согласно которой он отказывается от показателей, основанных только на WoS в качестве стандарта. Это должно дать возможность исследовательским институтам и финансирующим организациям Китая определять новые стандарты. Несмотря на разнообразие внутренних журнальных рейтингов, которое позволяет исследовать методы оценки и источники данных, единого авторитетного стандарта в Китае до сих пор нет.
Некоторые из этих списков служат подспорьем для менеджеров, руководителей исследований, спонсоров и т.д. Другие предназначены для оптимизации библиотечных коллекций, рекомендаций по спискам для чтения. Количество учреждений, которые вносят свой вклад в составление этих списков, внушительно. Кроме того, отдельные университеты Китая по-прежнему ощущают потребность в создании собственных внутренних списков в дополнение к опубликованным системам.
В перспективе система журнальных списков Китая могла бы транформироваться в национальную платформу для сотрудничества и координирования общих информационных ресурсов и инструментов.
Мы приводим здесь 3 таблицы из статьи, в которых сравниваются области исследования, количество и ранжирование журналов, цели, источники данных всех 7-ми списков. Так, например:
• JPT и WAJCI насчитывают наибольшее количество журналов, оба из которых имеют внутренний и международный охват.
• Что касается дисциплин, JPT и CSCD больше внимания уделяют естественным наукам; AMI и CSSCI сосредоточены на области SSH; и CJCR, GCJC и WAJCI охватывают все дисциплины.
• JPT и WAJCI имеют по четыре уровня в рейтинге, однако в JPT в ТОП входит только 5% от всех публикаций, тогда как в WAJCI все четыре уровня занимают по 25%. Система AMI является более сложной, поскольку журналы делятся на три категории, а затем подразделяются на пять уровней в зависимости от качества. CSCD и CSSCI делятся на два уровня — основной и расширенный список.
Подробнее про оценку журналов в Китае можете прочитать здесь.
#экспертныесписки #журналы #инструменты #Китай
Продолжая серию постов про экспертные списки, предлагаем взглянуть на Китай. Значение вклада и результатов научных исследований Китая постоянно увеличивалось в течение последних десятилетий. И в 2019 году, превысив аналогичный показатель Соединенных Штатов, Китай стал самой производительной страной в мире.
В настоящее время в Китае существует семь основных списков журналов, каждый из которых составлен с учетом собственных целей и методов оценки:
1️⃣ Chinese Science Citation Database (CSCD),
2️⃣ Journal Partition Table (JPT),
3️⃣ AMI Comprehensive Evaluation Report (AMI),
4️⃣Chinese S&T Journal Citation Report (CJCR),
5️⃣ “A Guide to the Core Journals of China” (GCJC),
6️⃣ Chinese Social Sciences Citation Index (CSSCI),
7️⃣ World Academic Journal Clout Index (WAJCI).
С 2020 года в Китае новая политика оценки исследований, согласно которой он отказывается от показателей, основанных только на WoS в качестве стандарта. Это должно дать возможность исследовательским институтам и финансирующим организациям Китая определять новые стандарты. Несмотря на разнообразие внутренних журнальных рейтингов, которое позволяет исследовать методы оценки и источники данных, единого авторитетного стандарта в Китае до сих пор нет.
Некоторые из этих списков служат подспорьем для менеджеров, руководителей исследований, спонсоров и т.д. Другие предназначены для оптимизации библиотечных коллекций, рекомендаций по спискам для чтения. Количество учреждений, которые вносят свой вклад в составление этих списков, внушительно. Кроме того, отдельные университеты Китая по-прежнему ощущают потребность в создании собственных внутренних списков в дополнение к опубликованным системам.
В перспективе система журнальных списков Китая могла бы транформироваться в национальную платформу для сотрудничества и координирования общих информационных ресурсов и инструментов.
Мы приводим здесь 3 таблицы из статьи, в которых сравниваются области исследования, количество и ранжирование журналов, цели, источники данных всех 7-ми списков. Так, например:
• JPT и WAJCI насчитывают наибольшее количество журналов, оба из которых имеют внутренний и международный охват.
• Что касается дисциплин, JPT и CSCD больше внимания уделяют естественным наукам; AMI и CSSCI сосредоточены на области SSH; и CJCR, GCJC и WAJCI охватывают все дисциплины.
• JPT и WAJCI имеют по четыре уровня в рейтинге, однако в JPT в ТОП входит только 5% от всех публикаций, тогда как в WAJCI все четыре уровня занимают по 25%. Система AMI является более сложной, поскольку журналы делятся на три категории, а затем подразделяются на пять уровней в зависимости от качества. CSCD и CSSCI делятся на два уровня — основной и расширенный список.
Подробнее про оценку журналов в Китае можете прочитать здесь.
#экспертныесписки #журналы #инструменты #Китай
Чёрные списки журналов: подход Китая
На прошлой неделе мы уже писали о белых списках журналов в Китае, а сегодня поговорим о недобросовестных журналах. В настоящее время Китай публикует почти четверть всех научных статей в международных журналах. В конце 2020 года Национальная научная библиотека Китайской академии наук опубликовала список из 65 международных научных журналов WoS, потенциально противоречащих академической строгости. Официальное название китайского списка — «Early Warning List of International Journals (Trial)». Исследователей предупреждают о возможных проблемах с публикацией в журналах с точки зрения качества и достоверности исследований и рекомендуют тщательно выбирать места для публикации (этот список не является оценкой каждой статьи, опубликованной в сомнительных журналах).
За исключением журналов «уровня X» в норвежском списке, другие страны не публикуют официальные списки сомнительных журналов (некоторые журналы норвежского списка также фигурируют в китайском).
Согласно новой политике Китае (2020) в отношении научных публикаций:
• показатели, основанные на WoS , больше не будут применяться напрямую при оценке и финансировании работ,
• оценка исследований должна перейти от метрик к экспертной оценке,
• количество публикаций и импакт-факторы журналов больше не будут учитываться,
• необходимо придать новый приоритет актуальности исследований на местном уровне, то есть будут поощряться публикации в высококачественных китайских журналах и поддерживаться развитие таких журналов.
Новая политика Китая имеет сходство с инициативами в других частях мира, такими как декларация DORA, Лейденский манифест и RRI (Responsible Research and Innovation). Эти инициативы направлены на целостные оценки, которые выходят за рамки показателей публикаций и цитирования, как и новая политика Китая.
Журналы в китайском списке делятся на три уровня риска. Из 65 журналов 8 были отнесены к категории высокого риска, 28 — к среднему , а остальные 29 — к низкому. В 2021 году вышел обновленный список на английском языке, который был сокращен до 35 журналов, поскольку «за последний год большинство издателей, чьи журналы были включены в список журналов раннего предупреждения, приняли действенные меры по улучшению» (при этом в список добавились и новые журналы).
Авторы препринта полагают, что главным критерием отбора журнала в черный список стала ретракция статей; и располагают критерии отнесения журнала в черный список в порядке их влияния.
1️⃣ Доля отозванных статей
С 2016 по 2020 год в 91,4% отозванных статей первыми авторами были исследователи из китайских учреждений, а 89% публикаций были исключительно китайскими. Большинство журналов в черном списке имеют опыт отзыва китайских статей. Показатели отзывов явно влияют на выбор журналов для китайского списка, особенно когда они высоки для китайских статей и связаны с мошенническими статьями.
2️⃣ Количество статей в журнале
Высокая доля китайских статей в международных журналах, особенно в сочетании с быстро растущим ежегодным объемом статей в журналах, влияет на выбор журналов для включения в черный список.
3️⃣ Степень интернационализации
Этот критерий следует интерпретировать как степень китайского доминирования в исследованиях, опубликованных в журнале, как по доле статей, так и по количеству цитирований.
4️⃣ Плата за обработку статьи (APC)
Быстрый рост китайских расходов на APC и концентрация этих расходов в отдельных журналах, вероятно, влияют на выбор журналов для китайского списка.
5️⃣ Индекс успешности цитирования журнала
Цитируемость журналов, по-видимому, не влияет на список (как и последние два критерия).
6️⃣ Уровень самоцитирования
7️⃣ Количество непринятых статей
#экспертныесписки #инструменты #журналы #Китай
На прошлой неделе мы уже писали о белых списках журналов в Китае, а сегодня поговорим о недобросовестных журналах. В настоящее время Китай публикует почти четверть всех научных статей в международных журналах. В конце 2020 года Национальная научная библиотека Китайской академии наук опубликовала список из 65 международных научных журналов WoS, потенциально противоречащих академической строгости. Официальное название китайского списка — «Early Warning List of International Journals (Trial)». Исследователей предупреждают о возможных проблемах с публикацией в журналах с точки зрения качества и достоверности исследований и рекомендуют тщательно выбирать места для публикации (этот список не является оценкой каждой статьи, опубликованной в сомнительных журналах).
За исключением журналов «уровня X» в норвежском списке, другие страны не публикуют официальные списки сомнительных журналов (некоторые журналы норвежского списка также фигурируют в китайском).
Согласно новой политике Китае (2020) в отношении научных публикаций:
• показатели, основанные на WoS , больше не будут применяться напрямую при оценке и финансировании работ,
• оценка исследований должна перейти от метрик к экспертной оценке,
• количество публикаций и импакт-факторы журналов больше не будут учитываться,
• необходимо придать новый приоритет актуальности исследований на местном уровне, то есть будут поощряться публикации в высококачественных китайских журналах и поддерживаться развитие таких журналов.
Новая политика Китая имеет сходство с инициативами в других частях мира, такими как декларация DORA, Лейденский манифест и RRI (Responsible Research and Innovation). Эти инициативы направлены на целостные оценки, которые выходят за рамки показателей публикаций и цитирования, как и новая политика Китая.
Журналы в китайском списке делятся на три уровня риска. Из 65 журналов 8 были отнесены к категории высокого риска, 28 — к среднему , а остальные 29 — к низкому. В 2021 году вышел обновленный список на английском языке, который был сокращен до 35 журналов, поскольку «за последний год большинство издателей, чьи журналы были включены в список журналов раннего предупреждения, приняли действенные меры по улучшению» (при этом в список добавились и новые журналы).
Авторы препринта полагают, что главным критерием отбора журнала в черный список стала ретракция статей; и располагают критерии отнесения журнала в черный список в порядке их влияния.
1️⃣ Доля отозванных статей
С 2016 по 2020 год в 91,4% отозванных статей первыми авторами были исследователи из китайских учреждений, а 89% публикаций были исключительно китайскими. Большинство журналов в черном списке имеют опыт отзыва китайских статей. Показатели отзывов явно влияют на выбор журналов для китайского списка, особенно когда они высоки для китайских статей и связаны с мошенническими статьями.
2️⃣ Количество статей в журнале
Высокая доля китайских статей в международных журналах, особенно в сочетании с быстро растущим ежегодным объемом статей в журналах, влияет на выбор журналов для включения в черный список.
3️⃣ Степень интернационализации
Этот критерий следует интерпретировать как степень китайского доминирования в исследованиях, опубликованных в журнале, как по доле статей, так и по количеству цитирований.
4️⃣ Плата за обработку статьи (APC)
Быстрый рост китайских расходов на APC и концентрация этих расходов в отдельных журналах, вероятно, влияют на выбор журналов для китайского списка.
5️⃣ Индекс успешности цитирования журнала
Цитируемость журналов, по-видимому, не влияет на список (как и последние два критерия).
6️⃣ Уровень самоцитирования
7️⃣ Количество непринятых статей
#экспертныесписки #инструменты #журналы #Китай
CORE: рейтинг конференций в области компьютерных наук
В области компьютерных наук конференции имеют большее значение, чем журналы, поскольку на них презентовать свои работы можно гораздо скорее. Тем не менее рецензирование на конференциях по Computer Science довольно строгое: принимают там только 10-30% подаваемых докладов.
Для лучшей ориентации в уровнях и статусе конференций можно использовать рейтинги. Объединение факультетов CS Австралии и Новой Зеландии — CORE (Computing Research and Education) — создало рейтинг конференций, который содержит (на 2021 г.) 855 мероприятий, ранжированных экспертами по понятной и открытой методологии по всем направлениям компьютерных наук. Из них 7% отнесены к высшей категории A* (flagship), 19% к категории A (excellent), 29% к категории B (good) и 26% к категории C (удовлетворяет минимальным требованиям). Остальные — в том числе две российские конференции, пробившиеся в рейтинг — отнесены к локальным второстепенным мероприятиям. На сайте CORE также есть и список прочих рейтингов CS-конференций, составляемых в мире. В нашем руководстве есть раздел с рекомендациями по выбору конференций, особенно в области CS.
Помимо основных категорий, есть еще Australasian (конференции, аудитория которых состоит в основном из австралийцев и новозеландцев), unranked (конференции без рейтинга), national (конференции, которые проводятся в основном в одной стране и недостаточно известны для ранжирования), regional (аналогичны национальным конференциям).
Более того, на сайте CORE есть и некоторые рекомендации исследователям по использованию рейтинга CORE. Например, советы налаживать контакты с именитыми спикерами во время конференции, просматривать список принятых статей на ведущих конференциях на предмет смежных тезисов и т.д.
#экспертныесписки #инструменты #конференции #computerscience
В области компьютерных наук конференции имеют большее значение, чем журналы, поскольку на них презентовать свои работы можно гораздо скорее. Тем не менее рецензирование на конференциях по Computer Science довольно строгое: принимают там только 10-30% подаваемых докладов.
Для лучшей ориентации в уровнях и статусе конференций можно использовать рейтинги. Объединение факультетов CS Австралии и Новой Зеландии — CORE (Computing Research and Education) — создало рейтинг конференций, который содержит (на 2021 г.) 855 мероприятий, ранжированных экспертами по понятной и открытой методологии по всем направлениям компьютерных наук. Из них 7% отнесены к высшей категории A* (flagship), 19% к категории A (excellent), 29% к категории B (good) и 26% к категории C (удовлетворяет минимальным требованиям). Остальные — в том числе две российские конференции, пробившиеся в рейтинг — отнесены к локальным второстепенным мероприятиям. На сайте CORE также есть и список прочих рейтингов CS-конференций, составляемых в мире. В нашем руководстве есть раздел с рекомендациями по выбору конференций, особенно в области CS.
Помимо основных категорий, есть еще Australasian (конференции, аудитория которых состоит в основном из австралийцев и новозеландцев), unranked (конференции без рейтинга), national (конференции, которые проводятся в основном в одной стране и недостаточно известны для ранжирования), regional (аналогичны национальным конференциям).
Более того, на сайте CORE есть и некоторые рекомендации исследователям по использованию рейтинга CORE. Например, советы налаживать контакты с именитыми спикерами во время конференции, просматривать список принятых статей на ведущих конференциях на предмет смежных тезисов и т.д.
#экспертныесписки #инструменты #конференции #computerscience
Наукометрия vs экспертиза: сравниваем списки журналов
В России последнего десятилетия управление наукой велось с опорой на квартили по базам Web of Science и Scopus. Механическое применение квартилей противоречит как современным мировым тенденциям, так и критериям самой наукометрии, но имеет своих сторонников — в основном из числа представителей естественных наук, в которых журнальные метрики лучше отражают реальную значимость изданий.
Сейчас на фоне ухода WoS и вероятного ухода Scopus обсуждается создание российского национального списка учитываемых журналов, который придет на смену квартилям. Очевидно, для обеспечения плавности перехода на первом этапе его стоит формировать в основном из изданий, включенных в эти базы. Но также очевидно и другое:
• Списки WoS\Scopus необходимо проредить от изданий, не обеспечивающих должный контроль качества публикаций, в том числе откровенно «мусорных». Продолжать стимулировать и спонсировать симуляцию науки в текущих условиях просто недопустимо.
• Метрики цитируемости должны быть подспорьем для принятия содержательных решений по рангам конкретных журналов, а не подменять их. Решения с их учетом должны принимать специалисты-предметники — естественно, не местечковые, а мирового уровня.
• Многие авторитетные издания по целому ряду дисциплин — особенно гуманитарных — не входят в WoS\Scopus, и речь здесь далеко не только про российские журналы.
Чтобы лучше подсветить эти проблемы, мы решили сопоставить два списка журналов — Scopus (как больший из двух коммерческих списков) и национальный норвежский — наиболее известный из списков, составленных экспертами (с учетом, но не приматом наукометрии). Он давно и успешно применяется в Норвегии для распределения части финансирования науки среди университетов и вдохновил на создание аналогичных списков в других странах.
В норвежском списке есть три уровня:
• 0 — по сути, «черный список»: статья приносит ноль баллов (туда, например, недавно попал популярный в России Sustainability),
• 1 — учитываемые журналы, научному уровню, профессиональному охвату и рецензированию которых можно доверять (25,5 тысяч),
• 2 — ведущие журналы (немногим более 2 тысяч).
В рамках оценки за статью в журнале 1 уровня университет получит 1 балл, за статью в журнале 2 уровня — 3 балла, монографии приносят от 5 до 8 баллов, статьи в сборниках и труды конференций — до 1 балла.
Сопоставление списков мы проводили по ISSN (печатному и электронному), а если совпадений не было — по названию. Из-за ошибок и разночтений часть журналов могла не совпасть (погрешность мы оцениваем в <5%). В некоторых направлениях (прежде всего, Computer Science) на 1-2 уровни добавлены ведущие конференции, здесь мы их не учитывали.
В отличие от списков WoS\Scopus в норвежском соблюдается примерный паритет по числу изданий между крупными направлениями. Соответственно, процент журналов, индексируемых в Scopus, получается совершенно разный.
Цифры говорят сами за себя: полагаться на Scopus для оценки гуманитарных наук не стоит, да и с другими областями есть сложности, особенно на уровне «просто нормальных» журналов. С другой стороны, ведущие журналы по большинству дисциплин в целом индексируются в Scopus хорошо.
Очень большие различия наблюдаются также на уровне стран, причем хуже всего с индексацией в Scopus у скандинавских изданий, что отчасти объясняется высоким процентом гуманитарных изданий среди них (это обусловлено важностью локального контекста в этих областях).
#квартили #экспертныесписки #норвежскийсписок #scopus #россия
В России последнего десятилетия управление наукой велось с опорой на квартили по базам Web of Science и Scopus. Механическое применение квартилей противоречит как современным мировым тенденциям, так и критериям самой наукометрии, но имеет своих сторонников — в основном из числа представителей естественных наук, в которых журнальные метрики лучше отражают реальную значимость изданий.
Сейчас на фоне ухода WoS и вероятного ухода Scopus обсуждается создание российского национального списка учитываемых журналов, который придет на смену квартилям. Очевидно, для обеспечения плавности перехода на первом этапе его стоит формировать в основном из изданий, включенных в эти базы. Но также очевидно и другое:
• Списки WoS\Scopus необходимо проредить от изданий, не обеспечивающих должный контроль качества публикаций, в том числе откровенно «мусорных». Продолжать стимулировать и спонсировать симуляцию науки в текущих условиях просто недопустимо.
• Метрики цитируемости должны быть подспорьем для принятия содержательных решений по рангам конкретных журналов, а не подменять их. Решения с их учетом должны принимать специалисты-предметники — естественно, не местечковые, а мирового уровня.
• Многие авторитетные издания по целому ряду дисциплин — особенно гуманитарных — не входят в WoS\Scopus, и речь здесь далеко не только про российские журналы.
Чтобы лучше подсветить эти проблемы, мы решили сопоставить два списка журналов — Scopus (как больший из двух коммерческих списков) и национальный норвежский — наиболее известный из списков, составленных экспертами (с учетом, но не приматом наукометрии). Он давно и успешно применяется в Норвегии для распределения части финансирования науки среди университетов и вдохновил на создание аналогичных списков в других странах.
В норвежском списке есть три уровня:
• 0 — по сути, «черный список»: статья приносит ноль баллов (туда, например, недавно попал популярный в России Sustainability),
• 1 — учитываемые журналы, научному уровню, профессиональному охвату и рецензированию которых можно доверять (25,5 тысяч),
• 2 — ведущие журналы (немногим более 2 тысяч).
В рамках оценки за статью в журнале 1 уровня университет получит 1 балл, за статью в журнале 2 уровня — 3 балла, монографии приносят от 5 до 8 баллов, статьи в сборниках и труды конференций — до 1 балла.
Сопоставление списков мы проводили по ISSN (печатному и электронному), а если совпадений не было — по названию. Из-за ошибок и разночтений часть журналов могла не совпасть (погрешность мы оцениваем в <5%). В некоторых направлениях (прежде всего, Computer Science) на 1-2 уровни добавлены ведущие конференции, здесь мы их не учитывали.
В отличие от списков WoS\Scopus в норвежском соблюдается примерный паритет по числу изданий между крупными направлениями. Соответственно, процент журналов, индексируемых в Scopus, получается совершенно разный.
Цифры говорят сами за себя: полагаться на Scopus для оценки гуманитарных наук не стоит, да и с другими областями есть сложности, особенно на уровне «просто нормальных» журналов. С другой стороны, ведущие журналы по большинству дисциплин в целом индексируются в Scopus хорошо.
Очень большие различия наблюдаются также на уровне стран, причем хуже всего с индексацией в Scopus у скандинавских изданий, что отчасти объясняется высоким процентом гуманитарных изданий среди них (это обусловлено важностью локального контекста в этих областях).
#квартили #экспертныесписки #норвежскийсписок #scopus #россия
Предметные рейтинги вузов: кейс норвежского списка журналов
Ранее мы обращали внимание на экспертные списки, используемые в мире в качестве инструментов оценки науки. Сегодня подготовили небольшой срез по публикациям 2019-2023 гг. крупнейших российских вузов в журналах, входящих в 1-ый и 2-ой уровни норвежского списка. Напомним, что ко второму уровню относятся ведущие журналы, а к первому — те, которые известны специалистам в своих областях и обеспечивают приемлемый уровень публикаций. Сводный балл, который лежит в основе сравнений, формировался исходя из принципа: 1 статья в ведущем журнале (2-го уровня; NPI2) = 3 статьи в обычном журнале (1-го уровня; NPI1). С результатами анализа можно ознакомиться по ссылке. Для удобства сравнений приводим аналитику в разрезе областей и организаций.
P.S. Заметим, что норвежская система оценки ориентируется также на долевой подсчет, поэтому результаты по некоторым областям могут быть смещены из-за мегаколлабораций.
#экспертныесписки #журналы #национальнаясистема
Ранее мы обращали внимание на экспертные списки, используемые в мире в качестве инструментов оценки науки. Сегодня подготовили небольшой срез по публикациям 2019-2023 гг. крупнейших российских вузов в журналах, входящих в 1-ый и 2-ой уровни норвежского списка. Напомним, что ко второму уровню относятся ведущие журналы, а к первому — те, которые известны специалистам в своих областях и обеспечивают приемлемый уровень публикаций. Сводный балл, который лежит в основе сравнений, формировался исходя из принципа: 1 статья в ведущем журнале (2-го уровня; NPI2) = 3 статьи в обычном журнале (1-го уровня; NPI1). С результатами анализа можно ознакомиться по ссылке. Для удобства сравнений приводим аналитику в разрезе областей и организаций.
P.S. Заметим, что норвежская система оценки ориентируется также на долевой подсчет, поэтому результаты по некоторым областям могут быть смещены из-за мегаколлабораций.
#экспертныесписки #журналы #национальнаясистема