Выше квартилей
2.73K subscribers
110 photos
1 video
1 file
301 links
HSE: Home of Scientometrics and Expertise

Обучение и консультирование по практическим вопросам research evaluation и управлении наукой.

Все вопросы и предложения направляйте @vyshekbot или на почту Наукометрического центра ВШЭ: scientometrics@hse.ru
Download Telegram
Инструменты и техники поиска экспертов и рецензентов

Подбирать рецензентов на проект или статью нужно, руководствуясь двумя основными критериями — их специализацией и квалификацией. В выборе могут помочь рекомендации и сведения о профессиональных навыках и повышении квалификации. Оценить рецензентов могут эксперты по их публикациям, но в ряде случаев может помочь и наукометрия. Тут мы расскажем, как можно оценить уровень эксперта силами наукометрии.

Можно воспользоваться простым поиском в Google, каталогах экспертов и наукометрических базах:

1. Google
Базовый поиск в google по ключевым словам с добавлением: associate/assistant professor department. Так мы найдем личные страницы таких коллег и их email для связи.

2. Базы и каталоги экспертов
Например, корпус экспертов по естественным наукам. В списки включены специалисты, чьи работы процитированы не менее 1000 раз, а также те, у кого суммарное цитирование работ, опубликованных за последние 7 лет, превысило 100 (по данным WoS).

3. Наукометрические базы
В наукометрических базах поиск можно осуществлять по ключевым словам, журналам, сети цитирований.
Google Scholar
Semantic Scholar
WoS
Scopus
Lens
РИНЦ

Подробнее про выбор экспертов мы будем рассказывать на наших курсах. Если вам интересно и вы хотите получить больше информации, напишите нам по адресу scientometrics@hse.ru

#инструменты
Бесплатные ресурсы для определения уровня владения английским языком от Центра академического письма НИУ ВШЭ

Английский важен для ученых, которые активно следят за трендами своей области и пишут научные работы. Поэтому проверка знаний английского языка — это прекрасная возможность понять, на каком уровне находятся ваши текущие умения, и что нужно сделать, чтобы их развить. Как можно это сделать:

1️⃣ Пройти бесплатные тесты на знание языка.

Сambridge
Тест состоит из 25 вопросов на знание грамматических и лексических конструкций и займет около 10 минут. После завершения теста вы сможете посмотреть свои ошибки («Review your answers») и правильные ответы и получить рекомендации о Кембриджских экзаменах, соответствующих вашему уровню.

English First
Этот тест состоит из двух частей: Reading и Listening. Каждая длится 7,5 минут. Вместе с результатом вы получите краткое описание своего уровня.

British English
Этот тест состоит из 25 вопросов на грамматические и лексические темы.

2️⃣ Оценить свои знания согласно Общеевропейским компетенциям владения иностранных языков. Описание уровней вы найдете тут.

3️⃣ Сделать пробный тест одного из международных экзаменов: IELTS, TOEFL, линейку экзаменов от Cambridge или более специализированные экзамены в вашей области.
На этом сайте вы найдете подборку пробных экзаменов различных типов.

#инструменты
​​Экспертные списки. Academic Journal Guide 2021

Не всегда престиж журнала определяется квартилем или другими метриками. Чтобы убедиться в реальной престижности, пригодятся белые списки и рейтинги, составленные специалистами по соответствующим тематикам. Подробнее про выбор журнала мы писали в нашем руководстве.

Один из таких сервисов, Academic Journal Guide, включает в себя широкий выбор журналов в области экономики, бизнеса и менеджмента (на данный момент 1703 журнала), которые обновляются каждые три года. AJG отличается тем, что его методология хоть и основана на наукометрических показателях, но его рейтинги базируются на экспертных оценках, проведенных экспертами-предметниками из научного комитета.

Процесс добавления новых журналов в рейтинг AJG следующий: открытый конкурс на добавление новых журналов ➡️ анализ данных по JCR, SJR, SNIP, CiteScore ➡️ экспертиза от профильных специалистов ➡️ стандартизизация для
каждой предметной области. На основе метрик, результатов процесса консультаций, другой соответствующей информации и оценки экспертов в предметной области, предлагают либо сохранить существующий уровень журнала, либо изменить его.

Что нужно принимать во внимание при работе с экспертным списком AJG:
• AJG — это гайд для лучшего выбора подходящего журнала;
• Достойные работы можно найти в самых разных журналах (не только в ведущих);
• Помимо оценки рейтинга и актуальности журнала, учитывайте другие факторы, такие как состав и разнообразие его редакционной коллегии, методы взимания гонораров или процент принятых публикаций;
• Важно учитывать методологию подсчета показателей AJG, чтобы понимать, как формируется рейтинг;
• Следует обращаться за советом и рекомендациями к коллегам и академическому сообществу.

Всего в рейтинге AJG выделяют несколько уровней журналов: 1, 2, 3, 4 (где 4 — ведущие мировые журналы).

Чтобы посмотреть список журналов, нужно зарегистрироваться на сайте CABS.

#экспертныесписки #журналы #инструменты
Норвежский список

Говоря об экспертных списках, первыми следует упомянуть перечни, работающие в рамках “Северной модели” оценки науки в ВУЗах Скандинавии. При оценке они не ориентируются ни на какую индексацию в разных наукометрических базах. Журналы и книжные издательства в этой модели разделены на несколько уровней, которые определяют, сколько за соответствующую публикацию получит университет, где работают авторы. Северные страны пробуют сделать единый список, но пока до этого далеко и приходится пользоваться отдельными: норвежским, финским и датским. Различия в них невелики, у всех есть английские интерфейсы. Списки обновляются регулярно панелями из многих десятков специалистов-предметников, которые не опираются на наукометрические показатели, но, конечно, принимают их во внимание в рамках экспертных обсуждений.

В Норвежском списке выделяют несколько уровней журналов и издательств:
Уровень 2 считается самым высоким;
• Журналы 1 уровня отвечают минимальным требованиям, чтобы считаться научными (внешнее рецензирование, научная редакционная коллегия и минимальное национальное авторство, т.е. максимум 2/3 авторов могут принадлежать к одному и тому же учреждению);
Уровень 0 означает, что журнал был рассмотрен, но отклонен, и публикация в нем не будет учитываться при подсчете публикационной активности;
Уровень X — это журналы в подвешенном состоянии: неясно, следует одобрить их в свете текущих условий или нет.

Во 2 уровень входят 2196 журналов и 85 издательств. В 1 — 26230 журналов и 1647 издательств. В 0 — 5488 журналов и 1530 издательств. В X — 5 журналов. Посмотреть, к какому уровню относится журнал, можно здесь.

Список никак не дискриминирует по языку издания, индексации и прочим данным. В норвежском списке на текущий момент 142 русскоязычных журнала. Из них один, «Вопросы языкознания», входит в высшую категорию. 106 имеют уровень 1, и еще 35 — уровень 0.

В наукометрической системе Dimensions есть уже встроенные экспертные списки и рейтинги в виде фильтров для пользователей. Мы уже писали о таком подборе публикаций на примере норвежского списка.

#экспертныесписки #журналы #инструменты
Белые списки журналов: подход Китая

Продолжая серию постов про экспертные списки, предлагаем взглянуть на Китай. Значение вклада и результатов научных исследований Китая постоянно увеличивалось в течение последних десятилетий. И в 2019 году, превысив аналогичный показатель Соединенных Штатов, Китай стал самой производительной страной в мире.

В настоящее время в Китае существует семь основных списков журналов, каждый из которых составлен с учетом собственных целей и методов оценки:
1️⃣ Chinese Science Citation Database (CSCD),
2️⃣ Journal Partition Table (JPT),
3️⃣ AMI Comprehensive Evaluation Report (AMI),
4️⃣Chinese S&T Journal Citation Report (CJCR),
5️⃣ “A Guide to the Core Journals of China” (GCJC),
6️⃣ Chinese Social Sciences Citation Index (CSSCI),
7️⃣ World Academic Journal Clout Index (WAJCI).

С 2020 года в Китае новая политика оценки исследований, согласно которой он отказывается от показателей, основанных только на WoS в качестве стандарта. Это должно дать возможность исследовательским институтам и финансирующим организациям Китая определять новые стандарты. Несмотря на разнообразие внутренних журнальных рейтингов, которое позволяет исследовать методы оценки и источники данных, единого авторитетного стандарта в Китае до сих пор нет.

Некоторые из этих списков служат подспорьем для менеджеров, руководителей исследований, спонсоров и т.д. Другие предназначены для оптимизации библиотечных коллекций, рекомендаций по спискам для чтения. Количество учреждений, которые вносят свой вклад в составление этих списков, внушительно. Кроме того, отдельные университеты Китая по-прежнему ощущают потребность в создании собственных внутренних списков в дополнение к опубликованным системам.

В перспективе система журнальных списков Китая могла бы транформироваться в национальную платформу для сотрудничества и координирования общих информационных ресурсов и инструментов.

Мы приводим здесь 3 таблицы из статьи, в которых сравниваются области исследования, количество и ранжирование журналов, цели, источники данных всех 7-ми списков. Так, например:
• JPT и WAJCI насчитывают наибольшее количество журналов, оба из которых имеют внутренний и международный охват.
• Что касается дисциплин, JPT и CSCD больше внимания уделяют естественным наукам; AMI и CSSCI сосредоточены на области SSH; и CJCR, GCJC и WAJCI охватывают все дисциплины.
• JPT и WAJCI имеют по четыре уровня в рейтинге, однако в JPT в ТОП входит только 5% от всех публикаций, тогда как в WAJCI все четыре уровня занимают по 25%. Система AMI является более сложной, поскольку журналы делятся на три категории, а затем подразделяются на пять уровней в зависимости от качества. CSCD и CSSCI делятся на два уровня — основной и расширенный список.

Подробнее про оценку журналов в Китае можете прочитать здесь.

#экспертныесписки #журналы #инструменты #Китай
Чёрные списки журналов: подход Китая

На прошлой неделе мы уже писали о белых списках журналов в Китае, а сегодня поговорим о недобросовестных журналах. В настоящее время Китай публикует почти четверть всех научных статей в международных журналах. В конце 2020 года Национальная научная библиотека Китайской академии наук опубликовала список из 65 международных научных журналов WoS, потенциально противоречащих академической строгости. Официальное название китайского списка — «Early Warning List of International Journals (Trial)». Исследователей предупреждают о возможных проблемах с публикацией в журналах с точки зрения качества и достоверности исследований и рекомендуют тщательно выбирать места для публикации (этот список не является оценкой каждой статьи, опубликованной в сомнительных журналах).
За исключением журналов «уровня X» в норвежском списке, другие страны не публикуют официальные списки сомнительных журналов (некоторые журналы норвежского списка также фигурируют в китайском).

Согласно новой политике Китае (2020) в отношении научных публикаций:
• показатели, основанные на WoS , больше не будут применяться напрямую при оценке и финансировании работ,
• оценка исследований должна перейти от метрик к экспертной оценке,
• количество публикаций и импакт-факторы журналов больше не будут учитываться,
• необходимо придать новый приоритет актуальности исследований на местном уровне, то есть будут поощряться публикации в высококачественных китайских журналах и поддерживаться развитие таких журналов.

Новая политика Китая имеет сходство с инициативами в других частях мира, такими как декларация DORA, Лейденский манифест и RRI (Responsible Research and Innovation). Эти инициативы направлены на целостные оценки, которые выходят за рамки показателей публикаций и цитирования, как и новая политика Китая.

Журналы в китайском списке делятся на три уровня риска. Из 65 журналов 8 были отнесены к категории высокого риска, 28 — к среднему , а остальные 29 — к низкому. В 2021 году вышел обновленный список на английском языке, который был сокращен до 35 журналов, поскольку «за последний год большинство издателей, чьи журналы были включены в список журналов раннего предупреждения, приняли действенные меры по улучшению» (при этом в список добавились и новые журналы).

Авторы препринта полагают, что главным критерием отбора журнала в черный список стала ретракция статей; и располагают критерии отнесения журнала в черный список в порядке их влияния.
1️⃣ Доля отозванных статей
С 2016 по 2020 год в 91,4% отозванных статей первыми авторами были исследователи из китайских учреждений, а 89% публикаций были исключительно китайскими. Большинство журналов в черном списке имеют опыт отзыва китайских статей. Показатели отзывов явно влияют на выбор журналов для китайского списка, особенно когда они высоки для китайских статей и связаны с мошенническими статьями.
2️⃣ Количество статей в журнале
Высокая доля китайских статей в международных журналах, особенно в сочетании с быстро растущим ежегодным объемом статей в журналах, влияет на выбор журналов для включения в черный список.
3️⃣ Степень интернационализации
Этот критерий следует интерпретировать как степень китайского доминирования в исследованиях, опубликованных в журнале, как по доле статей, так и по количеству цитирований.
4️⃣ Плата за обработку статьи (APC)
Быстрый рост китайских расходов на APC и концентрация этих расходов в отдельных журналах, вероятно, влияют на выбор журналов для китайского списка.
5️⃣ Индекс успешности цитирования журнала
Цитируемость журналов, по-видимому, не влияет на список (как и последние два критерия).
6️⃣ Уровень самоцитирования
7️⃣ Количество непринятых статей

#экспертныесписки #инструменты #журналы #Китай
CORE: рейтинг конференций в области компьютерных наук

В области компьютерных наук конференции имеют большее значение, чем журналы, поскольку на них презентовать свои работы можно гораздо скорее. Тем не менее рецензирование на конференциях по Computer Science довольно строгое: принимают там только 10-30% подаваемых докладов.

Для лучшей ориентации в уровнях и статусе конференций можно использовать рейтинги. Объединение факультетов CS Австралии и Новой Зеландии — CORE (Computing Research and Education) — создало рейтинг конференций, который содержит (на 2021 г.) 855 мероприятий, ранжированных экспертами по понятной и открытой методологии по всем направлениям компьютерных наук. Из них 7% отнесены к высшей категории A* (flagship), 19% к категории A (excellent), 29% к категории B (good) и 26% к категории C (удовлетворяет минимальным требованиям). Остальные — в том числе две российские конференции, пробившиеся в рейтинг — отнесены к локальным второстепенным мероприятиям. На сайте CORE также есть и список прочих рейтингов CS-конференций, составляемых в мире. В нашем руководстве есть раздел с рекомендациями по выбору конференций, особенно в области CS.

Помимо основных категорий, есть еще Australasian (конференции, аудитория которых состоит в основном из австралийцев и новозеландцев), unranked (конференции без рейтинга), national (конференции, которые проводятся в основном в одной стране и недостаточно известны для ранжирования), regional (аналогичны национальным конференциям).

Более того, на сайте CORE есть и некоторые рекомендации исследователям по использованию рейтинга CORE. Например, советы налаживать контакты с именитыми спикерами во время конференции, просматривать список принятых статей на ведущих конференциях на предмет смежных тезисов и т.д.

#экспертныесписки #инструменты #конференции #computerscience
Так ли хороши инструменты по рекомендациям цитирований?

Резюмируем заметку, посвященную обзору последних научных работ по теме автоматических рекомендаций.

Для облегчения учета и сбора цитирований были разработаны такие инструменты, как Mendeley, Zotero и EndNote. Вслед за этим появились инструменты составления карт литературы, помогающие в поиске литературы, такие как LitMaps, Citation Gecko, Inciteful и Connected Papers. Эти инструменты работают на основе алгоритмов совместного цитирования и библиографической связи. Совсем недавно были разработаны инструменты по рекомендациям цитирования, такие как Citeomatic и Specter. Эти инструменты призваны помочь авторам цитировать литературу на этапе написания своего исследовательского проекта. Принцип работы таких сервисов строится на том, что они находят подходящую литературу на основе ввода фрагмента текста, а затем подбирают соответствующие цитаты.

При этом чаще всего, используя программу, которая автоматически выбирает литературу для поддержки тезисов исследования, авторы не читают и даже не просматривают документы, которые они находят. И ни редакция, ни рецензенты обычно не проверяют публикации на точность и достоверность цитирований, полагаясь полностью на добросовестность автора.

Таким образом, среди основных минусов использования таких программ:

1. Ленивое цитирование: если для поиска релевантной литературы используется фрагмент текста, то алгоритм будет стремиться найти лишь ту литературу, которая подтверждает авторские слова.
2. Предвзятость утверждения: алгоритмы подтверждают тезисы авторов, игнорируют противоречивую литературу и фокусируются на аналогичных исследованиях в определенной области или сообществе. То есть заведомо усиливают существующие предубеждения относительно темы исследования.
3. Новый эффект Матфея: алгоритмы этих инструментов основаны на текущей и прошлой практике цитирования и выдают наиболее «популярные» результаты, а не наиболее релевантные или точные.
4. Отсутствие прозрачности: существует риск того, что хорошо обеспеченные ресурсами издатели, журналы и частные лица используют алгоритм, чтобы привлечь внимание к своим собственным статьям.

Несмотря на привлекательность и удобство инструментов рекомендаций по цитированию, авторам следует проявлять осторожность при их использовании. Поиск литературы перед разработкой научного проекта является частью исследовательского процесса, а попытка найти цитаты для поддержки утверждений и выводов уже готового исследовательского проекта говорит о небрежности и, в отдельных случаях, о недобросовестности исследователя. Такая практика перекладывает бремя проверки достоверности литературного обзора на читателя.

#цитирование #инструменты #статьи #обзор
Год каналу «Выше квартилей»!

Сегодня нашему каналу исполняется ровно год! Чтобы отметить это событие, мы составили ТОП-10 публикаций за год по количеству просмотров.

1️⃣ Немного наукометрии в твоём кармане
2️⃣ С днём всех влюблённых!
3️⃣ SciHub сходит со сцены? Процент нелегально доступных статей ежегодно падает
4️⃣ Высшая школа экономики как сеть соавторов
5️⃣ Лидеры РФ по высокоцитируемым публикациям
6️⃣ Приглашаем всех на открытые и бесплатные вебинары по новой наукометрии!
7️⃣ Агрегаторы научных конференций
8️⃣ Новые квартили WoS
9️⃣ Динамика высокоцитируемых публикаций для ВУЗов трека «Исследовательское лидерство» в программе Приоритет 2030
🔟 Компьютерные науки в мире и России: анализ через топовые конференции

За этот год мы успели выпустить обзоры на статьи и события, визуализировали данные, сравнивали российские вузы и научные учреждения, анализировали экспертные списки. По хэштегу #обзоры можно почитать рецензии и обзоры на научные статьи и книги, по хэштегу #руководство — материалы и обновления в онлайн-руководстве по наукометрии, в группе #университеты — материалы, связанные с ВШЭ и другими университетами, а в разделах #инфографика и #инструментыинструменты, метрики и термины, полезные для наукометрического анализа и развития учёного. Больше хэштегов для навигации закреплено в нашем первом посте.

Надеемся, что следующий год будет таким же продуктивным, и благодарим всех авторов и читателей нашего канала!
​​Сегодняшний пост посвящен тому, как выделять тематические кластеры методами, не основанными на цитированиях самих публикаций. Эти подходы тестируются на массиве 13817 публикаций НИУ ВШЭ в Scopus за 2019-2023 годы.

В качестве кластеров можно использовать:
1️⃣ Авторские ключевые слова. Хорошо описывают содержание и хорошо работают как лейблы кластеров, но есть не у всех публикаций и требуют внешние метрики качества. Кластеризация через совместную встречаемость.
2️⃣ Журналы. Узкоспециализированные журналы «ловят» тематики гораздо лучше AI, но чем шире тематика издания, тем ниже ценность метода. Можно кластеризовать журналы в группы наукометрическими (ссылки и пересечения в списках литературы) и лингвистическими (совпадение ключевых слов, схожесть аннотаций и названий) методами. Важное достоинство — журнал с репутацией/цитируемостью позволяет оценить средний уровень свежих работ.
3️⃣ Автоматически выделенные ключевые слова и прочие методы, основанные на программном анализе текстов (аннотаций и названий). Сложны для интерпретации и фильтрации по релевантности. Важно, что есть открытый набор из ~60 тысяч тематик/кластеров/ключевых слов, выделенный алгоритмически в OpenAlex/Wikidata, что позволяет сравнивать полученные кластеры с общемировыми трендами.

Для измерения и сопоставления кластеров можно использовать:
• журналы (уровни в экспертных списках и метрики),
• цитирования (требуют нормализации по тематике, году и типу публикации, лаг накопления),
• средние годы выпуска для оценки роста/затухания,
• международное соавторство (рекомендуется нормализация по тематикам).

Самые часто встречающиеся ключевые слова для НИУ ВШЭ: covid-19, machine learning, higher education, culture, deep learning, china, education, innovation, subjective well-being, human capital, blockchain.

На графике представлена визуализация авторских ключевых слов, кластеризация на основе совместной встречаемости. Если сравнивать первые 50 кластеров, которые встречаются по наиболее частому ключевому слову, то по среднему возрасту они практически не отличаются, зато отличаются по среднему уровню журналов.

#инструменты #университеты #scopus #вышка