Чёрные списки журналов: подход Китая
На прошлой неделе мы уже писали о белых списках журналов в Китае, а сегодня поговорим о недобросовестных журналах. В настоящее время Китай публикует почти четверть всех научных статей в международных журналах. В конце 2020 года Национальная научная библиотека Китайской академии наук опубликовала список из 65 международных научных журналов WoS, потенциально противоречащих академической строгости. Официальное название китайского списка — «Early Warning List of International Journals (Trial)». Исследователей предупреждают о возможных проблемах с публикацией в журналах с точки зрения качества и достоверности исследований и рекомендуют тщательно выбирать места для публикации (этот список не является оценкой каждой статьи, опубликованной в сомнительных журналах).
За исключением журналов «уровня X» в норвежском списке, другие страны не публикуют официальные списки сомнительных журналов (некоторые журналы норвежского списка также фигурируют в китайском).
Согласно новой политике Китае (2020) в отношении научных публикаций:
• показатели, основанные на WoS , больше не будут применяться напрямую при оценке и финансировании работ,
• оценка исследований должна перейти от метрик к экспертной оценке,
• количество публикаций и импакт-факторы журналов больше не будут учитываться,
• необходимо придать новый приоритет актуальности исследований на местном уровне, то есть будут поощряться публикации в высококачественных китайских журналах и поддерживаться развитие таких журналов.
Новая политика Китая имеет сходство с инициативами в других частях мира, такими как декларация DORA, Лейденский манифест и RRI (Responsible Research and Innovation). Эти инициативы направлены на целостные оценки, которые выходят за рамки показателей публикаций и цитирования, как и новая политика Китая.
Журналы в китайском списке делятся на три уровня риска. Из 65 журналов 8 были отнесены к категории высокого риска, 28 — к среднему , а остальные 29 — к низкому. В 2021 году вышел обновленный список на английском языке, который был сокращен до 35 журналов, поскольку «за последний год большинство издателей, чьи журналы были включены в список журналов раннего предупреждения, приняли действенные меры по улучшению» (при этом в список добавились и новые журналы).
Авторы препринта полагают, что главным критерием отбора журнала в черный список стала ретракция статей; и располагают критерии отнесения журнала в черный список в порядке их влияния.
1️⃣ Доля отозванных статей
С 2016 по 2020 год в 91,4% отозванных статей первыми авторами были исследователи из китайских учреждений, а 89% публикаций были исключительно китайскими. Большинство журналов в черном списке имеют опыт отзыва китайских статей. Показатели отзывов явно влияют на выбор журналов для китайского списка, особенно когда они высоки для китайских статей и связаны с мошенническими статьями.
2️⃣ Количество статей в журнале
Высокая доля китайских статей в международных журналах, особенно в сочетании с быстро растущим ежегодным объемом статей в журналах, влияет на выбор журналов для включения в черный список.
3️⃣ Степень интернационализации
Этот критерий следует интерпретировать как степень китайского доминирования в исследованиях, опубликованных в журнале, как по доле статей, так и по количеству цитирований.
4️⃣ Плата за обработку статьи (APC)
Быстрый рост китайских расходов на APC и концентрация этих расходов в отдельных журналах, вероятно, влияют на выбор журналов для китайского списка.
5️⃣ Индекс успешности цитирования журнала
Цитируемость журналов, по-видимому, не влияет на список (как и последние два критерия).
6️⃣ Уровень самоцитирования
7️⃣ Количество непринятых статей
#экспертныесписки #инструменты #журналы #Китай
На прошлой неделе мы уже писали о белых списках журналов в Китае, а сегодня поговорим о недобросовестных журналах. В настоящее время Китай публикует почти четверть всех научных статей в международных журналах. В конце 2020 года Национальная научная библиотека Китайской академии наук опубликовала список из 65 международных научных журналов WoS, потенциально противоречащих академической строгости. Официальное название китайского списка — «Early Warning List of International Journals (Trial)». Исследователей предупреждают о возможных проблемах с публикацией в журналах с точки зрения качества и достоверности исследований и рекомендуют тщательно выбирать места для публикации (этот список не является оценкой каждой статьи, опубликованной в сомнительных журналах).
За исключением журналов «уровня X» в норвежском списке, другие страны не публикуют официальные списки сомнительных журналов (некоторые журналы норвежского списка также фигурируют в китайском).
Согласно новой политике Китае (2020) в отношении научных публикаций:
• показатели, основанные на WoS , больше не будут применяться напрямую при оценке и финансировании работ,
• оценка исследований должна перейти от метрик к экспертной оценке,
• количество публикаций и импакт-факторы журналов больше не будут учитываться,
• необходимо придать новый приоритет актуальности исследований на местном уровне, то есть будут поощряться публикации в высококачественных китайских журналах и поддерживаться развитие таких журналов.
Новая политика Китая имеет сходство с инициативами в других частях мира, такими как декларация DORA, Лейденский манифест и RRI (Responsible Research and Innovation). Эти инициативы направлены на целостные оценки, которые выходят за рамки показателей публикаций и цитирования, как и новая политика Китая.
Журналы в китайском списке делятся на три уровня риска. Из 65 журналов 8 были отнесены к категории высокого риска, 28 — к среднему , а остальные 29 — к низкому. В 2021 году вышел обновленный список на английском языке, который был сокращен до 35 журналов, поскольку «за последний год большинство издателей, чьи журналы были включены в список журналов раннего предупреждения, приняли действенные меры по улучшению» (при этом в список добавились и новые журналы).
Авторы препринта полагают, что главным критерием отбора журнала в черный список стала ретракция статей; и располагают критерии отнесения журнала в черный список в порядке их влияния.
1️⃣ Доля отозванных статей
С 2016 по 2020 год в 91,4% отозванных статей первыми авторами были исследователи из китайских учреждений, а 89% публикаций были исключительно китайскими. Большинство журналов в черном списке имеют опыт отзыва китайских статей. Показатели отзывов явно влияют на выбор журналов для китайского списка, особенно когда они высоки для китайских статей и связаны с мошенническими статьями.
2️⃣ Количество статей в журнале
Высокая доля китайских статей в международных журналах, особенно в сочетании с быстро растущим ежегодным объемом статей в журналах, влияет на выбор журналов для включения в черный список.
3️⃣ Степень интернационализации
Этот критерий следует интерпретировать как степень китайского доминирования в исследованиях, опубликованных в журнале, как по доле статей, так и по количеству цитирований.
4️⃣ Плата за обработку статьи (APC)
Быстрый рост китайских расходов на APC и концентрация этих расходов в отдельных журналах, вероятно, влияют на выбор журналов для китайского списка.
5️⃣ Индекс успешности цитирования журнала
Цитируемость журналов, по-видимому, не влияет на список (как и последние два критерия).
6️⃣ Уровень самоцитирования
7️⃣ Количество непринятых статей
#экспертныесписки #инструменты #журналы #Китай
CORE: рейтинг конференций в области компьютерных наук
В области компьютерных наук конференции имеют большее значение, чем журналы, поскольку на них презентовать свои работы можно гораздо скорее. Тем не менее рецензирование на конференциях по Computer Science довольно строгое: принимают там только 10-30% подаваемых докладов.
Для лучшей ориентации в уровнях и статусе конференций можно использовать рейтинги. Объединение факультетов CS Австралии и Новой Зеландии — CORE (Computing Research and Education) — создало рейтинг конференций, который содержит (на 2021 г.) 855 мероприятий, ранжированных экспертами по понятной и открытой методологии по всем направлениям компьютерных наук. Из них 7% отнесены к высшей категории A* (flagship), 19% к категории A (excellent), 29% к категории B (good) и 26% к категории C (удовлетворяет минимальным требованиям). Остальные — в том числе две российские конференции, пробившиеся в рейтинг — отнесены к локальным второстепенным мероприятиям. На сайте CORE также есть и список прочих рейтингов CS-конференций, составляемых в мире. В нашем руководстве есть раздел с рекомендациями по выбору конференций, особенно в области CS.
Помимо основных категорий, есть еще Australasian (конференции, аудитория которых состоит в основном из австралийцев и новозеландцев), unranked (конференции без рейтинга), national (конференции, которые проводятся в основном в одной стране и недостаточно известны для ранжирования), regional (аналогичны национальным конференциям).
Более того, на сайте CORE есть и некоторые рекомендации исследователям по использованию рейтинга CORE. Например, советы налаживать контакты с именитыми спикерами во время конференции, просматривать список принятых статей на ведущих конференциях на предмет смежных тезисов и т.д.
#экспертныесписки #инструменты #конференции #computerscience
В области компьютерных наук конференции имеют большее значение, чем журналы, поскольку на них презентовать свои работы можно гораздо скорее. Тем не менее рецензирование на конференциях по Computer Science довольно строгое: принимают там только 10-30% подаваемых докладов.
Для лучшей ориентации в уровнях и статусе конференций можно использовать рейтинги. Объединение факультетов CS Австралии и Новой Зеландии — CORE (Computing Research and Education) — создало рейтинг конференций, который содержит (на 2021 г.) 855 мероприятий, ранжированных экспертами по понятной и открытой методологии по всем направлениям компьютерных наук. Из них 7% отнесены к высшей категории A* (flagship), 19% к категории A (excellent), 29% к категории B (good) и 26% к категории C (удовлетворяет минимальным требованиям). Остальные — в том числе две российские конференции, пробившиеся в рейтинг — отнесены к локальным второстепенным мероприятиям. На сайте CORE также есть и список прочих рейтингов CS-конференций, составляемых в мире. В нашем руководстве есть раздел с рекомендациями по выбору конференций, особенно в области CS.
Помимо основных категорий, есть еще Australasian (конференции, аудитория которых состоит в основном из австралийцев и новозеландцев), unranked (конференции без рейтинга), national (конференции, которые проводятся в основном в одной стране и недостаточно известны для ранжирования), regional (аналогичны национальным конференциям).
Более того, на сайте CORE есть и некоторые рекомендации исследователям по использованию рейтинга CORE. Например, советы налаживать контакты с именитыми спикерами во время конференции, просматривать список принятых статей на ведущих конференциях на предмет смежных тезисов и т.д.
#экспертныесписки #инструменты #конференции #computerscience
Так ли хороши инструменты по рекомендациям цитирований?
Резюмируем заметку, посвященную обзору последних научных работ по теме автоматических рекомендаций.
Для облегчения учета и сбора цитирований были разработаны такие инструменты, как Mendeley, Zotero и EndNote. Вслед за этим появились инструменты составления карт литературы, помогающие в поиске литературы, такие как LitMaps, Citation Gecko, Inciteful и Connected Papers. Эти инструменты работают на основе алгоритмов совместного цитирования и библиографической связи. Совсем недавно были разработаны инструменты по рекомендациям цитирования, такие как Citeomatic и Specter. Эти инструменты призваны помочь авторам цитировать литературу на этапе написания своего исследовательского проекта. Принцип работы таких сервисов строится на том, что они находят подходящую литературу на основе ввода фрагмента текста, а затем подбирают соответствующие цитаты.
При этом чаще всего, используя программу, которая автоматически выбирает литературу для поддержки тезисов исследования, авторы не читают и даже не просматривают документы, которые они находят. И ни редакция, ни рецензенты обычно не проверяют публикации на точность и достоверность цитирований, полагаясь полностью на добросовестность автора.
Таким образом, среди основных минусов использования таких программ:
1. Ленивое цитирование: если для поиска релевантной литературы используется фрагмент текста, то алгоритм будет стремиться найти лишь ту литературу, которая подтверждает авторские слова.
2. Предвзятость утверждения: алгоритмы подтверждают тезисы авторов, игнорируют противоречивую литературу и фокусируются на аналогичных исследованиях в определенной области или сообществе. То есть заведомо усиливают существующие предубеждения относительно темы исследования.
3. Новый эффект Матфея: алгоритмы этих инструментов основаны на текущей и прошлой практике цитирования и выдают наиболее «популярные» результаты, а не наиболее релевантные или точные.
4. Отсутствие прозрачности: существует риск того, что хорошо обеспеченные ресурсами издатели, журналы и частные лица используют алгоритм, чтобы привлечь внимание к своим собственным статьям.
Несмотря на привлекательность и удобство инструментов рекомендаций по цитированию, авторам следует проявлять осторожность при их использовании. Поиск литературы перед разработкой научного проекта является частью исследовательского процесса, а попытка найти цитаты для поддержки утверждений и выводов уже готового исследовательского проекта говорит о небрежности и, в отдельных случаях, о недобросовестности исследователя. Такая практика перекладывает бремя проверки достоверности литературного обзора на читателя.
#цитирование #инструменты #статьи #обзор
Резюмируем заметку, посвященную обзору последних научных работ по теме автоматических рекомендаций.
Для облегчения учета и сбора цитирований были разработаны такие инструменты, как Mendeley, Zotero и EndNote. Вслед за этим появились инструменты составления карт литературы, помогающие в поиске литературы, такие как LitMaps, Citation Gecko, Inciteful и Connected Papers. Эти инструменты работают на основе алгоритмов совместного цитирования и библиографической связи. Совсем недавно были разработаны инструменты по рекомендациям цитирования, такие как Citeomatic и Specter. Эти инструменты призваны помочь авторам цитировать литературу на этапе написания своего исследовательского проекта. Принцип работы таких сервисов строится на том, что они находят подходящую литературу на основе ввода фрагмента текста, а затем подбирают соответствующие цитаты.
При этом чаще всего, используя программу, которая автоматически выбирает литературу для поддержки тезисов исследования, авторы не читают и даже не просматривают документы, которые они находят. И ни редакция, ни рецензенты обычно не проверяют публикации на точность и достоверность цитирований, полагаясь полностью на добросовестность автора.
Таким образом, среди основных минусов использования таких программ:
1. Ленивое цитирование: если для поиска релевантной литературы используется фрагмент текста, то алгоритм будет стремиться найти лишь ту литературу, которая подтверждает авторские слова.
2. Предвзятость утверждения: алгоритмы подтверждают тезисы авторов, игнорируют противоречивую литературу и фокусируются на аналогичных исследованиях в определенной области или сообществе. То есть заведомо усиливают существующие предубеждения относительно темы исследования.
3. Новый эффект Матфея: алгоритмы этих инструментов основаны на текущей и прошлой практике цитирования и выдают наиболее «популярные» результаты, а не наиболее релевантные или точные.
4. Отсутствие прозрачности: существует риск того, что хорошо обеспеченные ресурсами издатели, журналы и частные лица используют алгоритм, чтобы привлечь внимание к своим собственным статьям.
Несмотря на привлекательность и удобство инструментов рекомендаций по цитированию, авторам следует проявлять осторожность при их использовании. Поиск литературы перед разработкой научного проекта является частью исследовательского процесса, а попытка найти цитаты для поддержки утверждений и выводов уже готового исследовательского проекта говорит о небрежности и, в отдельных случаях, о недобросовестности исследователя. Такая практика перекладывает бремя проверки достоверности литературного обзора на читателя.
#цитирование #инструменты #статьи #обзор
The Bibliomagician
Use with caution! How automated citation recommendation tools may distort science
Rachel Miles summarizes a recently published journal article that cautions researchers on the use of automated citation recommendation tools, which are designed to help academic authors cite litera…
Год каналу «Выше квартилей»!
Сегодня нашему каналу исполняется ровно год! Чтобы отметить это событие, мы составили ТОП-10 публикаций за год по количеству просмотров.
1️⃣ Немного наукометрии в твоём кармане
2️⃣ С днём всех влюблённых!
3️⃣ SciHub сходит со сцены? Процент нелегально доступных статей ежегодно падает
4️⃣ Высшая школа экономики как сеть соавторов
5️⃣ Лидеры РФ по высокоцитируемым публикациям
6️⃣ Приглашаем всех на открытые и бесплатные вебинары по новой наукометрии!
7️⃣ Агрегаторы научных конференций
8️⃣ Новые квартили WoS
9️⃣ Динамика высокоцитируемых публикаций для ВУЗов трека «Исследовательское лидерство» в программе Приоритет 2030
🔟 Компьютерные науки в мире и России: анализ через топовые конференции
За этот год мы успели выпустить обзоры на статьи и события, визуализировали данные, сравнивали российские вузы и научные учреждения, анализировали экспертные списки. По хэштегу #обзоры можно почитать рецензии и обзоры на научные статьи и книги, по хэштегу #руководство — материалы и обновления в онлайн-руководстве по наукометрии, в группе #университеты — материалы, связанные с ВШЭ и другими университетами, а в разделах #инфографика и #инструменты — инструменты, метрики и термины, полезные для наукометрического анализа и развития учёного. Больше хэштегов для навигации закреплено в нашем первом посте.
Надеемся, что следующий год будет таким же продуктивным, и благодарим всех авторов и читателей нашего канала!
Сегодня нашему каналу исполняется ровно год! Чтобы отметить это событие, мы составили ТОП-10 публикаций за год по количеству просмотров.
1️⃣ Немного наукометрии в твоём кармане
2️⃣ С днём всех влюблённых!
3️⃣ SciHub сходит со сцены? Процент нелегально доступных статей ежегодно падает
4️⃣ Высшая школа экономики как сеть соавторов
5️⃣ Лидеры РФ по высокоцитируемым публикациям
6️⃣ Приглашаем всех на открытые и бесплатные вебинары по новой наукометрии!
7️⃣ Агрегаторы научных конференций
8️⃣ Новые квартили WoS
9️⃣ Динамика высокоцитируемых публикаций для ВУЗов трека «Исследовательское лидерство» в программе Приоритет 2030
🔟 Компьютерные науки в мире и России: анализ через топовые конференции
За этот год мы успели выпустить обзоры на статьи и события, визуализировали данные, сравнивали российские вузы и научные учреждения, анализировали экспертные списки. По хэштегу #обзоры можно почитать рецензии и обзоры на научные статьи и книги, по хэштегу #руководство — материалы и обновления в онлайн-руководстве по наукометрии, в группе #университеты — материалы, связанные с ВШЭ и другими университетами, а в разделах #инфографика и #инструменты — инструменты, метрики и термины, полезные для наукометрического анализа и развития учёного. Больше хэштегов для навигации закреплено в нашем первом посте.
Надеемся, что следующий год будет таким же продуктивным, и благодарим всех авторов и читателей нашего канала!
Сегодняшний пост посвящен тому, как выделять тематические кластеры методами, не основанными на цитированиях самих публикаций. Эти подходы тестируются на массиве 13817 публикаций НИУ ВШЭ в Scopus за 2019-2023 годы.
В качестве кластеров можно использовать:
1️⃣ Авторские ключевые слова. Хорошо описывают содержание и хорошо работают как лейблы кластеров, но есть не у всех публикаций и требуют внешние метрики качества. Кластеризация через совместную встречаемость.
2️⃣ Журналы. Узкоспециализированные журналы «ловят» тематики гораздо лучше AI, но чем шире тематика издания, тем ниже ценность метода. Можно кластеризовать журналы в группы наукометрическими (ссылки и пересечения в списках литературы) и лингвистическими (совпадение ключевых слов, схожесть аннотаций и названий) методами. Важное достоинство — журнал с репутацией/цитируемостью позволяет оценить средний уровень свежих работ.
3️⃣ Автоматически выделенные ключевые слова и прочие методы, основанные на программном анализе текстов (аннотаций и названий). Сложны для интерпретации и фильтрации по релевантности. Важно, что есть открытый набор из ~60 тысяч тематик/кластеров/ключевых слов, выделенный алгоритмически в OpenAlex/Wikidata, что позволяет сравнивать полученные кластеры с общемировыми трендами.
Для измерения и сопоставления кластеров можно использовать:
• журналы (уровни в экспертных списках и метрики),
• цитирования (требуют нормализации по тематике, году и типу публикации, лаг накопления),
• средние годы выпуска для оценки роста/затухания,
• международное соавторство (рекомендуется нормализация по тематикам).
Самые часто встречающиеся ключевые слова для НИУ ВШЭ: covid-19, machine learning, higher education, culture, deep learning, china, education, innovation, subjective well-being, human capital, blockchain.
На графике представлена визуализация авторских ключевых слов, кластеризация на основе совместной встречаемости. Если сравнивать первые 50 кластеров, которые встречаются по наиболее частому ключевому слову, то по среднему возрасту они практически не отличаются, зато отличаются по среднему уровню журналов.
#инструменты #университеты #scopus #вышка
В качестве кластеров можно использовать:
1️⃣ Авторские ключевые слова. Хорошо описывают содержание и хорошо работают как лейблы кластеров, но есть не у всех публикаций и требуют внешние метрики качества. Кластеризация через совместную встречаемость.
2️⃣ Журналы. Узкоспециализированные журналы «ловят» тематики гораздо лучше AI, но чем шире тематика издания, тем ниже ценность метода. Можно кластеризовать журналы в группы наукометрическими (ссылки и пересечения в списках литературы) и лингвистическими (совпадение ключевых слов, схожесть аннотаций и названий) методами. Важное достоинство — журнал с репутацией/цитируемостью позволяет оценить средний уровень свежих работ.
3️⃣ Автоматически выделенные ключевые слова и прочие методы, основанные на программном анализе текстов (аннотаций и названий). Сложны для интерпретации и фильтрации по релевантности. Важно, что есть открытый набор из ~60 тысяч тематик/кластеров/ключевых слов, выделенный алгоритмически в OpenAlex/Wikidata, что позволяет сравнивать полученные кластеры с общемировыми трендами.
Для измерения и сопоставления кластеров можно использовать:
• журналы (уровни в экспертных списках и метрики),
• цитирования (требуют нормализации по тематике, году и типу публикации, лаг накопления),
• средние годы выпуска для оценки роста/затухания,
• международное соавторство (рекомендуется нормализация по тематикам).
Самые часто встречающиеся ключевые слова для НИУ ВШЭ: covid-19, machine learning, higher education, culture, deep learning, china, education, innovation, subjective well-being, human capital, blockchain.
На графике представлена визуализация авторских ключевых слов, кластеризация на основе совместной встречаемости. Если сравнивать первые 50 кластеров, которые встречаются по наиболее частому ключевому слову, то по среднему возрасту они практически не отличаются, зато отличаются по среднему уровню журналов.
#инструменты #университеты #scopus #вышка
