30% российских социологов считают, что нужно учитывать индекса Хирша руководителя в решении, нужно ли финансировать его лабораторию.

Индекс Хирша позволяет нам узнать количество публикаций (N), получивших N или более ссылок. Фактически, это самый известный наукометрический показатель в мире. Ученые отслеживают свой индекс Хирша, указывают его значение в своих CV и делятся новостями в фейсбуке, если он продолжает расти. Вместе с тем, исследователи из университета Лейдена напоминают нам, что применение индекса Хирша может быть более чем проблематичным.

Во-первых, со временем индекс Хирша только увеличивается. Ученый может уже ничего не писать много лет, но если его старые статьи продолжают цитироваться, показатель будет расти. И, наоборот, молодой ученый может быть очень продуктивным, но так как нужно время, чтобы его статьи начали цитироваться, индекс Хирша вряд ли окажется заметным. Учет индекса Хирша дискриминирует молодых ученых, которые только на старте научной карьеры.

Во-вторых, индекса Хирша не учитывает различия между научными областями в особенностях публикаций и цитирований. Физики публикуют много статей, почти все они в соавторстве и, если на статью сошлются, то сделают это очень быстро после ее выхода, или не сделают этого никогда. Историки намного реже публикуются, они склонны писать книги, и не очень пристально следят за новыми статьями. И даже внутри одной области, есть тематики, которые в среднем больше цитируются.

В третьих, простая логика подсчета индекса делает возможным разные обходные пути его наращивания. Гонка за количеством публикаций и цитирований может привести к росту индекса, причем сама цифра может быть получена за счет сомнительных публикаций и покупки цитирований (или цитирования узким кругом авторов).

Отличие сна учёного от сна здорового человека в том, что учёный не спит, а в очередной раз обновляет страницу со статусом рецензии. Уверены, что кто-то из вас совершил этот ритуал незадолго до захода на наш канал. Скрасим ожидание небольшой историей про рынок рецензий!

Авторы недавней статьи по теме посчитали, что в 2020 году на рецензии было потрачено пятнадцать тысяч лет (!) человеческого труда. Рынок рецензий США оценен в полтора миллиарда долларов, Великобритании – 400 млн, а Китая – 600 млн. И это по самым консервативным оценкам!

Исследователи приходят к выводу, что рынку рецензий необходима оптимизация. И тут же предлагают три варианта реформ: две мягкие и одну радикальную.

Первая предполагает доступ рецензентов к отзывам на публикации, отправленных в другие журналы. Многие учёные после отказа подают статью в другие журналы, соответственно доступ к решениям предыдущих рецензентов может ускорить процесс принятия решений. Такой вариант оптимизации уже практикуется некоторыми издательствами.

Второе предложение – привлекать как рецензентов менее квалифицированных сотрудников. Зачастую рецензии пишут ведущие ученые своих областей, чьё время стоит дороже всего. Зачем платить больше, если можно создать чеклисты и передать часть работы рецензента менее опытным научным сотрудникам под руководством старших коллег?

Третье, трясущее устои – выкладывать рецензии в общий доступ (что уже делают некоторые журналы). Временных затрат это не снизит, зато даст экспертам опору для последующих рецензий и сделает их труд более видимым. Прецедентное рецензирование!

А пока ничего не случилось, берегите нервы. И кнопку F5.

Найдено лучшее название научного журнала ever. Встречайте "Российский хороший журнал", издававшийся с 2018 по 2021 год Всероссийским государственным университетом юстиции.

Для многих ученых каждая статья в рецензируемом журнале – это долгая история, в которой случаются драматические моменты – отказы, несправедливые рецензии и месяцы ожидания хотя бы какого-нибудь ответа от редакции. Однако есть и те, кто проходит через все это ради розыгрыша!

В эти дни разворачивается новый случай фейкового исследования, опубликованного в респектабельном журнале по исследованиям высшего образования. Статья Donor money and the academy: Perceptions of undue donor pressure in political science, economics, and philosophy была опубликована в журнале Higher Education Quarterly.

Не прошло и месяца со дня публикации статьи, как внимательные читатели обнаружили, что авторов статьи “Sage Owens” and “Kal Avers-Lynde III” не существует, а их инициалы складываются в SOKAL III – прямая отсылка к мистификации Алана Сокала. В 1994 году математик написал пародию на философский анализ квантовой гравитации, и его статью опубликовали в журнале Social Text.

Авторы утверждают, что провели опрос преподавателей университетов, чтобы узнать, испытывают ли преподаватели университетов давление и связано ли это с финансовыми пожертвованиями из левых и правых фондов. В исследовании утверждалось, что если факультет получал «правые» деньги, то преподаватели вынуждены были одобрять найм менее компетентных сотрудников при условии их готовности продвигать правые идеи.

Скандальные результаты исследования привлекли внимание к статье. Самым подозрительным оказалось, что нельзя найти никакой информации об авторах. Уже дальше стали сомневаться, что можно получить такой высокий процент ответивших - 83% (хорошим результатом считается 15%), да и коэффициенты в регрессии не вызывали доверия. Авторы статьи утверждают, что намеренно оставили несколько red flags, чтобы у внимательных рецензентов возникли подозрения. Во всей истории угадывается намерение авторов показать серьезные проблемы с рецензированием в научных журналах. Они не утверждают, что рецензенты должны изучать данные на достоверность, однако, их задача – не пропускать откровенную чушь. И, по всей видимости, на этот раз рецензенты и редакторы журнала не справились.

Многие считают, что такая история могла пройти только с журналом самого низкого качества. Однако в своей области Higher Education Quarterly считается хорошим изданием. Все статьи проходят двойное слепое рецензирование, читаются несколькими рецензентами. Мы думаем, что частично провал связан с самой областью исследований образования. В журналах публикуется не так много количественных исследований с хорошим дизайном, поэтому опросные данные и регрессии могли с самого начала добавить статье респектабельности.

Авторы утверждают, что есть еще 15 имитаций (!), которые они отправили в журналы, и предлагают читателям их поискать.

Внимание, беспроигрышный вариант для авторов – подать статью в журнал Journal of Universal Rejection! Как сообщает сам журнал:

• Вы можете отправить свою рукопись, не волнуясь по поводу решения о ее судьбе – ведь вы со 100% уверенностью знаете, что она не будет принята к публикации.
• Хорошая новость - плата за публикацию не взимается.
• Вы можете утверждать, что подали заявку в самый престижный журнал (по уровню rejection rate).
• Наш журнал - единственный в своем роде. Вы можете гордиться самим фактом отправки статьи в журнал.
• Вы сохраняете полные права на свою работу и можете повторно отправить ее в другие журналы даже до завершения процесса рецензирования.
• Решения часто (хотя и не всегда) принимаются в течение нескольких часов после подачи.

Это, конечно, шутка, хотя и немного грустная для многих авторов. Если серьезно, то действительно есть мнение, что судить о качестве журнала можно даже не по его импакт-фактору, а скорее по уровню отказа авторам. Есть такая закономерность: если журнал отказывает почти всем желающим, то он считается одним из лучших мест для публикации. К примеру, по словам Эндрю Эббота, бывшего редактора American Journal of Sociology, журнал «продает» селективность, а не просто «статьи AJS». Действительно AJS один из самых высокоселективных журналов. Вряд ли мы ошибемся, если предположим, что, как и в American Sociological Review, журнал публикует только 7% статей.

Что же движет всеми теми социологами, которые из года в год присылают в журнал сотни рукописей? Они могут не столько надеться на удачу, сколько ценить возможность подробного разбора статьи. Журнал рецензирует почти все рукописи, даже те, у которых изначально нет никакого шанса. Редакция считает, что тем самым она вкладывается в образовательную миссию – помогает авторам со всего мира продвинуться в их исследовании. Удивительно, но журнал получает много благодарностей от авторов, которые получили отказ! Можно правда посочувствовать рецензентам, которые бесплатно берут на себя эту работу.

P.S. Барьер AJS пока не взят российским социологами – мы не знаем ни одной такой соло-статьи.

Задавали ли вы себе вопрос, стоит ли вообще публиковаться в российских журналах по социальным наукам? Конечно, можно ответить, что нас, авторов, никто особенно не спрашивает, ведь есть формальные обязательства и нужно публиковаться, просто чтобы им соответствовать. Действительно, кажется, что легче всего закрыть показатели, если публиковаться на русском языке – это будет быстрее, скорее всего бесплатно и подготовить статью намного легче. Официальные цифры это подтверждают – недавнее исследование показало, что в России почти половина всех индексируемых в Scopus статей выходит в национальных журналах (45%). Причем среди 28 пост-социалистических стран, Россия находится на первом месте по доле публикаций в национальных журналах.

С другой стороны, за последние 15 лет эта доля все же снизилась с 55% до 45%. Мы точно не знаем, что стоит за этим снижением. Возможно, большая часть статей в иностранных журналах появляется за счет международных соавторств и не во все эти статьи российские авторы вносили большой вклад. Однако возможно и то, что российские авторы выбирают публиковаться не в российских журналах, так как былые преимущества перестают работать. В российские журналы пришло анонимное рецензирование и мы часто встречаем следующую ситуацию:

«Публикация во многих российских журналах по социальным наукам похожа на игру в рулетку: один и тот же материал может быть отбракован одной редакцией и принят к публикации без изменений в другой. Рецензенты дают противоречивые рекомендации, а сам процесс публикации в некоторых журналах затягивается на годы. В результате, на публикацию одной англоязычной статьи может уйти сил меньше, чем на попытки урезонить редакторов и рецензентов российских журналов».*

Возникает закономерный вопрос: каковы вообще стимулы публиковаться в российских журналах?

Если у вас есть ответ или вы хотите послушать ответы других исследователей, то присоединяетесь к круглому столу онлайн** по теме «Зачем публиковаться в российских журналах по социальным наукам?» уже завтра, в пятницу 17 декабря в 15:00 по м.в. Круглый стол проводится в рамках конференции «30 лет электоральной политики в России». От ЦИАНО участвует Катерина Губа, обещали выступить Анна Кулешова, Ольга Малинова, Любовь Фадеева, Андрей Щербак и Александр Кондаков.

* Из информационного письма организаторов Круглого стола.

** Идентификатор конференции: 820 2561 9522, код доступа: 510465

Новая роль в производстве научных статей – посредник между автором статьи и желающими войти в число ее авторов за отдельную плату. На retractionwatch вышел большой материал про Международного издателя и его сервис по написанию текстов, поиску и продаже соавторства. Сервис очень удобен для потенциальных «соавторов» - можно выбрать научную область, цитатный индекс, журнал по квартилю и даже подобрать статью по названию и цене. По социологии, к примеру, доступны такие варианты:

Роль и место наднациональных организаций в современном мире
Новые системы материальной мотивации сотрудников
Проблемы гендерного равенства в публичных организациях
Евразийская интеграция: опыт межгосударственных профильных объединений

Команда retractionwatch сумела извлечь данные о контрактах продажи соавторства с сайта издательства – 8 928 случаев продажи авторства для 2 353 статей. В данных содержались названия статей, что позволило найти уже опубликованные статьи из этого списка. Сейчас у них на руках список из 200 статей – их названия позже появятся в отрытом доступе.

Команда уже написала авторам 29 подозрительных статей. Пока авторы не признаются в том, что покупали себе соавторство, скорее подозревают злой умысел – прозвучала версия, что хакеры украли статью автора или все это происки конкурентов: «… это могут быть коллеги или конкуренты, которые хотят меня оклеветать или разыграть. Некоторые конкуренты готовы на все, чтобы получить продвижение быстрее меня – например, украсть мою статью с диска и опубликовать ее в сети, чтобы подставить меня».

Для международной науки эта история, конечно, видится как небывалое событие - ведь самым вопиющим нарушением считалось записать автора в статью, если его вклад неочевиден. Но онлайн-шопинг научных статей?!

Будем следить за результатами расследования дальше!

Большая новость для социальных наук – открыты выборки переписей за 2002 и 2010 гг. объёмом в 10 и 20%. Эти семплы — результат коллективной работы экспертов Центра перспективных управленческих решений и специалистов Российской экономической школы.

Исследователям такие данные нужны, чтобы проводить репрезентативные исследования. Обычно просто невозможно опросить всех респондентов, поэтому используются выборки. Результаты таких выборочных исследований можно перенести на генеральную совокупность, однако нужно знать ее основных характеристики. Подробнее о том, какие данные собирают в рамках переписи, почему эти данные важны для социальных наук, можно послушать в записи подкаста КритMышь – в студии Алексей Куприянов и Кирилл Титаев (ЕУСПб).

10% семплы можно скачать из каталога ИНИД после регистрации, 20% семплы можно использовать через удалённое подключение к виртуальному рабочему месту исследователя.

P.S. Это особенно хорошая новость, так как именно в 2002 и 2010 годах по данным Левада-центра в переписи приняли участие соответственно 72% и 73% человек, тогда как в последней переписи только 46%.

В России мы часто критикуем цитатные метрики за то, что они меняют поведение ученых в худшую сторону – те выбирают проходные журналы, лишь бы они отвечали формальным требованиям. В других странах многие сомневаются в пользе метрик совсем по другой причине – из-за большой доли риторического цитирования. Цитируемость различается по тому, что учёные в неё вкладывают. Кто-то ставит ссылку, чтобы отдать должное источнику, который действительно повлиял на исследование. Другие могут цитировать сугубо риторически.

Обычно в риторическом цитировании подозреваются работы, которые собирают многочисленные цитирования. Автор может думать, что ссылка на известную работу усилит его аргумент, или он вынужден процитировать статью в ответ на ожидания рецензентов, которые чаще рекомендуют уже известные работы. И в том и в другом случае ссылка на статью не означает, что научная работа действительно повлияла на исследование автора.

Действительно ли это так? Недавнее исследование How status of research papers affects the way they are read and cited показало, что риторическое цитирование составляет не менее половины всех ссылок. При этом, наоборот, высокоцитируемые статьи чаще собирают содержательные ссылки. Количество ссылок помогает привлечь внимание к статьям – они воспринимаются как более качественные и их читают более внимательно. Получается, что цитатные метрики особенно адекватно отображают влиятельность работ с многочисленными ссылками.

Это хорошая новость для наукометрии…

…Но грустная для исследователей. Если статья не цитируется, то:
1) текст воспримут как менее качественный;
2) его не очень вдумчиво прочитают (если вообще прочитают);
3) а если захотят процитировать, то сделают это, когда сам уже текст написан и нужно расставить ссылке в статье.

Эта история показывает, как важно разобраться в причинах, почему какие-то статьи цитируются, а другие остаются без внимания. Но это уже другая история.

Львиная доля коммуникации в современной науке происходит за счет написания и чтения обзоров литературы. Попасть в тематическое обозрение престижного журнала – значит достичь успеха, так ведь? «А вот и нет!» – утверждают Питер Макмэн и Дэниел Макфарленд в своей пушечной статье в American Sociological Review. Для нее они собрали и изучили паттерны цитирования для почти 6 миллионов статей до и после упоминания во всех журналах издательства Annual Review.

Обзоры литературы на самом деле объединяют разрозненные кластеры исследований, которые до этого были совершенно изолированы друг от друга. Кроме того, они существенно сокращают сетевую дистанцию для уже косвенно связанных цитированиями исследований. Вместе с тем, у этих важнейших коммуникативных функций есть и обратная сторона. За счет преобразования массы литературы в более доступную форму обзоры резко перетягивают внимание читателей на себя. После попадания в обзор подавляющее число оригинальных статей резко начинают терять в цитируемости. Если вы вдруг комплексовали, что читаете пересказы вместо первоисточников, то расслабьтесь. Видимо, так поступают абсолютно все.

Макмэн и Макфарленд называют открытый ими эффект замещения дисперсных паттернов цитирования новыми, строго иерархичными, по-шумпетериански: созидательным разрушением. Авторы предполагают, что формирование научного дискурса сегодня происходит именно через циклы сменяющих друг друга обзоров. Их значение тем более вырастает по мере роста объема публикаций в направлении. Если когда-то давно обзорщики и находились где-то на задворках профессии ученого, то сегодня это демиурги, решающие карьерные судьбы своих коллег и накручивающие себе заоблачные хирши. Вырваться из колеса созидательного разрушения не получится. Это мир наблюдений второго порядка. We're fucked.

В журнале Journal of Informetrics вышла статья с анализом дублирующих публикаций Analysis of duplicated publications in Russian journals (см. также запись вебинара с автором статьи - Ю. Чеховичем). Авторы проанализировали 3 803 964 публикаций в научных журналах и нашли 70 406 кластеров, каждый из которых объединяет статьи с одинаковым или очень похожим текстом. Анализ показал следующее:

— 3,88% всех проанализированных статей имеют один или несколько дубликатов. Эта цифра значительно превышает оценку примерно в 1% дублированных публикаций на данных Web of Science.
— Особенно много кластеров было найдено в 2015–2017 годах – именно в этот период усилилось публикационное давление на российские институции.
— Чаще всего встречаются дублирующие статьи в медицине, праве, педагогике, экономике и бизнесе –в среднем каждая 18 статья в этих категориях имеет дубликат.
— Встречаются случаи, когда дублирование носит законный характер – регулярные статьи с изложением статистических показателей – меняются цифры, но текст остается тем же.
— Большинство кластеров содержат только 2 статьи (92%).
— Часто дублированные статьи выходят в один год с оригиналом. Более 80% всех кластеров содержат статьи, опубликованные либо в течение одного года, либо в смежные годы. Значит, рукопись практически одновременно рассылается во множество журналов. К примеру, 24 из 27 статей в одном из кластеров были опубликованы в 2015 г.
— Чаще всего в кластерах авторы всех статей совпадают (2/3 случаев). На втором месте случаи с наличием хотя бы одного общего автора для всех публикаций. На третьем месте – кластеры, в которых все авторы разные – 12% кластеров.
— В кластерах с различающимися авторами довольно часто встречаются статьи, когда разница во времени публикации отсутствует или составляет всего 1 год – это наблюдается в 65% случаев. Это указывает на то, что скорее всего плагиат не главная причина появления таких дублирований. Это также можно объяснить покупкой статей, написанных скриптерами. Статьи продаются больше, чем одному автору, поэтому мы видим, как одновременно выходит несколько статей с почти идентичным текстом.

Данные доступны для скачивания – можно проводить собственный анализ разновидностей академической нечестности – ресайклинга текста, плагиата, скриптерства и покупного соавторства.

Курс на интернационализацию поставлен на паузу - заметка Катерины Губы о том, продолжится ли интеграция российской науки в мировую.

Если политика научных журналов не изменится, и они продолжат принимать статьи от российских ученых, публикаций, вероятно, станет заметно меньше. Дело не в том, что предубеждения против российской науки станут непреодолимым препятствием. Скорее заморозка связей с зарубежными институциями скажется на возможности проводить исследования высокого качества.

Хорошие статьи – это во многом результат международных проектов, консультаций с зарубежными учеными, поездок на конференции и воркшопы. Все это необходимо для того, чтобы, находясь в России, проводить исследования на высоком уровне. К примеру, в физике большая часть статей, опубликованных в самых престижных журналах, является результатом международных мегаколлабораций.

Мы уже видим, что европейские университеты отменяют институциональное сотрудничество с российскими университетами, особенно с теми вузами, которые подписали письмо в поддержку вторжения в Украину. Есть примеры, когда европейские университеты отказывают и личным заявкам исследователей для участия в семинарах или стажировках.

Возможно, нам скоро предстоит узнать, удастся ли при сокращении научных контактов проводить исследования, соответствующие стандартам международных журналов.

Эффект Матфея возвращается!

С каждым годом появляется все больше и больше цифровых инструментов, способных упростить те или иные аспекты академической рутины. С энтузиазмом или опасением сейчас обсуждаются большие языковые модели, выложенные в открытый доступ. Самой известной из них является chatGPT, получившая в конце 2022 года интуитивный интерфейс и большое освещение в медиа.

Их распространение грозит как прозрачности науки (этому посвящена колонка в Nature), так и валидности публикуемого научного знания. Теперь, когда с момента «открытия» chatGPT для широкой публики прошло более года, стали появляться первые оценки распространенности его использования. Основная предпосылка такого рода оценок, – неожиданный рост частотности тех или иных слов или словосочетаний в текстах публикаций. Заметим, что есть и совсем комичные случаи проникновения инструментальных сообщений чатбота в тексты публикаций: сотни тысяч просмотров набрал твит Гийома Кабанака (Guillaume Cabanac) о статье, чья аннотация начинается фразой “Certainly! Here is a possible introduction for your topic <…>”.

На рисунке ниже показано несколько примеров слов/словосочетаний, ставших значительно чаще появляться в научных текстах на openalex в 2023 году (первый полный год после публичного релиза chatGPT). Неожиданный рост частотности слова “delve” (“копаться”, “углубляться”) ранее был показан в твите Филипа Шапиры (Philip Shapira), другие примеры взяты из обсуждений на reddit (раз, два), в которых пользователи делились своим опытом работы с чатботом.

Эта грубая идея получила более серьезное развитие в препринте Эндрю Грэя (Andrew Gray). Используя данные Dimensions и опробированный ранее словарь лексики, характерной для ответов чатбота, он оценил распространенность применения AI в академических текстах 2023 года в 1% (~60000 публикаций). Если вы пользуетесь чатботом, например, для proofreading, советуем хорошо запомнить слова, которые «выдают» применение AI. Среди них особенно часто встречаются: “commendable“, “meticulous“ и “intricate“.

Мы думаем, что очень скоро способ идентификации AI по росту частотности тех или иных слов или в научных текстах перестанет так хорошо работать. Авторы могут попросить языкового помощника переформулировать сгенерированный текст или вручную удалять характерные для него слова. Автор также может дообучить модель на корпусе собственных текстов, чтобы сделать написанные помощником фрагменты неотличмыми от собственных. Идентификация нечеловеческих следов в публикациях, таким образом, все еще будет требовать тщательного изучения отдельных случаев (а их база собирается, например, на Retraction Watch, куда также можно прислать подозрительные публикации).

Кажется, что тема использования языковых помощников в академических текстах с нами надолго.

В 2012 году, по данным Мониторинга, насчитывалось 1619 вузов: 716 частных и 903 государственных. Частные вузы составляли 44%. Примерно половина частных вузов приходилась на филиалы (335 филиалов – 47% от числа частных университетов).

Мониторинг 2022 года показывает такую картину: всего имеется информация о 1208 организациях: 312 частных и 896 государственных. Частные вузы составляют 26%.

Тем самым, почти за 10 лет количество частных вузов уменьшилось вдвое, тогда как государственные вузы остались в том же количестве. За этой смертностью частных вузов стояли специальные усилия профильных ведомств по улучшению качества образования. В период 2013-2016 гг. резко увеличилось число проверок всех вузов, особенно частных. В отношении частных вузов проверки длились дольше, проходили внепланово и с выездом. Оказалось, что большинство показателей качества работы организации не защищают университеты от проверки, а признание «эффективным» частного вуза имеет и вовсе малое значение.

В 2017 году мы детально написали об этом периоде «очищения» высшего образования в аналитическом отчете «Как работает Рособрнадзор: анализ открытых данных о контрольно-надзорной деятельности в сфере высшего образования». В 2024* году эти результаты были опубликованы в журнале Studies in Higher Education (статья Legitimacy deficits in the private higher education sector: categories in evaluating Russian universities) – для международных исследований случай России интересен, так как показывает важность категорий для оценки университетов. В некоторых контекстов, для бюрократии менее важны количественные индикаторы, скорее выбор цели определяется широкой категорией.

В статье мы обращаем внимание на легитимность категории университетов. Категория «частных вузов» традиционно признавалась как категория с меньшей легитимностью (в других контекстах, такие проблемы могут быть у университетов иных типов – проблемы с легитимностью или даже стигматизация целого класса университетов характерны, к примеру, для community college в США). Результатом проблем с легитимностью стало то, что под проверки, а зачастую и под последующие санкции, попадали эффективные частные вузы. Категория «частный вуз» сработала как сигнал о потенциальной неблагонадежности даже при высоких показателях в мониторинге эффективности.

Остается вопросом, помогли ли усилия ведомств решить проблему легитимности частных вузов, но это уже другая история.

* Тут должен быть восклицательный знак о длительности исследовательских циклов.

Недавно обновился показатель SJR для журналов, входящих в Scopus. Предлагаем посмотреть на тренд: менялись ли показатели российских журналов в худшую или лучшую сторону за последние три года?

В 2023 году увеличилось количество журналов, для которых рассчитываются метрики: в 2022 году было 504, а в 2023 – уже 559.

Средний показатель SJR не изменился за эти три года – составляет 0,2. На отсутствие заметных изменений также указывает распределение по квартилям:

— в 2023* году по SJR первый квартиль был у 12% (69) журналов
— в 2022 году у 11% (57) журналов
— в 2021 году у 13% (56) журналов

Журналы могут менять квартили каждый год (для отдельных журналов такие колебания удобно смотреть на диаграмме в канале Выше квартилей). В 2022 году квартиль изменился к худшему у 27% (149) журналов, улучшился у 10% (55) журналов. В 2023 году произошло изменение к худшему у 20% (112) журналов, улучшилось у 14% (79) изданий.

Насколько по этим метрикам можно судить об улучшении или ухудшении качества журнала? Проблема в том, что квартиль зависит от метрик других журналов – журнал может начать лучше цитироваться, но если остальные журналы также стали лучше цитироваться, то его квартиль не улучшится. В 2023 году насчитывалось 287 журналов, у которых улучшился SJR, однако, только 27% одновременно улучшили свой квартиль, а 73% остались с прежним квартилем. Только у 40% журналов с изменением SJR в худшую сторону, квартиль стал ниже, а у 59% остался на том же уровне.

Для тех, кто серьезно относится к квартилям (к примеру, поздравляет журнал с попаданием в Q1), должны предупредить, что изменение квартиля зачастую сопровождается малозаметными изменениями в SJR. Так, для того, чтобы ухудшился квартиль – в среднем SJR снижается на 0,06, а улучшение квартиля в среднем происходит при изменении SJR на 0,07.

Как бы мы не относились к метрикам, мы видим, что возрастающая изоляция российской науки не сказалась на показателях цитируемости российских журналов, индексируемых в Scopus. Это во многом объясняется тем, что российские журналы в основном читаются и цитируются российскими авторами, которые сами также публикуются в российских журналах. Многие журналы продолжают оставаться национальными – в них редко публикуются зарубежные авторы, а статьи мало цитируются за пределами России.

Недавнее исследование самоцитирования стран показало, что у России очень высокий уровень самоцитирования (вместе с такими странами как Колумбия, Египет, Индонезия, Иран, Италия, Малайзия, Пакистан, Румыния, Саудовская Аравия, Таиланд и Украина) – в среднем, примерно 40% ее статей цитируется другими российскими исследователями. Более того, этот показатель самоцитируемости только растет, тогда как в других странах он подает. Наши расчеты по корпусу статей в области climate change показали, что 2/3 цитирования статей из российских журналов приходят из других российских журналов, а треть иностранных цитирований происходит за счет российских авторов.

Резюмируя, метрики цитирования российских журналов остаются на том же уровне. Российские журналы и до 2022 годы были мало видимы за пределами России, а вот для ответа на вопрос, насколько эта видимость изменилась с 2022 года, нужны дополнительные данные.

Статьи по теме национальных журналов и их видимости:

- Macháček, V. (2023). Globalization of scientific communication: Evidence from authors in academic journals by country of origin. Research Evaluation, 32(1), 157-169.
- Baccini, A., & Petrovich, E. (2023). A global exploratory comparison of country self-citations 1996-2019. Plos one, 18(12), e0294669.
- Lovakov, A., Panova, A., & Yudkevich, M. (2022). Global visibility of nationally published research output: the case of the post-Soviet region. Scientometrics, 127(5), 2643-2659.
- Kirchik, O., Gingras, Y., & Larivière, V. (2012). Changes in publication languages and citation practices and their effect on the scientific impact of R ussian science (1993–2010). Journal of the American Society for Information Science and Technology, 63(7), 1411-1419.

* Отдельного внимания заслуживает тот факт, что 80% российских журналов Q1 являются гуманитарными изданиями (по философии, истории, филологии и т.д.). По иронии, именно гуманитарии больше всего недолюбливают наукометрию.

Вы удивитесь, но в исследованиях Высшей школы экономики за последние 20 лет выросла доля экономики, МФТИ стал гораздо более инженерным, а саудиты теперь чаще цитируют исследования Бауманки, чем американцы!

Узнать всё это за несколько кликов теперь можно благодаря новой платформе Rankless от венгерских исследователей.
И если что-то и поможет новому общедоступному индексу OpenAlex привлечь больше внимания уже в 2024 году, чем дорогие и просто недоступные в России Web of Science и Scopus, то это именно новый сервис с впечатляющей визуализацией. С мотивирующим лозунгом «We need to understand more and rank less» команда из CCL (Центр коллективных знаний Будапештского университета имени Корвина) нацелилась побороться с глобальными рейтингами вузов. Разобраться с содержанием образовательных программ с Rankless вряд ли получится, но актуальных выгрузок из обширной базы OpenAlex уже достаточно, чтобы сравнивать научные специализации вузов. И всё это доступно в динамике, в том числе в ежегодной с 2019 года.

Охват вузов пока ещё не полон, но выявить интересные тенденции уже можно. Например, петербургские ИТМО и СПбГУ планомерно отходят от физической специализации в пользу химии материалов, а томские ТГУ и ТПУ наоборот уменьшили долю последней в пользу инженерных исследований. При этом все четыре вуза диверсифицировали профиль исследований в целом и наращивают сотрудничество не только с Китаем, но и, например, с Ираном. Современная междисциплинарность так высока, что далёкий от моря МГТУ Баумана и ещё более континентальный Университет Назарбаева (Астана) усилили вклад в морские технологии.

Самое интересное, что можно проследить, как изменился набор стран, который цитирует исследования университета. Вот, например, в 2019 году на долю США приходилось 18% ссылок от числа всех цитирований Вышки, ссылки из Китая составляли ту же долю в 18%. В 2022 году пока проиндексировано только 675 статей Высшей школы экономики: доля ссылок из США составила уже 14%, а Китая – 24%. Однако, стоит предостеречь от окончательных выводов, так как за последние годы индексация статей в OpenAlex происходит с большой задержкой.

Мониторинг эффективности образовательных организаций является самым полным источником открытых данных о российских вузах. Впервые Мониторинг был проведен Министерством образования и науки в 2012 году, уже на следующий год участие в нем стало обязательным почти для всех вузов. Мониторинг включает в себя информацию по нескольким десяткам показателей, которые объединены в восемь групп.

Министерство с 2013 года выкладывает показатели каждого университета на сайт, однако, эти данные недоступны для скачивания. Мы подготовили данные Мониторинга для широкого пользования – панель показателей для каждого университета доступна с 2015 по 2023 годы. Данные выложены в репозиторий и доступны по ссылке.

Мы также использовали данные для дополнительной аналитики показателей университетов – в виде дашборда с таблицами и графиками. Мы полагаем, что выводы об эффективности вуза должны быть основаны на анализе показателей вуза в динамике или в сравнении с другими похожими вузами. Дашборд предоставляет базовые инструменты для сравнительного анализа показателей эффективности вузов.

Сценарий №1 позволяет для каждого вуза анализировать динамику показателя одним кликом. К примеру, как изменялись баллы ЕГЭ абитуриентов вуза за последние пять лет?
Сценарий №2 позволяет ранжировать все вузы по одному из показателей Мониторинга. К примеру, можно получить список вузов, которые входят в топ-пятьдесят вузов по среднему количеству публикаций в Scopus. Такие условные рейтинги можно строить за каждый год.

Результаты ранжирования могут удивить. К примеру, в 2021 году наибольший показатель по количеству опубликованных работ в РИНЦ на 100 НПР составил 6 611,60 единиц! (у Санкт-Петербургского государственного экономического университета). Очевидно, что эта цифра не может реалистично описывать научные результаты вуза (она при этом примерно соответствует цифре о количестве публикаций в РИНЦ).
Мы уже писали о качестве данных Мониторинга – из года в год встречаются явные ошибки. Эта проблема так и не была решена.