сложные отношения

В середине лета 1964 года Институт химической кинетики снарядил специальную экспедицию в Норильск для проверки эффективности этого чуда техники в деле убийства мошек

Мы с Кипящим МИФИ продолжаем смотреть с разных сторон на научные успехи российских университетов и научных институтов. В этот раз мы решили взглянуть на публикационные показатели мировых лидеров: Оксфорда, Стэнфорда, MIT, Сингапурского университета и др.

Конечно, сравнивать валовые показатели особого смысла не имеет: все выбранные университеты имеют, например, разное число сотрудников и их распределение по научным тематикам. Однако общее качество публикационной активности оценить можно: так, доля статей в журналах первого квартиля у мировых лидеров составляет 65-75%, а российских вузов МГУ и ВШЭ — лишь около 35%. Не менее сильная разница видна и в средней цитируемости одной статьи.

Особенно большие отличия проявляются при подсчёте доли публикаций в журналах высшего качества (топ-1%): здесь МГУ и ВШЭ появляются примерно в 7-10 раз реже. Удивительно, что это один из устойчивых показателей, который почти невозможно резко улучшить. Однако, если повернуть вопрос финансовой стороной — сравнить ещё и бюджеты университетов — то, уверен, картина станет не такой однозначной.

Учёные и преподаватели не ждут ничего хорошего от "просветительских" поправок в закон об образовании, которые были окончательно приняты Госдумой. По результатам опроса, более 70% респондентов ожидают негативного эффекта для популяризации науки, позитивного — лишь 3%. Остальные не готовы прогнозировать влияние поправок либо считают его нейтральным.

Опрос в канале Наука и университеты показал близкие результаты. Ранее против поправок высказались многие известные учёные и популяризаторы науки, Президиум РАН в полном составе и Счётная палата РФ.

Мои предложения для РИНЦ

Анализ публикационной активности вузов последних лет показывает, что реальный вклад организации в публикуемые работы становится более весомой характеристикой, чем само число статей. У топовых университетов происходят резкие скачки показателей: на фоне пяти- и даже десятикратного роста количества статей в течение нескольких лет, собственный вклад в публикации падает в 2-3 раза. К сожалению, имеющаяся статистика позволяет оценить происходящие изменения лишь косвенно.

Предлагаю Российскому индексу научного цитирования (РИНЦ) обратить внимание на соответствующие показатели и отобразить их динамику в сводной статистике по каждой организации на сайте elibrary.ru. Замечу, что почти все необходимые данные уже были собраны для расчёта КБПР. Ниже привожу конкретные предложения.

I. Базовый уровень

Отобразить в статистическом отчёте об организации:

- средний вклад организации в статью из ядра РИНЦ, по годам;
- средний вклад организации в статью в журнале первого квартиля WoS (Q1), по годам;
- то же для Q2, Q3, Q4;

- среднее число авторов из организации в статье из ядра РИНЦ, по годам;
- среднее число авторов из организации в статье в журнале первого квартиля WoS, по годам;
- то же для Q2, Q3, Q4.

Всё — с учётом числа указанных аффилиаций, как при подсчёте КБПР. Автор, указавший три места работы, идёт в зачёт с весом 1/3 и т.д.

II. Продвинутый анализ

В принципе, аналитической базы РИНЦ достаточно для нахождения потенциальных "купленных" аффилиаций. Пример подозрительной траектории: некто с хорошей публикационной активностью трудоустраивается в вуз в качестве второго или третьего места работы, это отражается в списке аффилиаций. Однако, в течение следующих лет среди соавторов так и не появляются сотрудники (аспиранты) данного вуза, т.е. совместные работы на самом деле не ведутся. Либо ведутся на таком незаметном уровне, что не дотягивают даже до пары статей.

Естественно, методика требует детальной настройки и ручной проверки многих прецедентов. И результаты по части II логичнее оставить для внутреннего пользования, либо публиковать в самом общем виде.

С одной стороны, попытки выявить такие практики могут казаться охотой на ведьм: отстаньте от больших учёных и вообще. С другой стороны, деньги, потраченные на выплаты западному профессору, могли бы пойти на финансирование настоящего персонала университета, пусть и с менее гламурными публикациями в результате.

В целом я уверен, что данные о самостоятельности публикаций (особенно наиболее рейтинговых) абсолютно необходимы для объективной оценки научных организаций , тем более — в условиях жесткой публикационной гонки. Предлагаю подумать над этими предложениями представителям РИНЦ и, шире, тех ведомств, которые заинтересованы в понимании результатов крупных проектов по поддержке науки.

Дорогое Министерство науки и высшего образования, доброе утро!

В последнее время у меня складывается стойкое впечатление, что ваша активность в Телеграме не ограничивается ведением официального канал. Речь идёт о целом букете небольших каналов, выпускающих своеобразные комментарии к актуальным новостям (не будем показывать пальцем). Это приводит к мысли, что у министерства есть потребность доносить до аудитории не только пресс-релизы и анонсы мероприятий, но и некоторые оценки событий, сомнения или пожелания.

Предлагаю совершенно бесплатную площадку своего канала: например, в рамках еженедельной рубрики. Мои обязательства: переводить с министерского языка на русский, собирать и возвращать обратную связь в конструктивном виде. Ваши обязательства: давать аналитику, оценки и рекомендации, одним словом, что угодно за рамками пресс-релизов, фотоотчётов и рассуждений о важности науки в целом.

Подписчики канала — это активные участники научно-образовательной жизни страны, примерно 40% имеют учёную степень. Замечу сразу, что их обратная связь может оказаться отрицательной, и здесь я не планирую что-либо приукрашивать (кроме отделения эмоций от содержательного посыла).

Преимущество этой затеи очевидно: неформальная и качественная обратная связь, особенно по спорным вопросам. Если решитесь поучаствовать — присылайте самых смелых в @RResearcherBot. Порядочность автора в плане личной информации могут подтвердить ваши коллеги, которые иногда заглядывают на огонёк (но вы об этом никогда не читали в канале).

/автор канала Русский research/

***
Специально для подписчиков подчеркну, что написанное — личная инициатива автора, носящая экспериментальный и сугубо некоммерческий характер. Если всё провалится, обещаю так и написать. Однако надеюсь, что наличие диалога будет полезно в любом случае; пока что обратная связь в виде петиций оставляет желать лучшего в плане эффективности .

Подписчик обращает внимание: прямо сейчас Википедия проводит конкурс научной фотографии, подробности доступны по ссылке. Номинации: макроизображения, люди в науке, космос, не-фото (моделирование, визуализация) и другие. Работы принимаются до 30 апреля.

На мой взгляд, сам конкурс — это скорее повод, а вот действительно качественных фотографий из российских лабораторий катастрофически не хватает (речь, конечно, не о постановочных кадрах с пробирками). Возьму на себя смелость утверждать, что несколько захватывающих фотографий могут стать более действенным инструментом по привлечению молодёжи в науку, чем какие угодно лекции и профориентационные мероприятия.

Поэтому желаю удачи всем, кто решит принять участие.

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Общая сборка

Валовый показатели по статьям институтов РАН: аналитика и графики
Валовые показатели по статьям университетов 5-100: аналитика и графики
Распределение статей по квартилям и конференции труды для институтов РАН: аналитика и графики
Распределение статей по квартилям и конференции труды для университетов 5-100: аналитика и графики
Цитируемость институтов РАН: аналитика и графики
Цитируемость университетов 5-100: аналитика и графики

Самостоятельность исследований: методика
Самостоятельность исследований институтов РАН: аналитика и графики
Самостоятельность исследований университетов 5-100: аналитика и графики
Усреднённые данные по самостоятельности

КБПР институтов РАН и университетов 5-100

Сравнение с мировыми лидерами: аналитика и графики

Усредненные данные по КБПР и КБПР университетов 5-100 второй волны

Мнения и значимые публикации по тематике:
Кто написал десятки тысяч статей?
Предложения для РИНЦ по показателям университетов
Зачем ещё один показатель?

Незыгарь Brief о сравнении университетов РФ с мировыми лидерами

Квартиль - меньше да лучше, доля РФ по статьям в мире

Назначенцы в вузах второго эшелона

Одновременно из двух университетов среднего уровня пришла информация о назначении ректорами вчерашних региональных чиновников. Это ещё одна грань трудностей, наряду с отсутствием средств на развитие науки и сниженным вниманием в "забеге сильнейших" последних лет. Но если недостаток финансирования ещё может иметь объективные причины (на всех не хватает), то оправдания таким неуместным кадровым решениям лично я не нахожу.

Речь идёт о ситуации, когда чиновник выбывает из команды губернатора или мэра, и, по-видимому, за неимением более приятных вакансий, отправляется руководить местным университетом. Симптомы видны сразу: полное непонимание внутреннего устройства вуза, экзотические хозяйственные инициативы, ремонт своего кабинета и найм дополнительных секретарей и пиарщиков, отсутствие контакта с преподавателями и нулевой авторитет в коллективе.

К сожалению, такой ректор сильно подвержен воздействию разного рода советников и "советчиков", так как своей позиции по существенным вопросам не имеет. В тяжёлых случаях всё усугубляется поведением в стиле "барин и холопы", когда вуз и преподаватели рассматриваются как вотчина и крепостные соответственно (должны срочно предоставлять, неукоснительно выполнять, не допускать, бесплатно помогать, etc.). И если в сфере ЖКХ это сойдёт за изюминку и даже прибавит обаятельности, то в стенах высшего учебного заведения смотрится откровенно дико.

Думаю, картина знакома многим подписчикам. Конструктивный посыл здесь донельзя простой: давайте не назначать отработанных чиновников и.о. ректора в качестве утешительного приза. Это совершенно бесплатная организационная мера, которая неплохо поможет вузам второго эшелона в их и без того непростой судьбе. А профессиональных государственных управленцев пусть рынок разберёт, они же при своих талантах без работы не останутся, правда?

Открытое письмо молодых учёных
опубликовано в "Троицком варианте"

«Мы, молодые ученые, сотрудники научных организаций и высшей школы, обеспокоены ситуацией, складывающейся из-за недостаточного финансирования науки в нашей стране. На заседании Совета по науке и образованию 8 февраля 2021 года лауреат премии Президента Российской Федерации в области науки и инноваций для молодых ученых Анастасия Проскурина озвучила ряд проблем, касающихся финансирования науки, уровня реальных зарплат и условий труда научных работников. Эти проблемы распространены во всех регионах и касаются большинства научных организаций.

В связи с изложенным в нашем открытом письме, мы обращаемся к Президенту и Правительству Российской Федерации, министерству науки и высшего образования, министерству финансов и руководству Российской академии наук с просьбой пересмотреть существующую систему финансирования науки в нашей стране.

Если Вы солидарны с письмом – подпишите и распространите среди коллег.
По мере набора приличного количества подписей – будут составлены официальные обращения в приемные к указанным в письме официальным лицам».

Российская академия наук подтверждает свою отрицательную позицию по изменениям, вносимым в закон об образовании. Это касается поправок и о просветительской деятельности, и о контроле международного сотрудничества. Интерфакс цитирует заместителя президента РАН Сергея Люлина:

"Придется согласовывать с профильными ведомствами, в данном случае с Министерством науки и высшего образования, работу иностранных преподавателей, соглашения о научно-техническом сотрудничестве, реализацию научных проектов. Чрезмерное ненужное регулирование может привести к существенному дополнительному отставанию страны в критически важных областях науки и техники.

По мнению РАН, законопроект является излишним и дублирующим [другие законы]".

Констатировать можно одно: научно-образовательное сообщество до сих пор не понимает, против кого (для борьбы с кем?) вносятся такие поправки. В этом смысле крайне удивительна позиция коллег по ТГ, говорящих, что поправки всё равно примут, "так зачем это обсуждать". Как говорится, тут без комментариев.

Что же касается домыслов, в ТГ гуляют самые разные версии: от борьбы с экстремизмом до борьбы со Свободным университетом. Как и во множестве других случаев, хотелось бы услышать объяснения до, а не после.

Спасибо, коллеги!

В последнее время я редко рекомендую молодые каналы, так как их подача обычно вызывает у меня недоумение. Но канал "Наука и университеты" действительно не боится касаться сложных тем: как в новостной сводке, так и в своих рассуждениях.

Что касается аналитики: во-первых, объективных людей не бывает. Во-вторых, пока мой канал немного сбавил активность, но это все потому, что мы готовим новую серию углубленной аналитики по самостоятельности исследований университетов и институтов РАН за последние 8-10 лет. И все благодаря инициативным подписчикам.

Спойлеры в виде бесконечных табличек уже доступны в @trueresearch_chat.

Новая наукометрия: самостоятельность исследований
Мотивация и методика

Ранее мы с Кипящим МИФИ установили, что старт проекта "5-100" в 2013 году привёл к серьезному росту числа статей ведущих университетов, который сопровождался кратным уменьшением вклада в отдельную публикацию. Такие тенденции ранее систематически не исследовались и поэтому вызвали большой интерес, однако сами оценки были достаточно грубыми.

Теперь, благодаря неравнодушию подписчиков канала, мы представляем усовершенствованную методику, позволяющую с достаточно высокой точностью восстановить не просто средний вклад организации в статьи Web of Science, опубликованные за последние 10 лет, но и детализировать эти данные по каждому квартилю журналов Q1-Q4.

Ниже описаны основные принципы расчётов, для самых интересующихся. Автор канала и инициативная группа готовы ответить на вопросы и принять претензии в комментариях. Результаты — в следующих постах.

Итак, как и в предыдущей модели, расчёты строятся на сравнении Комплексного балла публикационной результативности (КБПР) конкретной организации и числа статей за определённый год. Данные за 2011-2019 годы были взяты в системах РИНЦ и SciVal, разница между делением на квартили в базе Web of Science и по SJR учтена с помощью поправочного коэффициента; принцип вычисления КБПР пояснялся выше. Оценка самостоятельности возможна именно потому, что показатель КБПР учитывает вклад организации в каждую статью, засчитывая "очки" пропорционально доли её сотрудников среди всех авторов.

Напомню идею оценки. Предположим, легендарный университет ГУКУ опубликовал в 2015 году 500 научных статей, и все они — исключительно в журналах первого квартиля WoS, то есть стоят по 20 баллов КБПР каждая. Если бы сотрудники славного ГУКУ опубликовали эти статьи без привлечения других организаций, то суммарный КБПР их alma mater был бы равен 500*20 = 10 000 баллов. Однако реальный КБПР вуза за 2015 год составил, например, только 1000 баллов, всего по 2 балла на одну статью. Это означает, что в среднем доля сотрудников ГУКУ в одной публикации составляет 2/20 = 10%; задача решается однозначно.

Усложним ситуацию: предположим, ГУКУ опубликовал за 2015 год по столько-то штук статей в журналах каждого квартиля, собрав итоговый КБПР = 1000. Мы можем подобрать коэффициенты самостоятельности публикаций в каждом квартиле так, чтобы сошёлся суммарный балл КБПР. Но без дополнительной информации однозначно восстановить самостоятельность в каждом из квартилей Q1-Q4 невозможно: итоговый балл мог сложиться по-разному.

На помощь приходит здравый смысл и дополнительная информация о внутренних и международных коллаборациях, которая также выдаётся SciVal. Мы предполагаем, что в среднем статья в международном коллективе публикуется в журналах Q1, при внутрироссийской коллаборации — в журналах Q2, что позволяет составить независимую оценку самостоятельности. Это добавляет второе условие в систему и существенно ограничивает возможные интервалы решений.

На практике, при заметном числе публикаций в Q1-Q2 их самостоятельность устанавливается с точностью порядка +-2-3%, так как вес каждой статьи очень велик и отклонения в оценке вклада сразу приводят к отклонению расчётного значения КБПР от реального. В ряде случаев сложно разделить вклады статей в Q3 и Q4 между собой (+-10%), однако на средневзвешенный показатель это влияет слабо.

Важный аспект усовершенствованной методики — это отдельное рассмотрение бесквартильных статей, а также вклада общественных и гуманитарных наук в общий КБПР организации (их балл КБПР вычисляется другими весами статей, поправка особенно актуальна для университетов второй лиги 5-100). Мы постарались отделить эти работы от массива Q1-Q4. Как результат, оценка самостоятельности квартильных публикаций стала гораздо менее чувствительна к "наплывам" статей в низкорейтинговых изданиях.

На данный момент анализ проведён для всех университетов проекта "5-100", для ряда лидирующих институтов РАН (представленных в постах выше), а также для МГУ, СПбГУ и Сколтеха.

Новая наукометрия: вклад в Q1-Q4
by инициативная группа канала РR & @boilingmephi

На графиках: доля соавторства вузов проекта "5-100" в статьях, публикуемых ими в любых квартильных журналах (по SJR), приводится динамика показателя с 2011 по 2019 год, за 2020 год — оценочно.

Первая волна проекта "5-100" стартовала в 2013 году, вторая волна — в 2015-м. Видно, что вступление вуза в проект сопровождается достаточно резким снижением авторского вклада в публикуемые статьи, в среднем по итогам проекта — примерно в 2 раза.

Здесь и ниже динамика каждого вуза в отдельности показана для иллюстрации схождения траекторий. Детальные данные по организациям доступны в чате.

Новая наукометрия: вклад в Q1
by инициативная группа канала РR & @boilingmephi

На графиках: доля соавторства вузов проекта "5-100" в статьях, публикуемых ими в журналах первого квартиля (по SJR), приводится динамика с 2011 по 2019 год, за 2020 год — оценочно.

Первая волна проекта "5-100" стартовала в 2013 году, вторая волна — в 2015-м. Вступление вуза в проект сопровождается очень резким снижением авторского вклада в публикации первого квартиля, в среднем по итогам проекта — в 3 раза и более.

У ряда вузов число публикаций в журналах первого квартиля выросло за 3-4 года в 20-40 раз (!), однако средний авторский вклад в публикуемую статью упал в 5-8 раз, до уровня 4-6%. Настолько резкое перестроение реальных коллабораций представляется невозможным, поэтому весьма вероятна массовая закупка аффилиаций российских или зарубежных учёных.