Вопросы в зал
Из чата @trueresearch_chat

Который день в чате идёт бурное обсуждение финансирования науки и, в частности, внутренней кухни Российского научного фонда. Подписчики канала интересуются:

- работой экспертного совета РНФ в целом;
- процессом выбора экспертов (работает ли случайный выбор по кодам?);
- процессом принятия решения по результатам экспертизы;
- работой с отрицательными отзывами на рецензентов.

Если вы владеете такой информацией (являясь членом совета, координатором, сотрудником фонда), буду благодарен за ваши ответы. Писать можно в @RResearcherBot, анонимность гарантируется.

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Часть 4. Самостоятельность исследований: методика расчёта

В новой части нашего анализа мы планируем глубже вникнуть в структуру публикационной активности вузов проекта «5-100» и институтов РАН. Наиболее острые вопросы — реальный вклад организаций в публикуемые статьи и множественные аффилиации авторов. К сожалению, стандартные инструменты не предоставляют такую статистику в явном виде, поэтому была предпринята попытка восстановить её косвенным образом. Итак, задача: найти средний вклад организации в публикуемую статью. Приводим подробное объяснение методики, результаты - сразу после.

За основу был взят показатель КБПР (комплексный балл публикационной результативности), который рассчитывается РИНЦ и выкладывается в открытом доступе на портале elibrary.ru. Этот показатель напрямую учитывает вклад научной организации в публикуемые статьи: например, если только 2 из 10 соавторов указали данный вуз/институт в качестве места работы, то и в зачёт пойдут 20% от условной стоимости статьи в баллах. Если же каждый автор указал по 2 места работы, то, соответственно, одной организации зачтётся ещё вдвое меньше баллов. РИНЦ позволяет проследить изменение общего КБПР организации (суммарного и по отраслям знаний) с 2011 по 2020 годы.

Цена самой статьи при расчёте КБПР сильно зависит от квартиля журнал: публикация в журнале первого квартиля WoS стоит 20 баллов, в Q2 — 10 баллов, в Q3 — 5 баллов, в Q4 — 2,5 балла, в остальном ядре РИНЦ (остальных журналах WoS, Scopus, RSCI без квартиля) цена статьи составляет 1 балл. РИНЦ позволяет увидеть, как менялся по годам средневзвешенный импакт-фактор журнала, в котором опубликованы статьи данной организации, но не предоставляет информацию о квартилях журналов. Поэтому для анализа нам была необходима простая связь между импакт-фактором журнала и его квартилем, а значит и стоимостью статьи по методике КБПР. Усреднение импакт-факторов журналов из разных областей показывает, что для естественных наук можно использовать приблизительную формулу:

[стоимость статьи по КБПР] = 4 * [импакт-фактор журнала],

причём в математических науках лучшее совпадение даёт коэффициент 5 вместо 4, в среднем по всем наукам — коэффициент 6. Мы отбрасываем журналы из списка ВАК, так как их вес в КБПР равен 0,12 балла, что не позволяет им заметно влиять на итоговую сумму КБПР при существующем распределении статей по категориям журналов.

Как же вычислить средний вклад вуза/НИИ в статью? Предположим, что за 2015 год организация набрала 1000 баллов КБПР, опубликовав 500 статей в ядре РИНЦ со средним импакт-фактором 2,5. Это означает, что 1 статья принесла данному заведению 1000/500 = 2 балла. Но полная стоимость статьи с таким импакт-фактором составляет 10 баллов (по формуле 4*2,5; получилось, что в среднем авторы публикуются в Q2). Следовательно, средняя доля организации в статьях составляет 2/10 = 20%.

Эмпирическая проверка показывает, что оценка хорошо работает для организаций естественнонаучного профиля, со средним импакт-фактором статей больше единицы. В случае общественного или гуманитарного профиля или при среднем импакт-факторе статей < 0,5 формула может завышать "коэффициент самостоятельности". При расчётах для единообразия результатов всюду применялся коэффициент 4, коррекция коэффициента (6 вместо 4) применялась только для ВШЭ, у которой заметно доминируют публикации по общественным и гуманитарным наукам.

Также РИНЦ предоставляет статистику распределения статей данной организации по числу соавторов, что позволяет найти среднее число соавторов в статье (статьи в мега-коллаборациях были исключены из рассмотрения). Умножая его на найденный выше коэффициент самостоятельности, мы получаем среднее число сотрудников из данной организации, участвующих в одной публикации. Если оно ниже единицы, например равно 0,5 или 0,33, значит в среднем в статье участвует один автор, который указывает 2 или 3 места работы соответственно.

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Часть 4б. Самостоятельность исследований и кооперация: вузы

Мы рассмотрели показатель "самостоятельности работ" вузов из проекта "5-100" за 2011-2019 годы по методике, описанной выше.

Дисклеймер: безусловно, вычисленная средняя доля организации в публикуемой статье — это грубая оценка. Ценность такого анализа представляет динамика показателя по годам и сравнение результатов различных организаций между собой. 2020 год был исключен из рассмотрения, так как далеко не все статьи 2020-го года выпуска были проиндексированы РИНЦ.

1. В 2011-2013 годах (до запуска проекта "5-100") вузы показывали разнонаправленную динамику, самостоятельность исследований была в диапазоне от 20% до почти 90%; в среднем динамика нулевая.

2. С запуском проекта "5-100" вклад всех вузов в публикуемые статьи начинает падать, уменьшаясь к 2018 году в 2-3 раза.

3. Среднее число сотрудников конкретного университета, участвующих в одной публикации, кратно снизилось. По нашей оценке, в 2011-2013 годах оно составляло в среднем 1,5 человека на статью (от 1,3 до 3), а к 2018 году упало до 0,65 человека; у ряда вузов этот показатель равен 0,5. Это означает, что в большинстве статей нет "целых" авторов из данного университета, а есть только указавшие его как одно из нескольких мест работы.

Строго говоря, в рамках данного подхода мы не можем различить, является это следствием реальной кооперации с другими исследовательскими центрами или покупки аффилиаций у российских или зарубежных учёных.

4. В качестве альтернативного примера были выбраны два лидирующих российских вуза, не участвовавших в проекте "5-100", — МГУ и СПбГУ, на графиках представлено их усреднённое поведение. Как видно, сильные тренды отсутствуют, "коэффициент самостоятельности работ" колебался вокруг 50%, к 2019 году он составил 46%. Среднее число авторов в статье изменилось незначительно, от 1,5 до 1,3-1,4 человек.

В целом видно, что усредненные показатели самостоятельности вузов проекта "5-100" совпадали с показателями МГУ/СПбГУ до 2013 года, но затем стали резко падать.

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Часть 4а. Самостоятельность исследований: институты РАН

Мы рассмотрели показатель "самостоятельности работ" вузов из проекта "5-100" за 2011-2019 годы по методике.

Дисклеймер: безусловно, вычисленная средняя доля организации в публикуемой статье — это грубая оценка. Ценность такого анализа представляет динамика показателя по годам и сравнение результатов различных организаций между собой.

1. Средний вклад институтов РАН в публикуемую статью практически не менялся с 2011 по 2019 годы, есть слабый тренд на снижение вклада (38% -> 33% за всё время).

2. Величина вклада для конкретного института зависит, прежде всего, от его специализации. Степень самостоятельности работ математических институтов составляет более 50%, большинства химических и физических — колеблется в диапазоне 30-40%, особняком стоит ФИАН с долей менее 20% (вероятно, из-за заметного участия в крупных проектах).

3. Среднее число сотрудников, участвующих в одной публикации от данного академического института колеблется от 1 до 1,8 человек (в зависимости от специализации), сильных общих трендов не выявлено. Общее число соавторов статьи также сильно зависит от научной специализации института: в математике это менее 2 человек, в естественных науках — 4-5 человек.

К дискуссии о числе грантов "в одни руки"
от подписчика

"Были в моей практике прецеденты, когда особо хитрые руководители РНФ фиксировали только число основных исполнителей, а остальных вводили-выводили хоть и не каждый месяц, но гораздо чаще нормального. Не выходя за рамки 10 человек. Ну а что - кандидатов и аспирантов в лаборатории/на кафедре много, проблем нет, а кормить надо всех.

Особенно хитрые (с бешеным числом статей) включали в состав основных исполнителей только одного человека. А остальных также вводили-выводили. С формулировкой "сотрудник выполнил возложенные на него обязательства", "в ходе реализации проекта возникла необходимость смены плана работы (привлечения специалиста с более высокими компетенциями)" и т.п. Вводим в состав коллектива на стадии заявки крутых исполнителей, потом в середине года — перед началом нового конкурса — выводим его из коллектива (меняя на сотрудника с меньшим числом публикаций, но с той же степенью) и от его имени подаем заявку на новый конкурс.

Ох, как было смешно смотреть на перечень приказов о смене состава коллектива! А сделать ничего нельзя, хотя и понимаешь, что происходит: руководитель подкармливает остальных сотрудников и готовит задел для следующего гранта. Навсегда запомнился один руководитель РНФ, который вводил в состав коллектива на пару месяцев людей с готовыми "на выход" статьями, чтобы зачесть их в индикаторы (он пообещал зачем-то более 20 статей за 3 года).

В итоге РФФИ и ввел правило, что состав коллектива можно изменять только один раз в год.

Это я к тому, что ученые-лидеры хакнут любые запреты — они еще с советских времен обучены таким административным фокусам, что глаза на лоб лезут. А всё по закону! И вы их этими формальными запретами не остановите. Да и руководство РНФ/РФФИ отлично ознакомлено с такой практикой и не препятствуют ей.

К сожалению, коллеги, ограничения по числу грантов лидеров-руководителей и "грантрайтеров", у которых есть большие и хоть сколько-нибудь активно работающие группы, не остановят".

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Как изменялся комплексный балл публикационной результативности (КБПР) у вузов проекта "5-100" в 2011-2019 годах. Этот показатель учитывает качество журнала, в котором публикуется статья, а также долю организации в этой статье.

Представлены графики для следующих университетов проекта "5-100":

Высшая школа экономики
Университет ИТМО
НИЯУ МИФИ
Томский государственный университет
МФТИ
НИТУ МИСиС
Новосибирский государственный университет

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Как изменялся комплексный балл публикационной результативности (КБПР) у институтов РАН в 2011-2019 годах. Этот показатель учитывает качество журнала, в котором публикуется статья, а также долю организации в этой статье.

Представлены графики для следующих институтов РАН:

Математический институт им. В.А. Стеклова РАН (Москва)
Институт математики им. С.Л. Соболева СО РАН (Новосибирск)
Физико-технический институт им. А.Ф. Иоффе РАН (Санкт-Петербург)
Физический институт им. П.Н. Лебедева РАН (Москва)
Институт прикладной физики РАН (Нижний Новгород)
Институт органической химии им. Н.Д. Зелинского РАН (Москва)
Институт катализа им. Г.К. Борескова СО РАН (Новосибирск)
Институт океанологии им. П.П. Ширшова РАН (Москва)
Институт цитологии и генетики СО РАН (Новосибирск)

Научный ландшафт 2012-2020: количество и качество

Совместный проект @trueresearch и @boilingmephi, который поможет лучше разобраться в устройстве научно-образовательного пространства.

Как изменялся комплексный балл публикационной результативности (КБПР) у вузов проекта "5-100" и институтов РАН в 2011-2019 годах; представлены усреднённые показатели.

Балл КБПР учитывает качество журнала, в котором публикуется статья, а также долю организации в этой статье. Для сравнения добавлены усредненные показатели МГУ и СПбГУ, все графики независимо нормированы на показатель КБПР 2011 года (это значение принято за единицу).

1) Видно, что старт проекта "5-100" не изменил темпов роста КБПР у вузов. Однако, в 2013-2014 года начался рост показателя у институтов РАН.

2) В 2016-2017 годах рост КБПР большинства вузов остановился, в то время как у институтов РАН сохраняется медленный положительный тренд.

3) МГУ и СПбГУ на рассматриваемом отрезке развивались стабильно, темпы совпадают со средними темпами развития РАН.

Редакция НОП спешит поприветствовать нового врио ректора МФТИ, тонкого любителя женской красоты Дмитрия Ливанова.

Другие итоги проекта "5-100"
о которых забыла сказать Счётная палата

Что произошло с наукой в сильнейших вузах проекта "5-100" за 2013-2019 годы:

- публикационная активность выросла в 2-3 раза;
- вклад в публикуемые статьи упал в 2,5 раза;
- рост реальной научной продуктивности вузов составил около 60% и прекратился к 2017 году;
- ведущие институты РАН, которые в проекте не участвовали, показали такой же рост продуктивности;
- вероятно, значительная часть увеличения публикационной активности вузов связана с покупкой аффилиаций ведущих российских и зарубежных учёных.

Подробности и аргументы — в следующем посте. Базовые данные были собраны в совместном проекте каналов Русский research и Кипящий МИФИ, здесь и далее я привожу свою интерпретацию цифр, которая может отличаться от интерпретации коллег.

Проект "0.5 - 0.33"
кто написал десятки тысяч статей

Недавно Счётная палата опубликовала анализ проекта "5-100", который многим показался поверхностным. В частности, аудиторы сделали вывод о качественном росте университетской науки и формировании вузов-лидеров. Одно из оснований — это, безусловно, увеличение числа публикуемых научных статей. Однако, попытка глубже разобраться в теме приводит к главному незаданному вопросу: каков реальный вклад вуза в конкретную научную работу?

Единственный наукометрический инструмент, который позволяет приблизиться к ответу, — это Комплексный балл публикационной результативности (КБПР, вычисляется РИНЦ, см. портал elibrary.ru). При его расчёте учитывается не только качество журналов, но и список соавторов с аффилиациями в каждой статье: конкретная организация получает "очки" пропорционально своему вкладу в работу. Таким образом, в отличие от общего числа статей, суммарный показатель КБПР даёт более адекватное представление о продуктивности вуза или научного института.

Что говорят графики КБПР? Самый быстрый рост продуктивности наблюдался ещё до старта проекта "5-100", то есть в 2011-2013 годах. Затем рост стал замедляться и остановился (у большинства вузов) в 2016-2017 годах, в некоторых случаях сменившись падением. Как это соотносится с ростом валового числа статей?

Ответ простой: средняя доля вузов в публикуемых статьях неуклонно снижалась, упав, по моим примерным оценкам, в 2,5 раза, от 45-50% до 20% и ниже. Коллеги из Кипящего МИФИ склонны расценивать это позитивно, как результат построения более широких научных коллабораций. Рад бы согласиться, но не могу: во-первых, видел своими глазами покупку аффилиаций активных учёных (перечисление вуза в списке мест работы = премия). Во-вторых, по тем же примерным оценкам, к 2018 году среднее число сотрудников университета 5-100, участвующих в публикации, упало до 2/3 человека, а в ряде случаев — до 1/2 человека. Это напрямую указывает, что в значительной части статей вуз представлен одним "сотрудником" с 2-3 местами работы.

Как воспринимать эти данные? И почему рост коллабораций исследователей самих с собой пришелся на момент поступления финансирования по проекту "5-100"? Для понимания полезно полистать списки наиболее цитируемых статей университетов за 2015-2016 годы и найти там немало учёных-многостаночников, трудящихся одновременно в двух вузах Западной Европы, саудовском Университете короля Абдул-Азиза и, положим, Томском государственном университете. Выводы довольно однозначные.

Показательно, что за период 2013-2019 гг. ведущие институты РАН, которых проект "5-100" не касался напрямую, увеличили продуктивность на те же 60%. Более того, академические институты сохранили темпы роста в 2017-2019 годах, когда рост продуктивности университетов уже остановился. В институтах РАН число соавторов и вклады в публикуемые работы остаются стабильными (1,2-1,4 соавтора, дающие вклад порядка 35%). Близкую динамику демонстрируют МГУ и СПбГУ.

Значит ли это, что университеты проекта "5-100" накачали деньгами, которые ушли на покупку аффилиаций в статьях весом 0.5 или 0.33 человека? По моим представлениям, это действительно так в значительной части случаев. Были профинансированы даже не сами ведущие вузы, а сильнейшие внешние коллективы и отдельные учёные, которые и без проекта "5-100" не были обделены вниманием. Вероятно, где-то это принесло пользу в виде научных работ аспирантов и студентов, но далеко не везде.

Исчерпывающую информацию о формальной приписке аффилиаций в статьях мог бы дать РИНЦ, опубликовав сведения об изменении среднего числа соавторов статьи от каждой организации. При желании можно было бы проследить и траекторию перетекания аффилиаций вслед за крупными проектами. Очевидно, что эти данные уже собраны, так они были необходимы для вычисления КБПР. Могу лишь догадываться, что их обнародование решили отложить, чтобы проект "5-100" не пришлось переименовывать в проект "0.5" или даже "0.33".

Пришло время защитить вузовскую науку, не всё же критиковать. На днях Незыгарь cообщил, что Балтийский федеральный университет платит за публикацию статьи в журнале "Biomolecules" издательства MDPI (1800 евро, оплата почему-то прошла через 3 дня после публикации). Поясню, как это надо понимать:

- издательство MDPI специализируется на платной и быстрой публикации статей нормального качества, с реальной рецензией, так что откровенного мусора в их журналах нет (почти нет);

- репутация у издательства соответствующая: конечно, это не Nature или Science, но при необходимости там печатаются вполне приличные учёные;

- если БФУ официально оплачивает сотрудникам такие расходы, то это скорее плюс, который говорит о нормальной работе бухгалтерии в вузе (вероятнее всего, источник средств — это грант, которым распоряжаются сами авторы);

- действительно, публикационная гонка иногда застаёт врасплох самые сильные группы, заставляя выбирать дорогие и срочные журналы.

К слову, вклад сотрудников БФУ в публикацию — почти 50% (судя по аффилиациям). Как показывает исследование проекта "5-100", реальный вклад университетов в публикуемые статьи планомерно падал все последние годы. БФУ — скорее исключение из этого правила. Продолжение исследования, посвящённое вузам второй волны проекта "5-100", ждите в следующих постах.

О новом эксперименте по финансированию НИР/НИОКР
от подписчика

Минфин выложил проект постановления Правительства РФ об эксперименте 2021-2022 года по финансированию научно-исследовательских, опытно-конструкторских и технологических работ. Подписчик делится своим взглядом на документ.

"1. В эксперименте принимают участие Минфин, Минобрнауки, Минпромторг, ФМБА и РАН.

2. Появятся три новых методики определения уровня готовности технологий — в дополнение к тем, что уже существуют (вместо их доработки). Измерения готовности становятся более расплывчатыми.

3. Создаются новые экспертные советы. Это ещё больше фрагментирует научную политику, так как уже существуют советы по приоритетным направлениям научно-технологического развития РФ.

4. Из перечня базовых уровней готовности технологий исчезли поисковые исследования, а на прикладные исследования выделено 2 уровня. В документе прикладные исследования и экспериментальные разработки противопоставлены опытно-промышленному производству и коммерциализации.

5. Предлагаются новые обязательные требования для субсидий по проведению прикладных научных исследований и экспериментальных разработок:

- наличие подтвержденного письменно интереса от других организаций или письменное подтверждение обеспечения трансфера результатов со стороны получателя субсидий. Вероятно, спустя 2-4 года у получателей субсидий проверят исполнение этих обещаний;

- обязательное привлечение внебюджетных средств: от 70% до 100% от размера субсидии, в зависимости от уровня готовности технологии;

- для всего, кроме исследований по госзаданию, введены требования по объему полученной выручки или по внедрению в производство технологий, либо по достижению заранее заявленного уровня готовности (выглядят оторванными от реальности).

Надо заметить, что выручка и внедрение — это барьеры для любой науки (российской и иностранной), которые редко преодолеваются. Таким образом, обозначенные обещания не будут выполняться в большой доли случаев, что может приводить к возврату субсидий и не оставляет исследователям права на ошибку.

6. В документе есть прямой запрет предоставления субсидий на выполнение государственного (муниципального) задания по проведению прикладных научных исследований и экспериментальных разработок. На мой взгляд, это будет уменьшать долю российских исследователей, умеющих проводить прикладные научные исследования и выполнять экспериментальные разработки. Остаётся надеяться, что такие исследователи откроют свое дело, а не покинут профессию.

Кстати, запрет не касается исследований и разработок в области общественных и гуманитарных наук. Полагаю, за этой справедливой ремаркой стоят широко известные университеты.

В целом научный мир относительно быстро адаптируется к обстоятельствам, и теперь будет выгоднее удерживать низкий уровень готовности технологий для ухода от дополнительных обязательств. Для некоторых отраслей Постановление может быть рабочим, если произойдет отраслевое перераспределение университетов и научных организаций (о котором много раз писала Научная Каторга), а их учредители смогут обеспечить тесную связь науки и бизнеса.

На мой взгляд, несмотря на благие цели, в Постановлении допущена череда опасных промахов: задачи внедрения, трансфера, коммерциализации и софинансирования возлагаются на ученых, хотя от них решение зависит в минимальной степени. Более того, они же будут нести и ответственность за решение этой задачи (по типовым условиям — вплоть до полного возврата субсидии).

Думаю, в текущем виде Постановление снизит комфорт сотрудничества науки и государства, а также предсказуемость работы в науке. Если целью эксперимента является простой мониторинг, то выбраны не самые лучшие методы. Достаточно было бы построить такое наблюдение на базе ЕГИСУ НИОКТР, не вызывая шок у неподготовленной публики. Хочется верить, что Минобрнауки сможет взвешенно отреагировать на проект Постановления".

сложные отношения