Насколько мы недооцениваем или переоцениваем свои публикации перед рецензированием?
Вышел препринт статьи о разнице восприятия своих статей авторами до и после рецензирования. Peer-review широко используется в научных исследованиях для контроля качества, но часто исследователи считают процесс рецензирования нуждающимся в улучшении. Авторы препринта смотрят на то, как соотносятся представления авторов о поданных ими работах с результатами процесса рецензирования.
Авторы провели опрос на конференции Neural Information Processing Systems (NeurIPS) 2021, которая является одной из ведущих конференцией в области машинного обучения. На конференцию было подано более 9 000 докладов от более чем 23 000 авторов. Традиционно на конференцию принимается 20-25% поданных докладов, а в 2021 году этот показатель составил 25,8%. Чтобы выяснить мнение исследователей о поданных ими работах и дальнейшем рецензировании, авторы препринта спросили у них следующее:
• какова прогнозируемая вероятность принятия каждой из их работ,
• предполагаемый рейтинг их собственных работ на основе научного вклада,
• как изменилось восприятие их собственных работ после просмотра рецензий.
Основные результаты опроса:
1️⃣ Авторы примерно в три раза переоценивают вероятность принятия их статей.
2️⃣ Авторы-женщины демонстрируют немного большую ошибку, чем авторы-мужчины; прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, калибруются примерно так же, но лучше, чем у авторов, которые не были приглашены для рецензирования.
3️⃣ Относительное ранжирование авторами научного вклада двух поданных ими материалов в целом согласуется (93%) с предсказанной ими вероятностью принятия, но есть заметные 7% ответов, где авторы считают, что их лучшая работа будет иметь худший результат с точки зрения успешного рецензирования.
4️⃣ Рейтинги, составляемые авторами, не совпадали с решениями рецензентов примерно в трети случаев; когда соавторы ранжировали свои работы, написанные совместно, они не совпадали с ними примерно в трети случаев.
5️⃣ Не менее 30% респондентов как принятых, так и отклоненных работ заявили, что после процесса рецензирования их восприятие собственной работы улучшилось.
Это интересные выводы, которые можно принять во внимание при определении своих ожиданий от рецензирования.
#обзор #рецензирование #журналы #конференции
Вышел препринт статьи о разнице восприятия своих статей авторами до и после рецензирования. Peer-review широко используется в научных исследованиях для контроля качества, но часто исследователи считают процесс рецензирования нуждающимся в улучшении. Авторы препринта смотрят на то, как соотносятся представления авторов о поданных ими работах с результатами процесса рецензирования.
Авторы провели опрос на конференции Neural Information Processing Systems (NeurIPS) 2021, которая является одной из ведущих конференцией в области машинного обучения. На конференцию было подано более 9 000 докладов от более чем 23 000 авторов. Традиционно на конференцию принимается 20-25% поданных докладов, а в 2021 году этот показатель составил 25,8%. Чтобы выяснить мнение исследователей о поданных ими работах и дальнейшем рецензировании, авторы препринта спросили у них следующее:
• какова прогнозируемая вероятность принятия каждой из их работ,
• предполагаемый рейтинг их собственных работ на основе научного вклада,
• как изменилось восприятие их собственных работ после просмотра рецензий.
Основные результаты опроса:
1️⃣ Авторы примерно в три раза переоценивают вероятность принятия их статей.
2️⃣ Авторы-женщины демонстрируют немного большую ошибку, чем авторы-мужчины; прогнозы авторов, приглашенных в качестве мета-рецензентов или рецензентов, калибруются примерно так же, но лучше, чем у авторов, которые не были приглашены для рецензирования.
3️⃣ Относительное ранжирование авторами научного вклада двух поданных ими материалов в целом согласуется (93%) с предсказанной ими вероятностью принятия, но есть заметные 7% ответов, где авторы считают, что их лучшая работа будет иметь худший результат с точки зрения успешного рецензирования.
4️⃣ Рейтинги, составляемые авторами, не совпадали с решениями рецензентов примерно в трети случаев; когда соавторы ранжировали свои работы, написанные совместно, они не совпадали с ними примерно в трети случаев.
5️⃣ Не менее 30% респондентов как принятых, так и отклоненных работ заявили, что после процесса рецензирования их восприятие собственной работы улучшилось.
Это интересные выводы, которые можно принять во внимание при определении своих ожиданий от рецензирования.
#обзор #рецензирование #журналы #конференции
Как рецензенты отбирают заявки для грантов в Европейском исследовательском совете
European Research Council предлагает гранты (1,5–2,5 миллиона евро) ученым, проводящим свои исследования в учреждениях ЕС на срок до 5 лет. В 2022 году годовой бюджет Европейского исследовательского совета составил 2 миллиарда евро. Интересно посмотреть на то, как отбирают заявки для финансирования. Чтобы ответить на этот вопрос, коллеги провели исследование (и опросили 22 члена комитета ERC), сфокусировавшись на грантах, предназначенных для отдельных исследователей на двух разных этапах карьеры: стартовый грант (2–7 лет после получения докторской степени) и грант-консолидатор (7–12 лет после получения докторской степени).
Всего 27 групп рецензентов по трем основным областям исследований, которыми занимается ERC: физические и инженерные науки, науки о жизни, социальные и гуманитарные науки. Каждая группа рецензентов состоит из 11–18 всемирно признанных ученых, которые решают, какие именно проекты должны получить финансирование.
Сам процесс рецензирования состоит из двух этапов. На первом этапе рецензенты оценивают резюме кандидатов, списки публикаций и краткую пятистраничную версию исследовательского проекта. На втором — получают полные версии исследовательских проектов, а также рассылают их профильным экспертам для дополнительной проверки, после чего проводятся собеседования с предварительно отобранными кандидатами и окончательно выбираются финалисты.
Основной вопрос исследования — как рецензенты принимают решения касательно заявок в условиях высокой конкуренции исследовательских проектов. В ходе первого этапа процесса оценки ERC рецензентам необходимо оценить большое количество высококачественных заявок за короткий период времени, часто не являясь специалистами в отдельных узкоспециализированных областях. Для того, чтобы это сделать, рецензенты регулярно используют четыре типа механизма оценки:
1️⃣ Количественные показатели предыдущих успехов: количество публикаций, импакт-факторы и показатели цитирования, а также активность участия в конференциях, ранее полученное финансирование, участие в исследовательских комитетах или международных исследованиях. Особенно распространена такая оценка среди рецензентов в области естественных наук.
❗️Некоторые рецензенты рассматривали кандидатов с меньшим количеством публикаций или в менее престижных журналах, если кандидаты были из стран Восточной или Южной Европы или небольших университетов, потому что те могли иметь ограниченный доступ к исследовательской инфраструктуре и международным исследовательским сетям.
2️⃣ Оценка проектов путем их сравнения друг с другом (а не индивидуальной оценки). «Неконкурентные» проекты исключаются сразу, если отсутствует четкий исследовательский вопрос, имеются вопросы к заявке с точки зрения содержания, или она не проходит по требованиям объема.
3️⃣ Оценка того, насколько достижимыми и выполнимыми являются цель и задачи проекта + насколько все элементы, связанные с проектом и исследованием, соотносятся между собой. Рецензенты оценивали общую организацию проекта (сроки, график мероприятий, сочетание рабочих планов и научных сотрудников).
❗️Некоторые рецензенты в области социальных наук подчеркивали важность публикаций, написанных без участия докторов наук и/или научных руководителей, а в области естественных наук ждали тем, отличных от тем научных руководителей. Также некоторые рецензенты предпочитали хорошо сформулированные и «безопасные» проекты с запасным планом на случай неудачи, в то время как другие поддержали более рискованные предложения.
4️⃣ Оценка возможного вклада исследования в науку и влияния на общество. Чтобы оценить, какой вклад предлагаемые проекты могут внести в существующие исследования, большинству рецензентов необходимо иметь соответствующие знания о предмете исследования, но такие знания есть не всегда.
Читать далее
#обзор #рецензирование #гранты
European Research Council предлагает гранты (1,5–2,5 миллиона евро) ученым, проводящим свои исследования в учреждениях ЕС на срок до 5 лет. В 2022 году годовой бюджет Европейского исследовательского совета составил 2 миллиарда евро. Интересно посмотреть на то, как отбирают заявки для финансирования. Чтобы ответить на этот вопрос, коллеги провели исследование (и опросили 22 члена комитета ERC), сфокусировавшись на грантах, предназначенных для отдельных исследователей на двух разных этапах карьеры: стартовый грант (2–7 лет после получения докторской степени) и грант-консолидатор (7–12 лет после получения докторской степени).
Всего 27 групп рецензентов по трем основным областям исследований, которыми занимается ERC: физические и инженерные науки, науки о жизни, социальные и гуманитарные науки. Каждая группа рецензентов состоит из 11–18 всемирно признанных ученых, которые решают, какие именно проекты должны получить финансирование.
Сам процесс рецензирования состоит из двух этапов. На первом этапе рецензенты оценивают резюме кандидатов, списки публикаций и краткую пятистраничную версию исследовательского проекта. На втором — получают полные версии исследовательских проектов, а также рассылают их профильным экспертам для дополнительной проверки, после чего проводятся собеседования с предварительно отобранными кандидатами и окончательно выбираются финалисты.
Основной вопрос исследования — как рецензенты принимают решения касательно заявок в условиях высокой конкуренции исследовательских проектов. В ходе первого этапа процесса оценки ERC рецензентам необходимо оценить большое количество высококачественных заявок за короткий период времени, часто не являясь специалистами в отдельных узкоспециализированных областях. Для того, чтобы это сделать, рецензенты регулярно используют четыре типа механизма оценки:
1️⃣ Количественные показатели предыдущих успехов: количество публикаций, импакт-факторы и показатели цитирования, а также активность участия в конференциях, ранее полученное финансирование, участие в исследовательских комитетах или международных исследованиях. Особенно распространена такая оценка среди рецензентов в области естественных наук.
❗️Некоторые рецензенты рассматривали кандидатов с меньшим количеством публикаций или в менее престижных журналах, если кандидаты были из стран Восточной или Южной Европы или небольших университетов, потому что те могли иметь ограниченный доступ к исследовательской инфраструктуре и международным исследовательским сетям.
2️⃣ Оценка проектов путем их сравнения друг с другом (а не индивидуальной оценки). «Неконкурентные» проекты исключаются сразу, если отсутствует четкий исследовательский вопрос, имеются вопросы к заявке с точки зрения содержания, или она не проходит по требованиям объема.
3️⃣ Оценка того, насколько достижимыми и выполнимыми являются цель и задачи проекта + насколько все элементы, связанные с проектом и исследованием, соотносятся между собой. Рецензенты оценивали общую организацию проекта (сроки, график мероприятий, сочетание рабочих планов и научных сотрудников).
❗️Некоторые рецензенты в области социальных наук подчеркивали важность публикаций, написанных без участия докторов наук и/или научных руководителей, а в области естественных наук ждали тем, отличных от тем научных руководителей. Также некоторые рецензенты предпочитали хорошо сформулированные и «безопасные» проекты с запасным планом на случай неудачи, в то время как другие поддержали более рискованные предложения.
4️⃣ Оценка возможного вклада исследования в науку и влияния на общество. Чтобы оценить, какой вклад предлагаемые проекты могут внести в существующие исследования, большинству рецензентов необходимо иметь соответствующие знания о предмете исследования, но такие знания есть не всегда.
Читать далее
#обзор #рецензирование #гранты
О гендерном балансе: эксперимент в рамках конкурса грантового финансирования
В нашем канале мы не раз обращались к проблеме представленности женщин в академии: отмечали гендерный дисбаланс в различных дисциплинах (в том числе и в России), а также фиксируемый разрыв в цитировании работ. Продолжая цикл постов в рамках данной темы, сегодня планируем поговорить о соблюдении гендерного баланса при принятии решений о грантовой поддержке научных исследований.
В недавней работе испанских авторов широко освещается вопрос гендерной предвзятости в контексте привлечения грантового финансирования. Исследователи обращают внимание, что результаты предыдущих работ в этой области дают весьма противоречивые результаты. Стремясь внести ясность, авторы прибегают к проведению полевого эксперимента на базе экспертной системы университетов Галисии (Galician University System). В его рамках их интересовали 2 ключевых вопроса:
1. Есть ли различия в оценках проектов, где руководителями выступали мужчины или же, напротив, женщины?
2. Предвзяты ли рецензенты в отношении заявок, где ключевыми исследователями выступают авторы одного с ними пола?
В ходе эксперимента рецензенты оценивали схожий по характеристикам набор заявок, при этом сведения о ключевом исполнителе проекта выступали вмешательством.
Полученные эмпирические результаты свидетельствуют скорее о том, что обе гипотезы об отсутствии гендерной предвзятости на имеющемся эмпирическом материале не отвергаются. Авторы лишь обращают внимание на определенные (и статистически незначимые) различия в оценке женщинами заявок, где ключевыми исследователями выступают мужчины-руководители при отсутствии схожего паттерна поведения у рецензентов мужского пола.
Исследовательские выводы дают надежду на то, что хотя бы в отдельных аспектах соблюдение гендерного баланса в академической сфере не должно быть существенной проблемой. Между тем как отмечают сами авторы исследования, результаты эксперимента довольно сложно обобщить на другие кейсы грантовых систем и потенциально на другие страны. Кроме того, отмеченный гендерный дисбаланс рассматривался именно с позиции преференций при оценке непосредственных заявок: женщин-руководителей грантовых заявок все еще несравнимо меньше, чем мужчин.
#обзор #рецензирование #гранты #женщины
В нашем канале мы не раз обращались к проблеме представленности женщин в академии: отмечали гендерный дисбаланс в различных дисциплинах (в том числе и в России), а также фиксируемый разрыв в цитировании работ. Продолжая цикл постов в рамках данной темы, сегодня планируем поговорить о соблюдении гендерного баланса при принятии решений о грантовой поддержке научных исследований.
В недавней работе испанских авторов широко освещается вопрос гендерной предвзятости в контексте привлечения грантового финансирования. Исследователи обращают внимание, что результаты предыдущих работ в этой области дают весьма противоречивые результаты. Стремясь внести ясность, авторы прибегают к проведению полевого эксперимента на базе экспертной системы университетов Галисии (Galician University System). В его рамках их интересовали 2 ключевых вопроса:
1. Есть ли различия в оценках проектов, где руководителями выступали мужчины или же, напротив, женщины?
2. Предвзяты ли рецензенты в отношении заявок, где ключевыми исследователями выступают авторы одного с ними пола?
В ходе эксперимента рецензенты оценивали схожий по характеристикам набор заявок, при этом сведения о ключевом исполнителе проекта выступали вмешательством.
Полученные эмпирические результаты свидетельствуют скорее о том, что обе гипотезы об отсутствии гендерной предвзятости на имеющемся эмпирическом материале не отвергаются. Авторы лишь обращают внимание на определенные (и статистически незначимые) различия в оценке женщинами заявок, где ключевыми исследователями выступают мужчины-руководители при отсутствии схожего паттерна поведения у рецензентов мужского пола.
Исследовательские выводы дают надежду на то, что хотя бы в отдельных аспектах соблюдение гендерного баланса в академической сфере не должно быть существенной проблемой. Между тем как отмечают сами авторы исследования, результаты эксперимента довольно сложно обобщить на другие кейсы грантовых систем и потенциально на другие страны. Кроме того, отмеченный гендерный дисбаланс рассматривался именно с позиции преференций при оценке непосредственных заявок: женщин-руководителей грантовых заявок все еще несравнимо меньше, чем мужчин.
#обзор #рецензирование #гранты #женщины
Внедрение стандартизированных рецензий
Марио Малички (Mario Malički), редактор Research Integrity and Peer Review, опубликовал результаты пилотного исследования внедрения практики стандартизированных рецензий в журналы издательства Elsevier.
По мнению автора, рецензенты редко комментируют одни и те же аспекты исследования, что затрудняет точность оценки качества исследований и ставит под сомнение объективность процесса рецензирования.
«Я получил 2 рецензии на статью, отправленную на рассмотрение в журнал; в одной было 3 комментария, в другой — 11. Отзывы отличались по всем пунктам, кроме одного. Замечания были даны в адрес проработки раздела “обсуждение” (discussion), а также некоторых методологических деталей. Постановка целей, анализ данных и слабые стороны исследования остались без внимания рецензентов», — пишет Малички.
Авторы, как правило, руководствуются двумя распространенными предположениями в отношении отзывов рецензентов: во-первых, все аспекты, которых не коснулись рецензенты, не подверглись критике; во-вторых, рецензенты обладали достаточными знаниями для всесторонней оценки исследования.
Однако, согласно ряду исследований, процесс рецензирования полон недостатков, которые связаны с неспособностью некоторых рецензентов обнаружить:
🔹 (значительные) методологические недостатки статьи;
🔹 неточности в интерпретации и обобщении результатов;
🔹 неправильное использование ссылок;
🔹 отсутствие данных, необходимых для повторного анализа или воспроизведения исследования;
🔹 отсутствие элементов, необходимых для оценки предвзятости или качества исследования.
По мнению автора, повысить качество экспертной оценки можно за счет внедрения стандартизированных отзывов на публикации, для чего журналы должны предоставлять рецензентам список вопросов, сосредоточенных на всех аспектах исследования, а также размещать на сайте журнала:
а) список вопросов для рецензентов (что позволит авторам использовать те же вопросы в качестве контрольного списка для анализа работы и повышения её качества);
б) развернутые отзывы рецензентов (что позволит читателям посмотреть как оценивалась статья, а исследователям даст возможность изучить практику рецензирования).
Стандартизированное рецензирование было апробировано в августе 2022 года в 220 журналах Elsevier. В рамках пилотного исследования было проанализировано примерно 10% выборки, а именно — 214 отзывов рецензентов на 107 статей из 23 случайно выбранных (вне зависимости от тематики и квартиля) журналов. Каждый отзыв состоял из ответов на 9 одинаковых вопросов и информации, оставленной в поле «Комментарии для автора», и в конфиденциальном поле «Комментарии для редактора». Ознакомиться с шаблоном вопросов можно по ссылке.
Абсолютное совпадение мнений относительно окончательных рекомендаций рецензента составило 41%, причем статистической разницы между научными областями или квартилями обнаружено не было, тогда как по последним данным Elsevier (на основе 7 220 243 рукописей, опубликованных с 2019 по 2021 год в 2416 журналах), рецензенты приняли одинаковые решения на первом этапе рецензирования всего в 30% случаев.
Более того, в ряде случаев комментарии рецензентов совпадали в отношении отдельных фрагментов работы. Согласно результатам исследования, самое высокое (частичное) согласие рецензентов (72%) было обнаружено при оценивании структуры статьи, а самое низкое (частичное) согласие (53%) — для оценивания подтверждения интерпретации результатов данными, а также для оценки уместности и достаточной детальности статистического анализа (52%).
Предварительные результаты показывают, что, руководствуясь одними и теми же вопросами, рецензенты давали идентичные первоначальные рекомендации насчет принятия/отклонения или доработки публикации. По мнению автора, отсутствие стандартизированных практик в рецензировании замедляет прогресс науки, а их внедрение поможет сделать отзывы более объективными, прозрачными и заслуживающими доверия.
#Elsevier #рецензирование #обзор
Марио Малички (Mario Malički), редактор Research Integrity and Peer Review, опубликовал результаты пилотного исследования внедрения практики стандартизированных рецензий в журналы издательства Elsevier.
По мнению автора, рецензенты редко комментируют одни и те же аспекты исследования, что затрудняет точность оценки качества исследований и ставит под сомнение объективность процесса рецензирования.
«Я получил 2 рецензии на статью, отправленную на рассмотрение в журнал; в одной было 3 комментария, в другой — 11. Отзывы отличались по всем пунктам, кроме одного. Замечания были даны в адрес проработки раздела “обсуждение” (discussion), а также некоторых методологических деталей. Постановка целей, анализ данных и слабые стороны исследования остались без внимания рецензентов», — пишет Малички.
Авторы, как правило, руководствуются двумя распространенными предположениями в отношении отзывов рецензентов: во-первых, все аспекты, которых не коснулись рецензенты, не подверглись критике; во-вторых, рецензенты обладали достаточными знаниями для всесторонней оценки исследования.
Однако, согласно ряду исследований, процесс рецензирования полон недостатков, которые связаны с неспособностью некоторых рецензентов обнаружить:
🔹 (значительные) методологические недостатки статьи;
🔹 неточности в интерпретации и обобщении результатов;
🔹 неправильное использование ссылок;
🔹 отсутствие данных, необходимых для повторного анализа или воспроизведения исследования;
🔹 отсутствие элементов, необходимых для оценки предвзятости или качества исследования.
По мнению автора, повысить качество экспертной оценки можно за счет внедрения стандартизированных отзывов на публикации, для чего журналы должны предоставлять рецензентам список вопросов, сосредоточенных на всех аспектах исследования, а также размещать на сайте журнала:
а) список вопросов для рецензентов (что позволит авторам использовать те же вопросы в качестве контрольного списка для анализа работы и повышения её качества);
б) развернутые отзывы рецензентов (что позволит читателям посмотреть как оценивалась статья, а исследователям даст возможность изучить практику рецензирования).
Стандартизированное рецензирование было апробировано в августе 2022 года в 220 журналах Elsevier. В рамках пилотного исследования было проанализировано примерно 10% выборки, а именно — 214 отзывов рецензентов на 107 статей из 23 случайно выбранных (вне зависимости от тематики и квартиля) журналов. Каждый отзыв состоял из ответов на 9 одинаковых вопросов и информации, оставленной в поле «Комментарии для автора», и в конфиденциальном поле «Комментарии для редактора». Ознакомиться с шаблоном вопросов можно по ссылке.
Абсолютное совпадение мнений относительно окончательных рекомендаций рецензента составило 41%, причем статистической разницы между научными областями или квартилями обнаружено не было, тогда как по последним данным Elsevier (на основе 7 220 243 рукописей, опубликованных с 2019 по 2021 год в 2416 журналах), рецензенты приняли одинаковые решения на первом этапе рецензирования всего в 30% случаев.
Более того, в ряде случаев комментарии рецензентов совпадали в отношении отдельных фрагментов работы. Согласно результатам исследования, самое высокое (частичное) согласие рецензентов (72%) было обнаружено при оценивании структуры статьи, а самое низкое (частичное) согласие (53%) — для оценивания подтверждения интерпретации результатов данными, а также для оценки уместности и достаточной детальности статистического анализа (52%).
Предварительные результаты показывают, что, руководствуясь одними и теми же вопросами, рецензенты давали идентичные первоначальные рекомендации насчет принятия/отклонения или доработки публикации. По мнению автора, отсутствие стандартизированных практик в рецензировании замедляет прогресс науки, а их внедрение поможет сделать отзывы более объективными, прозрачными и заслуживающими доверия.
#Elsevier #рецензирование #обзор