Можно ли быть признанным, но нецитируемым?
«Можно ли быть признанным, но нецитируемым? Сравнение опросных и наукометрических оценок репутаций в социальных науках» — с таким докладом выступил вчера Михаил Соколов (научный руководитель Центра институционального анализа науки и образования ЕУСПб) на 192-м заседании Московского семинара по науковедению и наукометрии.
Цитирование — это не всегда голос за качество работы, это может быть возвращение интеллектуального долга, политический акт и т.п. Поэтому оценивание научного вклада только на основе метрик не всегда точно. Всегда есть вероятность признать несуществующие заслуги ученого и не признать реальные.
Автор выделил 3 основные проблемы при использовании метрик:
1. Проблема валидности: неясно, как соотносятся полученные и ожидаемые цитирования, и их признание/влияние. В разных дисциплинах цитируют по-разному .
2. Проблема покрытия: языковые зоны (неанглоязычная наука лишь частично попадает в зону видимости основных цитатных баз) и разнообразие жанров (статьи в журналах цитируются лучше, чем диссертации, тезисы конференции и другие жанры).
3. Проблема реактивности (цитирование превращается в валюту) и отрицательного набора (чем менее этично ведут себя ученые при цитировании, тем лучше они цитируются).
ЦИАНО провел исследование, базируясь на репутационных опросах о том, кто внес самый значимый вклад в науку/отрасль. На основе данных опроса и наукометрии можно сделать выводы о реальном положении дел в науке. В выборку для опроса попали те, кто за последние 5 лет опубликовали минимум 3 статьи в РИНЦ (социологи, экономисты, политологи) и были зарегистрированы в Elibrary. Около 25% исследователей из выборки поучаствовали в опросе. Основные вопросы, которые задавали респондентам были следующие: кто сделал важный вклад в свою область исследования и в науку в целом, кого добавить в экспертное жюри по специальности? Полученные результаты складывали в общий репутационный рейтинг и сравнили с общими показателями метрик: elibrary, ядро РИНЦ и RSCI. В качестве иллюстрации приводим таблицу соотношения данных из опроса с данными из elibrary, ядра РИНЦ и RSCI (например, 6 человек, которые вошли в ТОП-20 elibrary, вошли в ТОП-20 в рамках обобщенного репутационного рейтинга).
При сопоставлении результатов рейтингов цитируемости и опроса наименьшие расхождения выявлены при сравнении ведущих ученых по цитированиям в журналах RSCI, тогда как на вершине рейтинга по цитируемости в ядре РИНЦ в целом немало исследователей, редко упоминаемых экспертами. Авторы при этом отмечают, что на ошибки в сопоставлении результатов рейтингов и опросов влияли: дисциплинарные границы, ошибочная атрибуция, соавторство и коллективные монографии, национальность, жанры публикации и цитатные базы, манипуляции, границы между наукой и практикой.
О подобных результатах в социологии можно почитать в исследовании «Академические репутации в российской социологии».
#обзор #доклад #цитирование #россия
«Можно ли быть признанным, но нецитируемым? Сравнение опросных и наукометрических оценок репутаций в социальных науках» — с таким докладом выступил вчера Михаил Соколов (научный руководитель Центра институционального анализа науки и образования ЕУСПб) на 192-м заседании Московского семинара по науковедению и наукометрии.
Цитирование — это не всегда голос за качество работы, это может быть возвращение интеллектуального долга, политический акт и т.п. Поэтому оценивание научного вклада только на основе метрик не всегда точно. Всегда есть вероятность признать несуществующие заслуги ученого и не признать реальные.
Автор выделил 3 основные проблемы при использовании метрик:
1. Проблема валидности: неясно, как соотносятся полученные и ожидаемые цитирования, и их признание/влияние. В разных дисциплинах цитируют по-разному .
2. Проблема покрытия: языковые зоны (неанглоязычная наука лишь частично попадает в зону видимости основных цитатных баз) и разнообразие жанров (статьи в журналах цитируются лучше, чем диссертации, тезисы конференции и другие жанры).
3. Проблема реактивности (цитирование превращается в валюту) и отрицательного набора (чем менее этично ведут себя ученые при цитировании, тем лучше они цитируются).
ЦИАНО провел исследование, базируясь на репутационных опросах о том, кто внес самый значимый вклад в науку/отрасль. На основе данных опроса и наукометрии можно сделать выводы о реальном положении дел в науке. В выборку для опроса попали те, кто за последние 5 лет опубликовали минимум 3 статьи в РИНЦ (социологи, экономисты, политологи) и были зарегистрированы в Elibrary. Около 25% исследователей из выборки поучаствовали в опросе. Основные вопросы, которые задавали респондентам были следующие: кто сделал важный вклад в свою область исследования и в науку в целом, кого добавить в экспертное жюри по специальности? Полученные результаты складывали в общий репутационный рейтинг и сравнили с общими показателями метрик: elibrary, ядро РИНЦ и RSCI. В качестве иллюстрации приводим таблицу соотношения данных из опроса с данными из elibrary, ядра РИНЦ и RSCI (например, 6 человек, которые вошли в ТОП-20 elibrary, вошли в ТОП-20 в рамках обобщенного репутационного рейтинга).
При сопоставлении результатов рейтингов цитируемости и опроса наименьшие расхождения выявлены при сравнении ведущих ученых по цитированиям в журналах RSCI, тогда как на вершине рейтинга по цитируемости в ядре РИНЦ в целом немало исследователей, редко упоминаемых экспертами. Авторы при этом отмечают, что на ошибки в сопоставлении результатов рейтингов и опросов влияли: дисциплинарные границы, ошибочная атрибуция, соавторство и коллективные монографии, национальность, жанры публикации и цитатные базы, манипуляции, границы между наукой и практикой.
О подобных результатах в социологии можно почитать в исследовании «Академические репутации в российской социологии».
#обзор #доклад #цитирование #россия
Соавторство в современных исследованиях
Журнальные статьи с большим количеством авторов, как правило, чаще цитируются. Тем не менее, степень, в которой соавторство является преимуществом, варьируется в зависимости от областей исследования и стран.
Авторами было проанализировано 88 миллионов статей с 1900 по 2020 год. Международное соавторство в WoS увеличилось с 10% до 25% (1990-2011). При этом в области искусства и гуманитарных наук преобладали индивидуальные исследования, а в 2000 году соло-статьи составляли около половины всех статей по общественным наукам, тогда как групповые публикации были нормой в областях STEM. Подробнее про методы анализа и ход исследования читайте в самой статье.
Соавторство возникает по крайней мере по двум причинам: между аспирантами и научными руководителями или для того, чтобы закрыть потребность в крупномасштабных исследованиях. Существует множество способов участия в исследовательских проектах, но не все из них можно считать за соавторство. Например, незначительный вклад в проект может не рассматриваться как совместная работа; в то время как авторство можно получить в дар; руководители групп могут быть указаны в качестве последних авторов без конкретного вклада в исследование и т.д.
CRediT (Contributor Roles Taxonomy) перечисляет 14 авторских ролей: концептуализация; сбор данных; формальный анализ; получение финансирования; исследование; методология; администрирование проекта; поиск и подготовка материалов для исследования; программное обеспечение; руководство проектом; проверка результатов; визуализация; написание текста — первоначальный вариант; написание текста — рецензирование и редактирование. Из этого списка можно сделать вывод, что любой из этих видов вклада, если он достаточно существенен, может квалифицировать человека как соавтора. Однако в других руководствах содержатся более строгие требования.
К 2020 году в большинстве широких предметных областей Scopus в среднем было не менее четырех авторов на статью (включая все междисциплинарные и широкие области естественных наук, энергетики и химической инженерии, а также все науки о жизни и здоровье). В гуманитарных науках приходилось менее 3,5 авторов на статью. За весь период исследования (1900-2020) показатель соавторства увеличился во всех 332 узких областях Scopus. В гуманитарных и социальных науках индивидуальное авторство по-прежнему является нормой (среднее количество авторов во многих случаях ниже 1,4).
Соавторство является неотъемлемой частью современной науки, поэтому руководителям и менеджерам можно посоветовать привлекать финансирование на развитие исследовательских групп, стимулировать общение между потенциальными авторами и формировать более крупные исследовательские группы.
#обзор #scopus #цитирование #соавторство
Журнальные статьи с большим количеством авторов, как правило, чаще цитируются. Тем не менее, степень, в которой соавторство является преимуществом, варьируется в зависимости от областей исследования и стран.
Авторами было проанализировано 88 миллионов статей с 1900 по 2020 год. Международное соавторство в WoS увеличилось с 10% до 25% (1990-2011). При этом в области искусства и гуманитарных наук преобладали индивидуальные исследования, а в 2000 году соло-статьи составляли около половины всех статей по общественным наукам, тогда как групповые публикации были нормой в областях STEM. Подробнее про методы анализа и ход исследования читайте в самой статье.
Соавторство возникает по крайней мере по двум причинам: между аспирантами и научными руководителями или для того, чтобы закрыть потребность в крупномасштабных исследованиях. Существует множество способов участия в исследовательских проектах, но не все из них можно считать за соавторство. Например, незначительный вклад в проект может не рассматриваться как совместная работа; в то время как авторство можно получить в дар; руководители групп могут быть указаны в качестве последних авторов без конкретного вклада в исследование и т.д.
CRediT (Contributor Roles Taxonomy) перечисляет 14 авторских ролей: концептуализация; сбор данных; формальный анализ; получение финансирования; исследование; методология; администрирование проекта; поиск и подготовка материалов для исследования; программное обеспечение; руководство проектом; проверка результатов; визуализация; написание текста — первоначальный вариант; написание текста — рецензирование и редактирование. Из этого списка можно сделать вывод, что любой из этих видов вклада, если он достаточно существенен, может квалифицировать человека как соавтора. Однако в других руководствах содержатся более строгие требования.
К 2020 году в большинстве широких предметных областей Scopus в среднем было не менее четырех авторов на статью (включая все междисциплинарные и широкие области естественных наук, энергетики и химической инженерии, а также все науки о жизни и здоровье). В гуманитарных науках приходилось менее 3,5 авторов на статью. За весь период исследования (1900-2020) показатель соавторства увеличился во всех 332 узких областях Scopus. В гуманитарных и социальных науках индивидуальное авторство по-прежнему является нормой (среднее количество авторов во многих случаях ниже 1,4).
Соавторство является неотъемлемой частью современной науки, поэтому руководителям и менеджерам можно посоветовать привлекать финансирование на развитие исследовательских групп, стимулировать общение между потенциальными авторами и формировать более крупные исследовательские группы.
#обзор #scopus #цитирование #соавторство
Научное влияние или личная выгода: зачем цитируют?
Недавно вышла статья «Как статус исследовательских работ влияет на то, как их читают и цитируют», основанная на опросе ряда авторов, для того чтобы оценить, насколько содержательно повлияли на их исследования ссылки и цитирования из других работ. Данные были собраны в 2018 году с помощью персонализированного опроса Qualtrics среди случайно выбранных авторов статей, опубликованных в 2015 году в WOS. Были получены заполненные анкеты от 9380 респондентов, предоставивших данные по 17 154 ссылкам в 15 предметных областях. Про методы анализа данных подробнее в самой статье.
Основные выводы статьи:
• Более половины ссылок на научные статьи отражают незначительное или полное отсутствие научного влияния на цитирующих их авторов.
• Цитирование уже высоко цитируемых работ в 2-3 раза чаще отражает существенное научное влияние.
• Цитирование изменяет восприятие качества: при низком количестве цитирований статьи кажутся менее качественными. Такие статьи читаются более поверхностно и обнаруживаются на более поздних этапах работы над статьей.
Некоторые исследователи ищут статьи для поддержки какого-то конкретного аргумента в своей собственной работе, другие —те, из которых можно почерпнуть идеи, которые повлияют на их текущую или будущую работу. Авторы утверждают, что первых цитирований и ссылок сравнительно больше. Например, иногда ссылка на признанного эксперта в определенной области используется для легитимации вклада самого цитирующего.
Действительно, ссылки имеют ряд функций, а их авторы — массу мотивов, и смешивать их в одном показателе может казаться грубым упрощением. О том, какую можно выделить типологию цитирований с точки зрения содержательных мотивов, мы написали в нашем руководстве.
#обзор #цитирование #руководство
Недавно вышла статья «Как статус исследовательских работ влияет на то, как их читают и цитируют», основанная на опросе ряда авторов, для того чтобы оценить, насколько содержательно повлияли на их исследования ссылки и цитирования из других работ. Данные были собраны в 2018 году с помощью персонализированного опроса Qualtrics среди случайно выбранных авторов статей, опубликованных в 2015 году в WOS. Были получены заполненные анкеты от 9380 респондентов, предоставивших данные по 17 154 ссылкам в 15 предметных областях. Про методы анализа данных подробнее в самой статье.
Основные выводы статьи:
• Более половины ссылок на научные статьи отражают незначительное или полное отсутствие научного влияния на цитирующих их авторов.
• Цитирование уже высоко цитируемых работ в 2-3 раза чаще отражает существенное научное влияние.
• Цитирование изменяет восприятие качества: при низком количестве цитирований статьи кажутся менее качественными. Такие статьи читаются более поверхностно и обнаруживаются на более поздних этапах работы над статьей.
Некоторые исследователи ищут статьи для поддержки какого-то конкретного аргумента в своей собственной работе, другие —те, из которых можно почерпнуть идеи, которые повлияют на их текущую или будущую работу. Авторы утверждают, что первых цитирований и ссылок сравнительно больше. Например, иногда ссылка на признанного эксперта в определенной области используется для легитимации вклада самого цитирующего.
Действительно, ссылки имеют ряд функций, а их авторы — массу мотивов, и смешивать их в одном показателе может казаться грубым упрощением. О том, какую можно выделить типологию цитирований с точки зрения содержательных мотивов, мы написали в нашем руководстве.
#обзор #цитирование #руководство
Так ли хороши инструменты по рекомендациям цитирований?
Резюмируем заметку, посвященную обзору последних научных работ по теме автоматических рекомендаций.
Для облегчения учета и сбора цитирований были разработаны такие инструменты, как Mendeley, Zotero и EndNote. Вслед за этим появились инструменты составления карт литературы, помогающие в поиске литературы, такие как LitMaps, Citation Gecko, Inciteful и Connected Papers. Эти инструменты работают на основе алгоритмов совместного цитирования и библиографической связи. Совсем недавно были разработаны инструменты по рекомендациям цитирования, такие как Citeomatic и Specter. Эти инструменты призваны помочь авторам цитировать литературу на этапе написания своего исследовательского проекта. Принцип работы таких сервисов строится на том, что они находят подходящую литературу на основе ввода фрагмента текста, а затем подбирают соответствующие цитаты.
При этом чаще всего, используя программу, которая автоматически выбирает литературу для поддержки тезисов исследования, авторы не читают и даже не просматривают документы, которые они находят. И ни редакция, ни рецензенты обычно не проверяют публикации на точность и достоверность цитирований, полагаясь полностью на добросовестность автора.
Таким образом, среди основных минусов использования таких программ:
1. Ленивое цитирование: если для поиска релевантной литературы используется фрагмент текста, то алгоритм будет стремиться найти лишь ту литературу, которая подтверждает авторские слова.
2. Предвзятость утверждения: алгоритмы подтверждают тезисы авторов, игнорируют противоречивую литературу и фокусируются на аналогичных исследованиях в определенной области или сообществе. То есть заведомо усиливают существующие предубеждения относительно темы исследования.
3. Новый эффект Матфея: алгоритмы этих инструментов основаны на текущей и прошлой практике цитирования и выдают наиболее «популярные» результаты, а не наиболее релевантные или точные.
4. Отсутствие прозрачности: существует риск того, что хорошо обеспеченные ресурсами издатели, журналы и частные лица используют алгоритм, чтобы привлечь внимание к своим собственным статьям.
Несмотря на привлекательность и удобство инструментов рекомендаций по цитированию, авторам следует проявлять осторожность при их использовании. Поиск литературы перед разработкой научного проекта является частью исследовательского процесса, а попытка найти цитаты для поддержки утверждений и выводов уже готового исследовательского проекта говорит о небрежности и, в отдельных случаях, о недобросовестности исследователя. Такая практика перекладывает бремя проверки достоверности литературного обзора на читателя.
#цитирование #инструменты #статьи #обзор
Резюмируем заметку, посвященную обзору последних научных работ по теме автоматических рекомендаций.
Для облегчения учета и сбора цитирований были разработаны такие инструменты, как Mendeley, Zotero и EndNote. Вслед за этим появились инструменты составления карт литературы, помогающие в поиске литературы, такие как LitMaps, Citation Gecko, Inciteful и Connected Papers. Эти инструменты работают на основе алгоритмов совместного цитирования и библиографической связи. Совсем недавно были разработаны инструменты по рекомендациям цитирования, такие как Citeomatic и Specter. Эти инструменты призваны помочь авторам цитировать литературу на этапе написания своего исследовательского проекта. Принцип работы таких сервисов строится на том, что они находят подходящую литературу на основе ввода фрагмента текста, а затем подбирают соответствующие цитаты.
При этом чаще всего, используя программу, которая автоматически выбирает литературу для поддержки тезисов исследования, авторы не читают и даже не просматривают документы, которые они находят. И ни редакция, ни рецензенты обычно не проверяют публикации на точность и достоверность цитирований, полагаясь полностью на добросовестность автора.
Таким образом, среди основных минусов использования таких программ:
1. Ленивое цитирование: если для поиска релевантной литературы используется фрагмент текста, то алгоритм будет стремиться найти лишь ту литературу, которая подтверждает авторские слова.
2. Предвзятость утверждения: алгоритмы подтверждают тезисы авторов, игнорируют противоречивую литературу и фокусируются на аналогичных исследованиях в определенной области или сообществе. То есть заведомо усиливают существующие предубеждения относительно темы исследования.
3. Новый эффект Матфея: алгоритмы этих инструментов основаны на текущей и прошлой практике цитирования и выдают наиболее «популярные» результаты, а не наиболее релевантные или точные.
4. Отсутствие прозрачности: существует риск того, что хорошо обеспеченные ресурсами издатели, журналы и частные лица используют алгоритм, чтобы привлечь внимание к своим собственным статьям.
Несмотря на привлекательность и удобство инструментов рекомендаций по цитированию, авторам следует проявлять осторожность при их использовании. Поиск литературы перед разработкой научного проекта является частью исследовательского процесса, а попытка найти цитаты для поддержки утверждений и выводов уже готового исследовательского проекта говорит о небрежности и, в отдельных случаях, о недобросовестности исследователя. Такая практика перекладывает бремя проверки достоверности литературного обзора на читателя.
#цитирование #инструменты #статьи #обзор
The Bibliomagician
Use with caution! How automated citation recommendation tools may distort science
Rachel Miles summarizes a recently published journal article that cautions researchers on the use of automated citation recommendation tools, which are designed to help academic authors cite litera…
Так ли хороши стандартные сетевые показатели для ранжирования журналов?
Журнальные рейтинги, основанные на сетевых методах ранжирования, сильно отличаются от тех, что основаны на данных цитирования. Про сетевые методы можно почитать в нашем руководстве. Коллеги провели исследование (корректность полученных данных все еще в процессе обсуждения научным сообществом) на базе PageRank и показали, что стандартный подход к сетевому моделированию данных о цитировании на уровне журналов (т.е. проекция цитирования статей на журналы) вводит «фиктивные отношения» между журналами. Авторы использовали для анализа MEDLINE, крупнейший набор библиометрических данных в области медицинских наук с открытым доступом.
Импакт-фактор и h-индекс являются одними из наиболее широко используемых показателей для оценки журналов. Эти показатели являются локальными в том смысле, что они основаны на количестве ссылок, полученных конкретной статьей, автором или журналом за определенный период. С использованием данных о цитировании и сетевого анализа были разработаны более сложные показатели: Eigenfactor и SCImago Journal Rank. Эти показатели опираются на нелокальную информацию, тем самым придавая больший вес ссылкам на хорошо цитируемые статьи.
Основные проблемы при использовании цитирования для наукометрического анализа заключаются в том, что практика цитирования в научных областях разная, и публикации все чаще пишутся несколькими соавторами, а соавторство и количество цитирований взаимосвязаны. Плюс ко всему редакторские предубеждения связаны с социальными факторами (предыдущее соавторство/вознаграждение за цитирование и т.д.). Основная проблема при использовании сетевого анализа — важность правильного соотнесения единицы и цели анализа с соответствующим сетевым представлением. Это справедливо и в том случае, когда сетевые показатели применяются для ранжирования журналов по цитируемости статей.
Сосредоточив внимание на мерах влияния журналов, авторы показали, как наивное сочетание этих методов может привести к ошибочным или даже неверным результатам. В частности, авторы утверждают, что стандартная проекция цитирования статей на журналы может привести к появлению несуществующих связей, так называемому «фиктивному влиянию».
Такое «фиктивное влияние» не является безобидным эффектом при составлении рейтингов журналов. Результаты анализа данных о цитировании из MEDLINE показывают, что даже несмотря на то, что одни и те же журналы входят в верхние строчки рейтингов, они занимают разные позиции при использовании различных подходов ранжирования. В целом, результаты исследования показывают, что «фиктивное влияние» существенно влияет на надежность PageRank как способа ранжирования журналов.
Предложение коллег сводиться к тому, чтобы не концентрироваться на отдельных ссылках на цитаты, а рассматривать последовательные ссылки между статьями для получения путей цитирования.
Также чтобы преодолеть проблему «фиктивного влияния», возможным решением являются сети более высокого порядка. Однако разработка адекватных наукометрических показателей — очень сложная задача. Например, Лейденский манифест предлагает искать баланс между сложностью индикаторов и прозрачностью их расчетов. Использование известных сетевых мер может повысить их прозрачность; в то же время дополнительная сложность сетей высшего порядка может замаскировать их смысл. Следовательно, жизнеспособность этих методов будет зависеть от предполагаемого использования.
#обзор #журналы #цитирование #сетевойанализ
Журнальные рейтинги, основанные на сетевых методах ранжирования, сильно отличаются от тех, что основаны на данных цитирования. Про сетевые методы можно почитать в нашем руководстве. Коллеги провели исследование (корректность полученных данных все еще в процессе обсуждения научным сообществом) на базе PageRank и показали, что стандартный подход к сетевому моделированию данных о цитировании на уровне журналов (т.е. проекция цитирования статей на журналы) вводит «фиктивные отношения» между журналами. Авторы использовали для анализа MEDLINE, крупнейший набор библиометрических данных в области медицинских наук с открытым доступом.
Импакт-фактор и h-индекс являются одними из наиболее широко используемых показателей для оценки журналов. Эти показатели являются локальными в том смысле, что они основаны на количестве ссылок, полученных конкретной статьей, автором или журналом за определенный период. С использованием данных о цитировании и сетевого анализа были разработаны более сложные показатели: Eigenfactor и SCImago Journal Rank. Эти показатели опираются на нелокальную информацию, тем самым придавая больший вес ссылкам на хорошо цитируемые статьи.
Основные проблемы при использовании цитирования для наукометрического анализа заключаются в том, что практика цитирования в научных областях разная, и публикации все чаще пишутся несколькими соавторами, а соавторство и количество цитирований взаимосвязаны. Плюс ко всему редакторские предубеждения связаны с социальными факторами (предыдущее соавторство/вознаграждение за цитирование и т.д.). Основная проблема при использовании сетевого анализа — важность правильного соотнесения единицы и цели анализа с соответствующим сетевым представлением. Это справедливо и в том случае, когда сетевые показатели применяются для ранжирования журналов по цитируемости статей.
Сосредоточив внимание на мерах влияния журналов, авторы показали, как наивное сочетание этих методов может привести к ошибочным или даже неверным результатам. В частности, авторы утверждают, что стандартная проекция цитирования статей на журналы может привести к появлению несуществующих связей, так называемому «фиктивному влиянию».
Такое «фиктивное влияние» не является безобидным эффектом при составлении рейтингов журналов. Результаты анализа данных о цитировании из MEDLINE показывают, что даже несмотря на то, что одни и те же журналы входят в верхние строчки рейтингов, они занимают разные позиции при использовании различных подходов ранжирования. В целом, результаты исследования показывают, что «фиктивное влияние» существенно влияет на надежность PageRank как способа ранжирования журналов.
Предложение коллег сводиться к тому, чтобы не концентрироваться на отдельных ссылках на цитаты, а рассматривать последовательные ссылки между статьями для получения путей цитирования.
Также чтобы преодолеть проблему «фиктивного влияния», возможным решением являются сети более высокого порядка. Однако разработка адекватных наукометрических показателей — очень сложная задача. Например, Лейденский манифест предлагает искать баланс между сложностью индикаторов и прозрачностью их расчетов. Использование известных сетевых мер может повысить их прозрачность; в то же время дополнительная сложность сетей высшего порядка может замаскировать их смысл. Следовательно, жизнеспособность этих методов будет зависеть от предполагаемого использования.
#обзор #журналы #цитирование #сетевойанализ
Влияние топовых ученых на научную новизну, или как независимые исследователи создают научные инновации
Степень доверия к наиболее успешным ученым высока, собственно, как и ценность их наставничества для молодых ученых. Как правило, вторые, сотрудничающие с ведущими учеными на ранних этапах своей карьеры, имеют больше шансов быть процитированными и в дальнейшем. Но встает вопрос о том, насколько инновационны совместные работы топовых ученых и молодых ученых.
Чтобы исследовать влияние топовых ученых (топ-1% по индексу Хирша) на академическую продуктивность и инновации, коллеги проанализировали корпус работ Американского физического общества (среди авторов, впервые опубликовавших свои работы в 1970 году или позже). Выяснили, что те, кто сотрудничает с топовыми учеными и цитирует их, чаще публикуются и цитируются сами, а также создают более разнообразные по содержанию работы. Тем не менее их работы не более инновационны, чем работы остальных ученых (тех, кто не пишет в соавторстве с топами), а если исключить работы, написанные в соавторстве с топ-учеными, то количество публикаций и цитирований вовсе не отличается от остальных работ коллег.
Исследователи выяснили, что работам топовых ученых присуща высокая новизна, они вдохновляют своих последователей и соавторов, при этом сдерживая их инновационный потенциал. Молодые исследователи, которые создают инновационный контент без преимущества раннего сотрудничества с топовыми учеными, продолжают создавать такой контент на протяжении всей своей карьеры. А те исследователи, которые сильно вдохновляются работой с топовым учеными, не привносят достаточно новизны в коллективную работу в дальнейшем.
Также обнаружили здесь и эффект Матфея: ученые, часто цитирующие топов, получают большее количество цитирований при сотрудничестве с топом, чем без него. Хотя сотрудничество с успешными учеными может стимулировать карьерный рост, такие коллаборации могут подавлять инновационные идеи и не являются лучшим показателем долгосрочного успеха независимой карьеры.
Из выводов коллег: исследователи, которые оказываются под наименьшим влиянием топовых ученых на ранних этапах развития научной карьеры, в среднем внедряют больше инноваций и, соответственно, имеют более высокие показатели цитируемости.
#обзор #соавторство #цитирование
Степень доверия к наиболее успешным ученым высока, собственно, как и ценность их наставничества для молодых ученых. Как правило, вторые, сотрудничающие с ведущими учеными на ранних этапах своей карьеры, имеют больше шансов быть процитированными и в дальнейшем. Но встает вопрос о том, насколько инновационны совместные работы топовых ученых и молодых ученых.
Чтобы исследовать влияние топовых ученых (топ-1% по индексу Хирша) на академическую продуктивность и инновации, коллеги проанализировали корпус работ Американского физического общества (среди авторов, впервые опубликовавших свои работы в 1970 году или позже). Выяснили, что те, кто сотрудничает с топовыми учеными и цитирует их, чаще публикуются и цитируются сами, а также создают более разнообразные по содержанию работы. Тем не менее их работы не более инновационны, чем работы остальных ученых (тех, кто не пишет в соавторстве с топами), а если исключить работы, написанные в соавторстве с топ-учеными, то количество публикаций и цитирований вовсе не отличается от остальных работ коллег.
Исследователи выяснили, что работам топовых ученых присуща высокая новизна, они вдохновляют своих последователей и соавторов, при этом сдерживая их инновационный потенциал. Молодые исследователи, которые создают инновационный контент без преимущества раннего сотрудничества с топовыми учеными, продолжают создавать такой контент на протяжении всей своей карьеры. А те исследователи, которые сильно вдохновляются работой с топовым учеными, не привносят достаточно новизны в коллективную работу в дальнейшем.
Также обнаружили здесь и эффект Матфея: ученые, часто цитирующие топов, получают большее количество цитирований при сотрудничестве с топом, чем без него. Хотя сотрудничество с успешными учеными может стимулировать карьерный рост, такие коллаборации могут подавлять инновационные идеи и не являются лучшим показателем долгосрочного успеха независимой карьеры.
Из выводов коллег: исследователи, которые оказываются под наименьшим влиянием топовых ученых на ранних этапах развития научной карьеры, в среднем внедряют больше инноваций и, соответственно, имеют более высокие показатели цитируемости.
#обзор #соавторство #цитирование
Как академическая мобильность и научные коллаборации влияют на цитирование публикаций — в исследовании коллег.
Международное сотрудничество является важной составляющей науки в современном мире, поскольку способствует обмену идеями, приводящими зачастую к научным прорывам. Важность поддержки международных коллабораций имеет и чисто практический результат — такие исследования привлекают к себе больше внимания и лучше цитируются.
В рассматриваемой работе отмечается, что «мобильные» исследователи, работавшие более чем в одной стране в течение своей карьеры, имели значительный прирост цитируемости по сравнению с теми, у кого такого опыта не было. Важным фактором, способствующим развитию сотрудничества, является простота авиапутешествий — возможность перемещаться между двумя городами влияет на вероятность сотрудничества и уменьшает влияние больших расстояний. Также связь университетов через авиатранспортную сеть является важным показателем роста рейтинга университетов. А рейтинг университета тесно связан с цитируемостью публикаций его сотрудников.
В исследовании коллеги использовали авиатранспортную сеть для количественной оценки географического разнообразия в научных коллаборациях, фокусируясь на установлении связи между географическим разнообразием соавторов и количеством цитирований конкретной статьи.
Основные выводы, к которым пришли коллеги:
• географическое разнообразие коллабораций приводит к увеличению цитирований работ;
• при этом работы наиболее привычных в географическом отношении коллабораций (например, ближайшие друг к другу города) и очень отдаленных друг от друга с точки зрения географической близости, напротив, цитируются не так активно;
• в коллаборациях существует разрыв между Севером и Югом: 94% совместных исследований приходится на исследователей с глобального севера.
#обзор #соавторство #цитирование
Международное сотрудничество является важной составляющей науки в современном мире, поскольку способствует обмену идеями, приводящими зачастую к научным прорывам. Важность поддержки международных коллабораций имеет и чисто практический результат — такие исследования привлекают к себе больше внимания и лучше цитируются.
В рассматриваемой работе отмечается, что «мобильные» исследователи, работавшие более чем в одной стране в течение своей карьеры, имели значительный прирост цитируемости по сравнению с теми, у кого такого опыта не было. Важным фактором, способствующим развитию сотрудничества, является простота авиапутешествий — возможность перемещаться между двумя городами влияет на вероятность сотрудничества и уменьшает влияние больших расстояний. Также связь университетов через авиатранспортную сеть является важным показателем роста рейтинга университетов. А рейтинг университета тесно связан с цитируемостью публикаций его сотрудников.
В исследовании коллеги использовали авиатранспортную сеть для количественной оценки географического разнообразия в научных коллаборациях, фокусируясь на установлении связи между географическим разнообразием соавторов и количеством цитирований конкретной статьи.
Основные выводы, к которым пришли коллеги:
• географическое разнообразие коллабораций приводит к увеличению цитирований работ;
• при этом работы наиболее привычных в географическом отношении коллабораций (например, ближайшие друг к другу города) и очень отдаленных друг от друга с точки зрения географической близости, напротив, цитируются не так активно;
• в коллаборациях существует разрыв между Севером и Югом: 94% совместных исследований приходится на исследователей с глобального севера.
#обзор #соавторство #цитирование
Может ли ChatGPT усилить эффект Матфея: на примере наук об окружающей среде
Коллеги провели исследование о том, какие статьи и журналы в области экологии чаще всего цитирует ChatGPT.
Авторы исследования попросили GPT:
• определить десять наиболее значимых субдисциплин в области науки об окружающей среде;
• подготовить научную обзорную статью по каждой субдисциплине, включив в нее 25 ссылок.
Далее авторы проанализировали эти ссылки (количество ссылок, дата публикации и журнал).
В ходе работы выяснили, что GPT, как правило:
• ссылается на высокоцитируемые публикации в области науки об окружающей среде с медианным числом цитирований 1184,5;
• отдает предпочтение более старым публикациям, средний год публикации — 2010;
• преимущественно ссылается на авторитетные журналы в этой области, причем самым цитируемым журналом в GPT является Nature;
• полагается исключительно на данные о количестве цитирований из Google Scholar, а не использует информацию о цитировании из других научных баз данных, таких как Web of Science или Scopus.
#обзор #цитирование #искусственныйинтеллект
Коллеги провели исследование о том, какие статьи и журналы в области экологии чаще всего цитирует ChatGPT.
Авторы исследования попросили GPT:
• определить десять наиболее значимых субдисциплин в области науки об окружающей среде;
• подготовить научную обзорную статью по каждой субдисциплине, включив в нее 25 ссылок.
Далее авторы проанализировали эти ссылки (количество ссылок, дата публикации и журнал).
В ходе работы выяснили, что GPT, как правило:
• ссылается на высокоцитируемые публикации в области науки об окружающей среде с медианным числом цитирований 1184,5;
• отдает предпочтение более старым публикациям, средний год публикации — 2010;
• преимущественно ссылается на авторитетные журналы в этой области, причем самым цитируемым журналом в GPT является Nature;
• полагается исключительно на данные о количестве цитирований из Google Scholar, а не использует информацию о цитировании из других научных баз данных, таких как Web of Science или Scopus.
#обзор #цитирование #искусственныйинтеллект
Цитирования и качество исследований: есть ли взаимосвязь?
Мы уже писали про анализ использования импакт-фактора в оценке исследований от британских коллег (там же мы кратко рассказали о программе UK Research Excellence Framework). Авторы того исследования обнаружили очень слабую положительную корреляцию между экспертными оценками статей и импакт-факторами журналов. Статья, о которой мы расскажем сегодня, является ответвлением исследования, проведенного в 2021 году в рамках подготовки к REF2028, и посвящена анализу взаимосвязи цитирований и качества исследований.
Ценность цитирований для оценки качества исследований нередко становится предметом научных споров. Безусловно, не всегда ясно, что именно подразумевают под качеством исследований, но обычно его рассматривают с точки зрения методологической строгости, новизны/оригинальности и влияния на науку или общество. Авторы называют свою статью первой крупномасштабной общенаучной академической оценкой взаимосвязи качества исследований и цитирований, сопоставляя данные для 87739 журнальных статей по 34 укрупненным предметным группам (UoA). Эти два показателя положительно коррелируют во всех академических областях, отражая в целом линейные отношения во всех областях.
Основные выводы, к которым авторы приходят:
• Статьи с большим количеством цитирований, как правило, более высокого качества во всех областях науки. Положительные корреляции наблюдаются даже в большинстве областей искусства и гуманитарных наук (включая Music, Drama, Dance, and Performing Arts; Studies in Creative Arts and Writing; Arts and Humanities), хотя сила этих связей значительно варьируется (см. скриншот).
• Высокое цитирование не гарантирует однозначное высокое качество исследований в какой-либо области.
• Положительная связь между исследованиями качества и цитируемости относительно универсальны.
К ограничениям данного исследования можно отнести тот факт, что все отобранные журнальные статьи публиковались сотрудниками британских университетов, и взаимосвязь между цитированием и качеством может быть иной в других странах. К тому же нормализация поля ограничена схемами Scopus и Dimensions, а сами статьи выбираются авторами самостоятельно и в большинстве случаев представляют лучшие по их мнению работы.
Таким образом, несмотря на то, что цитирование, нормализованное по соответствующим областям, положительно коррелирует с качеством исследований во всех областях, оно никогда не отражает значимость исследования в полной мере, даже при переходе к высокоцитируемым публикациям.
#обзор #цитирование #журналы #экспертнаяоценка
Мы уже писали про анализ использования импакт-фактора в оценке исследований от британских коллег (там же мы кратко рассказали о программе UK Research Excellence Framework). Авторы того исследования обнаружили очень слабую положительную корреляцию между экспертными оценками статей и импакт-факторами журналов. Статья, о которой мы расскажем сегодня, является ответвлением исследования, проведенного в 2021 году в рамках подготовки к REF2028, и посвящена анализу взаимосвязи цитирований и качества исследований.
Ценность цитирований для оценки качества исследований нередко становится предметом научных споров. Безусловно, не всегда ясно, что именно подразумевают под качеством исследований, но обычно его рассматривают с точки зрения методологической строгости, новизны/оригинальности и влияния на науку или общество. Авторы называют свою статью первой крупномасштабной общенаучной академической оценкой взаимосвязи качества исследований и цитирований, сопоставляя данные для 87739 журнальных статей по 34 укрупненным предметным группам (UoA). Эти два показателя положительно коррелируют во всех академических областях, отражая в целом линейные отношения во всех областях.
Основные выводы, к которым авторы приходят:
• Статьи с большим количеством цитирований, как правило, более высокого качества во всех областях науки. Положительные корреляции наблюдаются даже в большинстве областей искусства и гуманитарных наук (включая Music, Drama, Dance, and Performing Arts; Studies in Creative Arts and Writing; Arts and Humanities), хотя сила этих связей значительно варьируется (см. скриншот).
• Высокое цитирование не гарантирует однозначное высокое качество исследований в какой-либо области.
• Положительная связь между исследованиями качества и цитируемости относительно универсальны.
К ограничениям данного исследования можно отнести тот факт, что все отобранные журнальные статьи публиковались сотрудниками британских университетов, и взаимосвязь между цитированием и качеством может быть иной в других странах. К тому же нормализация поля ограничена схемами Scopus и Dimensions, а сами статьи выбираются авторами самостоятельно и в большинстве случаев представляют лучшие по их мнению работы.
Таким образом, несмотря на то, что цитирование, нормализованное по соответствующим областям, положительно коррелирует с качеством исследований во всех областях, оно никогда не отражает значимость исследования в полной мере, даже при переходе к высокоцитируемым публикациям.
#обзор #цитирование #журналы #экспертнаяоценка
Нецитируемые статьи в структуре научной коммуникации
В майском выпуске Journal of Informetrics вышла статья наших коллег из Вышки о нецитируемых статьях. В рамках исследования они выдвинули тезис о том, что нецитируемые публикации являются основой для построения особой формы научной коммуникации. Коллеги утверждают, что списки ссылок нецитируемых статей образуют динамическую систему, частично ответственную за перераспределение научного потенциала других публикаций в области.
В рамках исследования авторы обращались к базе данных INSPIRE, содержащей информацию о более чем 1,4 миллионах публикаций по физике высоких энергий. Окончательная выборка охватывает 729515 статей, опубликованных с 1970 по 2015 год.
Нецитируемые публикации обычно включают документы, которые по ряду причин не вписываются в стандарты современных баз данных. Часто к ним относятся статьи из журналов на иностранных языках, отличных от английского, книги и краткие сообщения, редакционные статьи. Сравнительное исследование языковых областей двух ведущих библиометрических баз данных показало, что 92,64% публикаций Scopus были на английском языке, а соответствующая доля в Web of Science составила 95,37%.
Кроме того, импакт-фактор журнала значительно коррелирует с коэффициентом нецитируемости. Например, в журналах первого квартиля (JCR Q1) коэффициент нецитируемости статей и обзоров составляет 1,7%, тогда как в журналах четвертого квартиля (JCR Q4) этот показатель уже равен 27,4%.
Сохраняются различия в нецитируемости и между дисциплинами. Как правило, самый высокий коэффициент нецитируемости наблюдается в гуманитарных науках.
Нужно учитывать и тот факт, что на некоторые открытия ссылаются без явного цитирования. В библиометрии это явление называется «вытеснение путем инкорпорации» (OBI — obliteration by incorporation): превращение определенных идей в универсально разделяемые без последующего цитирования. Такой тип цитирования не может быть извлечен из списков цитируемых ссылок. Для его обнаружения требуется полнотекстовый анализ. Вся эти схемы цитирования порождают нецитируемость.
Данные, полученные в ходе исследования, доказывают также, что высокоцитируемые статьи не являются прямыми противоположностями нецитируемых. Нецитируемые работы — это не ошибка исторического развития науки, а естественный результат непоследовательности и перекоса распределения вкладов в науку.
#обзор #вышка #цитирование
В майском выпуске Journal of Informetrics вышла статья наших коллег из Вышки о нецитируемых статьях. В рамках исследования они выдвинули тезис о том, что нецитируемые публикации являются основой для построения особой формы научной коммуникации. Коллеги утверждают, что списки ссылок нецитируемых статей образуют динамическую систему, частично ответственную за перераспределение научного потенциала других публикаций в области.
В рамках исследования авторы обращались к базе данных INSPIRE, содержащей информацию о более чем 1,4 миллионах публикаций по физике высоких энергий. Окончательная выборка охватывает 729515 статей, опубликованных с 1970 по 2015 год.
Нецитируемые публикации обычно включают документы, которые по ряду причин не вписываются в стандарты современных баз данных. Часто к ним относятся статьи из журналов на иностранных языках, отличных от английского, книги и краткие сообщения, редакционные статьи. Сравнительное исследование языковых областей двух ведущих библиометрических баз данных показало, что 92,64% публикаций Scopus были на английском языке, а соответствующая доля в Web of Science составила 95,37%.
Кроме того, импакт-фактор журнала значительно коррелирует с коэффициентом нецитируемости. Например, в журналах первого квартиля (JCR Q1) коэффициент нецитируемости статей и обзоров составляет 1,7%, тогда как в журналах четвертого квартиля (JCR Q4) этот показатель уже равен 27,4%.
Сохраняются различия в нецитируемости и между дисциплинами. Как правило, самый высокий коэффициент нецитируемости наблюдается в гуманитарных науках.
Нужно учитывать и тот факт, что на некоторые открытия ссылаются без явного цитирования. В библиометрии это явление называется «вытеснение путем инкорпорации» (OBI — obliteration by incorporation): превращение определенных идей в универсально разделяемые без последующего цитирования. Такой тип цитирования не может быть извлечен из списков цитируемых ссылок. Для его обнаружения требуется полнотекстовый анализ. Вся эти схемы цитирования порождают нецитируемость.
Данные, полученные в ходе исследования, доказывают также, что высокоцитируемые статьи не являются прямыми противоположностями нецитируемых. Нецитируемые работы — это не ошибка исторического развития науки, а естественный результат непоследовательности и перекоса распределения вкладов в науку.
#обзор #вышка #цитирование
Нецитируемые статьи и их влияние на концентрацию цитирования
В продолжение поста про нецитируемые публикации в структуре научной коммуникации сегодня расскажем об исследовании влияния нецитируемых статей на концентрацию цитирования. Анализ коллег основан на метаданных о публикациях, извлеченных из основной коллекции WoS, охватывающей публикации с 1980 по 2020 год.
Для составления показателей концентрации коллеги используют два подхода: подход на основе цитирования и подход на основе ссылок. Подходы на основе цитирования и на основе ссылок различаются в отношении к статьям без ссылок. В подходе, основанном на цитировании, статьи без ссылок естественно включаются, поскольку процесс поиска данных начинается со всех статей, опубликованных в данном году. И наоборот, подход, основанный на ссылках, естественно исключает статьи без цитирования, поскольку анализ фокусируется на ссылках, сделанных в данном году. Кроме того, важно отметить, что количество нецитируемых статей имеет тенденцию к снижению с течением времени. Например, если рассматривать десятилетний период цитирования, то доля статей без ссылок снизилась с 34% в 1980 году до 11% в 2010 году среди всех статей в базе данных WoS, исключая самоцитирование.
Анализ показал, что наиболее надежным методом для анализа концентрации цитирования во времени является подход, основанный на цитировании, с учетом нецитируемых статей, с нормализацией по полю и году, а также с фиксированным временным окном. Необходимо также учитывать расширение библиометрических баз данных и эволюцию самоцитирования. Результаты этого метода показывают последовательное снижение концентрации цитирования.
Также было обнаружено, что различные регионы играют разную роль в своем вкладе в нецитируемость. Снижение относительной цитируемости статей Северной Америки и увеличение участия Европы и Азии влияет на структуру цитирования. В то время как Северная Америка по-прежнему составляет большую часть 1% самых цитируемых статей и производит много ссылок, которые получают эти статьи, ее роль среди статей, цитируемых только один раз, значительно ниже.
Выводы, сделанные в этой статье, подчеркивают важность учета нецитируемых статей и их потенциальное влияние на концентрацию цитирования.
#обзор #цитирование #wos
В продолжение поста про нецитируемые публикации в структуре научной коммуникации сегодня расскажем об исследовании влияния нецитируемых статей на концентрацию цитирования. Анализ коллег основан на метаданных о публикациях, извлеченных из основной коллекции WoS, охватывающей публикации с 1980 по 2020 год.
Для составления показателей концентрации коллеги используют два подхода: подход на основе цитирования и подход на основе ссылок. Подходы на основе цитирования и на основе ссылок различаются в отношении к статьям без ссылок. В подходе, основанном на цитировании, статьи без ссылок естественно включаются, поскольку процесс поиска данных начинается со всех статей, опубликованных в данном году. И наоборот, подход, основанный на ссылках, естественно исключает статьи без цитирования, поскольку анализ фокусируется на ссылках, сделанных в данном году. Кроме того, важно отметить, что количество нецитируемых статей имеет тенденцию к снижению с течением времени. Например, если рассматривать десятилетний период цитирования, то доля статей без ссылок снизилась с 34% в 1980 году до 11% в 2010 году среди всех статей в базе данных WoS, исключая самоцитирование.
Анализ показал, что наиболее надежным методом для анализа концентрации цитирования во времени является подход, основанный на цитировании, с учетом нецитируемых статей, с нормализацией по полю и году, а также с фиксированным временным окном. Необходимо также учитывать расширение библиометрических баз данных и эволюцию самоцитирования. Результаты этого метода показывают последовательное снижение концентрации цитирования.
Также было обнаружено, что различные регионы играют разную роль в своем вкладе в нецитируемость. Снижение относительной цитируемости статей Северной Америки и увеличение участия Европы и Азии влияет на структуру цитирования. В то время как Северная Америка по-прежнему составляет большую часть 1% самых цитируемых статей и производит много ссылок, которые получают эти статьи, ее роль среди статей, цитируемых только один раз, значительно ниже.
Выводы, сделанные в этой статье, подчеркивают важность учета нецитируемых статей и их потенциальное влияние на концентрацию цитирования.
#обзор #цитирование #wos
И снова про Twitter: если вашу работу твитнули, какова вероятность, что ее процитируют?
В статье анализируется открытая база данных ученых в Twitter, о которой мы уже рассказывали ранее, а также отдельные твиты, содержащие ссылки на научные работы (Crossref Event Data 2023). Примерно 6,4 миллиона твитов, сделанных исследователями в этом наборе данных за 2017-2019 годы, были связаны с чуть более чем 1 миллионом отдельных DOI, найденных в таблице работ OpenAlex. Из 5 307 769 твитов, содержащих ссылки на журнальные статьи, 768 710 соответствовали ссылкам на работы, авторами которых был тот же пользователь Twitter, что составляет 14,5%.
Пользователи Twitter чаще цитируют :
• работы, связанные с их учебным заведением,
• работы, соавторами которых они являются,
• работы, имеющие непосредственное отношение к их собственным исследованиям,
• работы, опубликованные в журналах, в которых они тоже публиковались.
Из интересного:
• по мере развития карьеры и увеличения количества публикаций исследователи реже цитируют свои твиты,
• тематическое сходство твита с собственным исследованием и областью изучения оказывает большое влияние на связь между твитом и его последующим цитированием,
• чем больше работ исследователи публикуют в Twitter, тем меньше вероятность их цитирования,
• ученые, цитирующие свои собственные работы, могут показать, как Twitter может использоваться в качестве платформы для повышения узнаваемости собственной научной деятельности, утверждения себя в качестве эксперта в какой-либо области или расширения своего социального капитала .
#обзор #цитирование #twitter
В статье анализируется открытая база данных ученых в Twitter, о которой мы уже рассказывали ранее, а также отдельные твиты, содержащие ссылки на научные работы (Crossref Event Data 2023). Примерно 6,4 миллиона твитов, сделанных исследователями в этом наборе данных за 2017-2019 годы, были связаны с чуть более чем 1 миллионом отдельных DOI, найденных в таблице работ OpenAlex. Из 5 307 769 твитов, содержащих ссылки на журнальные статьи, 768 710 соответствовали ссылкам на работы, авторами которых был тот же пользователь Twitter, что составляет 14,5%.
Пользователи Twitter чаще цитируют :
• работы, связанные с их учебным заведением,
• работы, соавторами которых они являются,
• работы, имеющие непосредственное отношение к их собственным исследованиям,
• работы, опубликованные в журналах, в которых они тоже публиковались.
Из интересного:
• по мере развития карьеры и увеличения количества публикаций исследователи реже цитируют свои твиты,
• тематическое сходство твита с собственным исследованием и областью изучения оказывает большое влияние на связь между твитом и его последующим цитированием,
• чем больше работ исследователи публикуют в Twitter, тем меньше вероятность их цитирования,
• ученые, цитирующие свои собственные работы, могут показать, как Twitter может использоваться в качестве платформы для повышения узнаваемости собственной научной деятельности, утверждения себя в качестве эксперта в какой-либо области или расширения своего социального капитала .
#обзор #цитирование #twitter
«Призрак бродит по… журналам»: о последствиях использования GPT-моделей в качестве академического инструмента
ChatGPT от OpenAI, запущенный в конце ноября 2022, в последнее время находит всё больше применений в академической среде, о чем мы уже писали ранее. Он способен автоматизировать повторяющиеся задачи: например, генерировать код (правда не всегда актуальный для текущих версий пакетов), обобщать данные из нескольких научных статей, неплохо справляться с переводом текстов и даже перефразировать целые абзацы для большего соответствия академическому стилю. Однако у всего этого есть обратная сторона: во-первых, чат-боты, стремясь понравиться, зачастую выдают ложные факты за действительные, а во-вторых — могут недобросовестно использоваться самими авторами.
В недавней заметке в Scientometrics описывается одно из обнаруженных ограничений ChatGPT — склонность генерировать «призрачные» научные ссылки. Когда у чат-бота запрашивают библиографические ссылки по конкретной теме, он предоставляет правдоподобные результаты — это могут быть реальные названия статей, а в качестве источника публикации указываются названия ведущих журналов. Однако на практике выясняется, что таких статей никогда не существовало. Такие ссылки, сгенерированные при участии недобросовестных авторов, могут в конечном итоге попадать в научные публикации, особенно в тех издательствах, где процессы рецензирования слабы или вообще отсутствуют. Реальные же ссылки от GPT-моделей, вероятнее всего, усиливают эффект Матфея, о котором мы упоминали в одном из наших предыдущих постов.
Выявление таких «призрачных» ссылок — настоящий вызов для научного сообщества. Безусловно, полностью сгенерированная библиография вызовет вопросы у любого профессионала в области, однако отдельные аргументы, написанные при помощи GPT-моделей и ссылающиеся на несуществующие работы, могут с некоторой вероятностью тиражироваться в других исследованиях.
Мы же решили проверить описанный эффект сразу на трех моделях — ChatGPT, YandexGPT2 и GigaChat. Результаты вы можете видеть на скриншотах. Как и ожидалось, наиболее правдоподобные цитаты выдает ChatGPT. YandexGPT2 оказывается не менее изобретателен в создании новых публикаций: забывает о страницах, но упоминает реальных людей в качестве соавторов. А вот от GigaChat удается получить только библиографические сведения о журнале, без имен авторов и названия статей (вероятно, в данном случае использовались другие источники данных для обучения моделей).
#обзор #цитирование #искусственныйинтеллект #GPT
ChatGPT от OpenAI, запущенный в конце ноября 2022, в последнее время находит всё больше применений в академической среде, о чем мы уже писали ранее. Он способен автоматизировать повторяющиеся задачи: например, генерировать код (правда не всегда актуальный для текущих версий пакетов), обобщать данные из нескольких научных статей, неплохо справляться с переводом текстов и даже перефразировать целые абзацы для большего соответствия академическому стилю. Однако у всего этого есть обратная сторона: во-первых, чат-боты, стремясь понравиться, зачастую выдают ложные факты за действительные, а во-вторых — могут недобросовестно использоваться самими авторами.
В недавней заметке в Scientometrics описывается одно из обнаруженных ограничений ChatGPT — склонность генерировать «призрачные» научные ссылки. Когда у чат-бота запрашивают библиографические ссылки по конкретной теме, он предоставляет правдоподобные результаты — это могут быть реальные названия статей, а в качестве источника публикации указываются названия ведущих журналов. Однако на практике выясняется, что таких статей никогда не существовало. Такие ссылки, сгенерированные при участии недобросовестных авторов, могут в конечном итоге попадать в научные публикации, особенно в тех издательствах, где процессы рецензирования слабы или вообще отсутствуют. Реальные же ссылки от GPT-моделей, вероятнее всего, усиливают эффект Матфея, о котором мы упоминали в одном из наших предыдущих постов.
Выявление таких «призрачных» ссылок — настоящий вызов для научного сообщества. Безусловно, полностью сгенерированная библиография вызовет вопросы у любого профессионала в области, однако отдельные аргументы, написанные при помощи GPT-моделей и ссылающиеся на несуществующие работы, могут с некоторой вероятностью тиражироваться в других исследованиях.
Мы же решили проверить описанный эффект сразу на трех моделях — ChatGPT, YandexGPT2 и GigaChat. Результаты вы можете видеть на скриншотах. Как и ожидалось, наиболее правдоподобные цитаты выдает ChatGPT. YandexGPT2 оказывается не менее изобретателен в создании новых публикаций: забывает о страницах, но упоминает реальных людей в качестве соавторов. А вот от GigaChat удается получить только библиографические сведения о журнале, без имен авторов и названия статей (вероятно, в данном случае использовались другие источники данных для обучения моделей).
#обзор #цитирование #искусственныйинтеллект #GPT
Telegram
Выше квартилей
Что пишут о ChatGPT в Scopus и Web of Science
Из-за популярности чат-ботов и ChatGPT растет количество исследований, посвященных им. Одно из них представляет собой анализ литературы по чат-ботам и комплексный обзор научных документов по ChatGPT и фокусируется…
Из-за популярности чат-ботов и ChatGPT растет количество исследований, посвященных им. Одно из них представляет собой анализ литературы по чат-ботам и комплексный обзор научных документов по ChatGPT и фокусируется…