​​Сложно о сложном: как ChatGPT влияет на научные тексты

С момента выхода ChatGPT в ноябре 2022 года, обсуждение его влияния на академическую среду и научные тексты не прекращается (в частности, мы регулярно затрагиваем эту тему в дайджестах). Для одних тексты, созданные с помощью GPT, кажутся «бездушными» и «поверхностными», для других же — это «великий уравнитель», позволяющий авторам описать свои идеи максимально ясно, независимо от их стиля или писательских навыков.

Недавно в Journal of Informetrics вышла статья, автор которой измерил «читабельность» научных аннотаций до появления ChatGPT и после. В основу исследования легла гипотеза о том, что растущая популярность доступных инструментов генеративного ИИ поспособствовала значительному «утяжелению» (усложнению) научных текстов.

Автор опирался на набор метаданных статей, опубликованных на площадке препринтов arXiv.org в период с 2010 года по 7 июня 2024 года (аннотации, категории, список версий публикации и т.д.). В выборку были включены статьи, относящиеся к следующим категориям (в порядке убывания по представленности): компьютерные науки, физика, математика, электротехника и другие области.

Для оценки текстов на примере аннотаций были использованы 4 различные метрики, основанные на подсчете символов, слогов, слов и предложений: автоматический индекс читаемости (Automated Readability Index), индекс Колмана-Лиау (Coleman–Liau index), индекс удобочитаемости Флеша (Flesch Reading Ease) и шкала Флеша-Кинкейда (Flesch–Kincaid Grade Level).

Исследование показало, что по всем четырём метрикам аннотации становились всё сложнее с 2010 по 2024 год, при этом особенно резкий рост наблюдался между 2022 и 2023 годами, а также между 2023 и 2024 годами.

Так, статьи, в которые вносились изменения после 2022 года, оказались более трудными для восприятия. К тому же использование слов вроде pivotal или showcasing, популярность которых возросла после выхода ChatGPT, также коррелировало с повышением сложности текстов. Скользящее стандартное отклонение показало, что наибольшая изменчивость показателей пришлась на периоды 2021–2023 и 2022–2024 гг. Кроме того, все восемь предметных категорий продемонстрировали рост сложности текстов, причём самые высокие значения были зафиксированы в 2024 году.

Эти результаты поднимают важные вопросы. Хотя LLM помогают многим авторам совершенствовать формулировки, возрастающая «отчуждённость» научных текстов может затруднять их восприятие широкой академической аудиторией и, соответственно, отталкивать. При этом не все исследователи имеют равный доступ к таким инструментам или возможности эффективно их использовать, что может поставить их в менее выгодное положение при публикации.

P.S. Пока научные тексты становятся всё более сложными, GPT всё ещё путается при генерации азбуки. Кажется, усложнить аннотацию легко, а вот воспроизвести кириллический алфавит без сюрпризов — задача более амбициозная. Мы же, в свою очередь, сгенерировали «алфавит наукометрии» — результаты ниже.

 #ChatGPT #ии #иивнауке #читабельностьтекста #азбукаGPT

Юрий Чехович написал о своем уходе из компании Антиплагиат и анонсировал свой канал про AI в науке и в образовании - Сhekhovich.AI. В канале планируется освещать вопросы:

- искусственного интеллекта и машинного обучения,
- систем и алгоритмов поиска плагиата,
- использования академических ИИ-сервисов,
- трансформации процессов в науке и образовании под влиянием новых технологий.
Основное внимание я уделю практическим аспектам, с которыми сталкиваются студенты, ученые, редакторы — все, кто работает с ИИ или взаимодействует с его результатами.

Юрий Чехович – это особый пример, как можно совмещать высокую управленческую должность и научные исследования. В 2022 году вышла его статья в авторитетном Journal of Informetrics про дублирующие публикации в российских журналах. Авторы тогда выложили данные в открытый доступ. На этих данных можно проводить собственный анализ разновидностей академической нечестности – ресайклинга текста, плагиата, скриптерства и покупного соавторства. Тем более, что в данных присутствует самый интересный период российской академии, на который приходится рассвет публикационного давления.

Еще одно исследование в копилку — : как генеративный ИИ влияет на формулировки в заголовках академических публикаций. Все началось с подозрений: почему вдруг так часто стали встречаться одни и те же глаголы в названиях?

Авторы взяли 15 глаголов (navigating, unleashing, deciphering и др.) и посмотрели, как часто они появляются в заголовках статей в SCOPUS с 2015 по 2024 годы. Выяснилось:
— Особенно выросло их использование в обзорах
— Гуманитарные и социальные науки пока затронуты меньше
— Рост идет в основном от авторов из стран, где английский не родной язык

Для автора шаблонный заголовок несет риски: вроде бы хороший заголовок, но, если в нем угадывается ИИ — рецензенты и читатели могут заподозрить, что весь текст написан не вами. Да, редактировать с помощью ИИ — уже почти норма, журналы даже не просят это указывать. Но если стиль или структура вызывают сомнения, это может повлиять на восприятие всей статьи. Берем на заметку и вычеркиваем navigating из заголовка статьи!

✨ Легко ли быть молодым? (автором)

Есть ли в России приличные научные журналы, куда легко попасть молодому автору? А в каких журналах шансов у начинающих ученых почти нет?

📊 Научная Электронная Библиотека elibrary.ru
публикует данные, которые могут помочь с ответом — средний возраст авторов для каждого журнала, индексируемого в РИНЦ.

⚠️ У этих данных есть ограничения.
Например, в расчёте среднего возраста учитываются только те авторы, у которых есть персональный профиль на elibrary.ru.

Но даже с такими оговорками, данные о «возрастном профиле» журналов открывают интересные возможности для анализа!
Как правило, издательства (не только российские, но и зарубежные) не публикуют такую информацию — у них ее и нет. Для российских журналов она стала доступна благодаря интеграции журнальных и авторских профилей на одной платформе.

🔍 Наш предварительный анализ для нескольких областей науки показывает:

📌 в социогуманитарных областях у большинства журналов средний возраст авторов — между 45 и 51 годами

📌 в естественных и точных науках — между 48 и 52 годами

При этом в каждой области науки можно встретить необычно «молодые» и необычно «зрелые» журналы по среднему возрасту авторов.

В ядро РИНЦ такие необычные журналы, как правило, не попадают.
А вот полистать «Метафизику» (средний возраст авторов 69 лет) или «Ректора ВУЗа» (85 лет), и сравнить их с «Барометром экономики, управления и права» (28 лет) — интересно!

Впрочем, надо помнить, что экстремальные значения для отдельных журналов могут объясняться расчётом по неполным данным.

📌 Для 9 областей науки из 11 журналы ядра РИНЦ в среднем «старше» по возрасту авторов, чем все журналы из этой области.
Но есть и исключения — медицина и политическая наука — в них журналы из ядра, наоборот, более «молодые».

🔍 Изучайте свои любимые журналы на elibrary.ru, и оценивайте свои шансы!

✨ Неожиданные лидеры в нестандартном рейтинге

Наш дашборд Мониторинг вузов позволяет проверить конкурентные преимущества университетов по отдельным показателям или различным нишам.

Например, МГУ, НИУ ВШЭ и МФТИ высоко котируются у продвинутых абитуриентов бакалавриата, и являются самыми обеспеченными университетами по доходам. Но какие вузы возглавят рейтинг, если ранжировать их по доходам университета в расчёте на одного студента?

Оказалось, что рейтинг неожиданный! МФТИ находится в рейтинге только на 21 месте, ВШЭ и другие университеты программы 5/100 - ещё ниже, МГУ же и вовсе 50-й.

В числе 20 вузов-лидеров лишь два национальных исследовательских университета (МИЭТ и Алфёровский университет), а преимущественно в топе расположились небольшие вузы, включая негосударственные, художественные и религиозные.

Большинство лидеров списка известны стремлением к высокому качеству в своих областях. Их портфель программ более узкий, чем у классических и политехнических гигантов. Ряд из них находится далеко от столицы.

Что вообще характеризует показатель "доходы вуза в расчете на студента"? В общем смысле - среду, в которой учится студент, а на какие элементы этой среды вуз тратит доходы - ремонт аудиторий, зарплаты преподавателей или передовое научное оборудование - каждый вуз решает сам.

Открытая публикация данных мониторинга важна, так как позволяет обществу отслеживать положение и динамику показателей вузов более разнообразно и точно, чем обобщённые таблицы широко рекламируемых рейтингов университетов.

✨ Кому одиноко на кофе-брейках конференций?

В уже далеком 2018 году сотрудники нашего центра участвовали в воркшопе на площадке одной из конференций по Computational Social Sciences в Кельне. Как обычно, организаторы выдавали именной бейдж, а еще предлагали прикрепить маленький датчик и стать "донором данных" для исследования взаимодействия участников во время кофе-брейков и обедов.

Уже в конце конференции показывали первые результаты: общение участников разбивалось на четкие языковые кластеры, и – неожиданно – оказалось, что профессора не так активно общаются с другими, чем менее статусные участники. Эти данные вошли в большое исследование по четырем конференциям Who talks to the prof?.

Авторы проверяли гипотезы о «стеклянном потолке» и различиях в том, как женщины и мужчины взаимодействуют на конференциях. Предполагалось, что начинающие исследователи-женщины будут меньше общаться с профессорами, особенно с мужчинами. Но по результатам анализа эти гипотезы не подтвердились, скорее, наоборот – женщины взаимодействовали больше и с профессорами-мужчинами, и с профессорами-женщинами, но также и с равными по статусу и младшими исследователями.

Конечно, зафиксированное датчиками внимание еще не означает реальный научный интерес. Похоже, что для женщин-ученых не проблема поговорить с незнакомцами на кофе-брейке, а вот кто потом становится соавтором статей и проектов – это уже тема для других исследований.

Ну а пока можно всем дать совет – не стесняйтесь подойти к профессору на кофе-брейке, возможно он или она мечтает с кем-то пообщаться ;)

✨ Богатые вузы – в богатых регионах?

Недавно мы рассказали о вузах с наибольшими доходами в расчете на одного студента, и заинтересовались, есть ли связь богатства вузов с благосостоянием их регионов?

Мы составили рейтинг регионов РФ по среднему богатству вузов (а именно, по показателю "доходы вуза на 1 студента, медиана по вузам региона"). Источник данных – по-прежнему Мониторинг эффективности образовательных организаций *.

Вы тоже ожидали, что рейтинг регионов по богатству вузов возглавят Москва, Санкт-Петербург, Татарстан? Мы – да! Оказалось, что эти субъекты РФ входят в топ-10, но не в топ-5. Выше них расположились северные и сибирские регионы, Приморский край.

Естественно предполагать, что богатые вузы сосредоточены в богатых регионах, но на деле вузы могут иметь в среднем высокие доходы и в регионах среднего уровня и даже в относительно небогатых. Возглавляет рейтинг по богатству вузов Томская область – она не входит даже в топ-20 регионов по богатству (по показателю ВРП в расчете на душу населения). В целом корреляция богатства региона и богатства вузов региона равна 0.55, то есть два показателя все же связаны, и связь положительная, но не очень сильная.

* Мы не учитывали в расчетах филиалы вузов, только головные отделения. И не включили в рейтинг регионы, где находится менее трех вузов.

✨ Еще раз (и не последний) про ИИ

Предварительный отчет об исследовании издательства Wiley ExplanAItions 2025 говорит о том, что доля ученых, использующих инструменты ИИ в работе продолжает быстро расти. Если год назад около 45% ученых использовали ИИ в исследовательских задачах и в работе над публикациями, то по данным опроса этого года – уже 62% (среди них половина используют еженедельно). В подавляющем большинстве ученые использую ИИ-сервисы общего назначения, такие как ChatGPT, и только четверть из использующих обращались к специализированным инструментам.

Победное (и не только) шествие ИИ в науке и образовании притягивает и наш исследовательский интерес. Недавно в журнале "Ойкумена" вышел тематический номер "Иcкусственный интеллект в преподавании и социальных исследованиях", в который вошли сразу две статьи сотрудников нашего центра.

✨ В статье "Применение сервисов искусственного интеллекта для поиска научной литературы" авторы проводят эксперимент по поиску научных статей по теме в четырех чатботах (ChatGPT, DeepSeek, Mistral, GigaChat). Подобные эксперименты проводились и раньше, но обычно они охватывают поиск англоязычной литературы. Видят ли популярные чатботы литературу на других языках – читайте в нашей статье!

✨ В обзоре "Искусственный интеллект как посредник педагогической поддержки:scoping review" авторы делают обзор исследований о разных типах педагогической поддержки (scaffolding), реализуемой ИИ-инструментами. Оправдаются ли ожидания ИИ-прорыва в персонализации образования? Сбудутся ли алармистские прогнозы о том, что "дети не научатся думать самостоятельно"? Будем следить вместе, а пока знакомимся с обзором актуальных исследований.

✨ Частное высшее образование в России: возвращение роста и новые модели

Пока государство готовится ограничить число платных мест в университетах, внимание к платному сектору только растет — и в первую очередь к частным вузам, которые часто воспринимаются как «слабое звено» системы.

Европейский университет в Санкт-Петербурге представил аналитический доклад «Негосударственное высшее образование в России: текущее состояние и новые тенденции», основанный на данных Мониторинга вузов, платформы «Вузопедия» и серии интервью с представителями сектора.

➡️ После пика 2015 года численность студентов частных вузов несколько лет снижалась во многом благодаря ужесточению в регулировании, но в 2023-м тренд развернулся:
— 464 тыс. студентов — 10 % от всех обучающихся в стране
— прирост за год — +21 %, что в 10 раз выше, чем у госсектора

➡️ Различия между самими частными университетами зачастую больше, чем между частными и государственными в целом.
— Соотношение студентов к преподавателям варьируется от 0 до 43, в то время как в госуниверситетах — от 3 до 29.
— Среди частных вузов есть и полностью заочные (16,7%), и полностью очные (8%).
— Высокий разброс цен на обучение: от 33 тыс. руб. до 800 тыс. руб. в разных вузах.

➡️ Две региональные модели
«Московская модель» — альтернатива госуниверситетам.
В Москве в частных вузах учатся 273 тыс. студентов — почти треть всех обучающихся в секторе.
«Региональная модель замещения» — частный вуз как единственный шанс получить высшее образование без переезда.
В 10 регионах (включая Калининградскую область и Камчатку) доля студентов частных вузов превышает 10 %.

➡️ На смену традиционной ориентации на юриспруденцию, экономику и психологию (70 % студентов) приходят «открытые корпоративные университеты» — такие, как Центральный университет и Университет Игоря Рыбакова. Они делают ставку на IT, технологическое предпринимательство и искусственный интеллект.

Вывод: нельзя воспринимать частное высшее образование как единый, однородный сектор. Это сложный, разнохарактерный ландшафт — от крупных заочных вузов до институций с узкой технологической направленностью.

✨ Импакт-фактор любит молодых?

Ранее мы писали об интересных данных, доступных в РИНЦ, - среднем возрасте авторов каждого научного журнала.

Нам стало интересно посмотреть, как возраст авторов соотносится с цитируемостью журналов. Показываем это соотношение на диаграмме для 25 крупных тематик. Каждая точка - научный журнал. Красные точки – журналы ядра РИНЦ, черные – журналы вне ядра.

На диаграмме видно, что ярко выраженной связи между возрастом авторов и импакт-фактором журналов нет. Это подтверждает и небольшая корреляция между этими величинами: для разных областей она составляет от -0.31 (Охрана окружающей среды) до 0.15 (Языкознание).

Могут ли журналы с очень молодым составом авторов становиться самыми цитируемыми в своей области? В целом, это случается редко – на диаграмме видно, что журналы с самыми высокими значениями импакт-фактора обычно находятся в середине возрастной шкалы для своей области. Но бывают и исключения.

Например, для тематики "Социология" в топ-10% журналов по импакт-фактору входит "Социология искусственного интеллекта" (прежнее название журнала до июля 2021 года – "Социальная антропология Сибири") – один из самых "молодых" по среднему возрасту авторов (42 года). Интересно, что этот журнал отличается стремительным ростом импакт-фактора в последние годы, хотя подобная "хоккейная клюшка" характерна для многих графиков, связанных с ИИ.

Обратные примеры тоже есть! Журнал "Женщина в Российском обществе" тоже входит в топ-10% журналов по импакт-фактору, при этом средний возраст авторов – один из самых высоких для социологии (54 года).

То, что возраст не является ключевым предиктором значимых научных результатов, показано и на уровне отдельных учёных. Если не боитесь формул – в статье Quantifying the evolution of individual scientific impact рассказывается, как авторы искали секретный фактор Q, краеугольный камень научного успеха. Какой у каждого из нас Q – покажет время, а пока вдохновимся тем, что никогда не рано и никогда не поздно произвести свой самый выдающийся научный результат.

Открытые встречи от социологов Европейского!

✨ Приглашаем всех присоединиться ко встрече с независимым исследователем и петербургским писателем Алексеем Конаковым. Важное место на книжной полке нашего центра занимает работа Алексея «Убывающий мир: история “невероятного” в позднем СССР». Это культурологическое исследование невероятного для нас — важный повод поговорить о балансе научного и антинаучного знания в мире. Почему даже советские академики могли поощрять далёкие от науки исследования аномальных явлений, и кто решался противостоять откровенной лженауке в условиях нарастающего интереса общества к поиску альтернатив? Особенно под Новый год хорошо обсудить всем вместе, как наука искала чудо — и как чудо пыталось стать наукой!

Когда: 19 декабря (пт)
Где: г. Санкт-Петербург, Европейский университет, Гагаринская ул., д. 6/1, А, Гагаринский зал
Регистрация: ссылка

✨ О российской социологии в "The American Sociologist"!
Опубликована статья сотрудника нашего центра Артура Печерских "Editorial Interlocking in the Periphery: Mapping the Overlap of Social and Topical Boundaries in Russian Sociology". Исследование посвящено одному из интереснейших сюжетов в социологии науки - связи между социальной структурой научной области и производимым в ней знанием. Российские авторы изучали этот сюжет, используя разные данные (Сафонова, 2012; Sokolov, 2018; Сафонова, Соколов 2018; Мальцева и др. 2017). Современные методы позволяют по-новому оценить связь социального и когнитивного измерений на больших массивах данных.

Артур построил сеть 58 российских социологических журналов на основе связи через общих ученых-редакторов, выделяет три кластера в сети – группы журналов, связанных членством в редколлегиях одних и тех же ученых.

В одном из кластеров заметное место занимают журналы, издаваемые НИУ ВШЭ. Журналы этой группы отличаются от остальных в среднем меньшим числом статей, но более длинными списками литературы в статьях. Во втором кластере заметное место занимают журналы институтов РАН. Эта группа играет роль ядра сети. В третий кластер входит много вестников региональных университетов. В их редколлегиях не так много иностранных и столичных ученых.

Параллельно с этим, для массива аннотаций статей из тех же журналов проводится тематическое моделирование – во всем многообразии статей алгоритмом выделяются 16 больших тематик. Оба эти вида анализа данных о научных журналах – довольно распространенные, но они почти никогда не использовались в комбинации.

Видим ли мы тематическое различие в кластерах журналов, выделенных по социальному измерению, то есть по общим членам редколлегии? Оказывается, да. Некоторые тематики присутствуют во всех кластерах журналов примерно в равной степени, например, такими темами оказались "Интернет и медиа", "Профессии и занятость", "Исследования молодежи".

При этом другие тематики оказались тяготеющими к определенному кластеру журналов. Например, тематика "Социальная теория" представлена в журналах первого кластера, а "Инновации и экономическое развитие" – в журналах третьего (того, где много региональных вестников).

Интересно и то, что "тематический профиль" определенного журнального кластера не является константой. За 13 лет некоторые тематики поменяли свой "главный кластер". А значит, наше личное представление о поле журналов, сформированное когда-то, уже через несколько лет может быть неактуальным, если мы не следим за всем полем.

Исследование проведено на данных, собранных с сайтов журналов и из базы РИНЦ. Обычно наукометрические исследования о российской науке проводятся на данных из международных баз. Удобство этих ранее доступных в России ресурсов было решающим аргументом, даже несмотря на то, что они охватывали не такую большую часть российских публикаций. Исследование "Editorial Interlocking in the Periphery" рассказывает миру о том, как устроено поле российской социологии, в том числе невидимое в Scopus и Web of Science.

Не удержимся от эмоций. В "The American Sociologist" нечасто публикуются российские авторы, а соло-статья аспиранта – и вовсе исключительный случай. Артур, гордимся🔥!

✨ Где выбирают учиться призеры олимпиад?

Одним из важнейших каналов набора абитуриентов для российских вузов являются предметные олимпиады. Куда приходят лучшие из лучших школьников - главные призёры заключительного этапа Всероссийской олимпиады, члены сборных команд международных олимпиад?

За последние 11 лет призёры олимпиад выбирали между 222 вузами, но лишь 57 университетов за эти годы смогли привлечь 10 и более таких абитуриентов.

Олимпиадники стремятся в Москву: кроме МГУ и ВШЭ всё чаще выбирают МФТИ, по сравнению с более гуманитарными СПбГУ и МГИМО. Исключительно большие наборы призёров олимпиад случались в отдельные годы у разных московских вузов (МИСиС, МАИ, НИУ им. Губкина, МГЛУ).

Однако, и за пределами Москвы некоторым вузам удается привлекать таланты - так, в 2023-2024 гг абитуриенты-призеры активно выбирали технологический трек в башкирском УГНТУ и цифровые направления Питерской Вышки, что позволило этим вузам вытеснить из топ-10 по приему призёров некоторых лидеров прошлых лет.

Из общей картины выбивается пандемийный 2020-й, когда олимпиады проходили онлайн: 51 главный призёр поступил в университет Иннополис, а 28 - в университет физкультуры им. Лесгафта. В остальные годы экспериментальный вуз Татарстана и спортивный Петербурга выбирали гораздо реже: спортсмены чаще выбирали ГЦОЛИФК, а сторонники новых образовательных форматов - Алфёровский университет в Петербурге или РЭШ в Москве.

Полные данные Мониторинга эффективности деятельности образовательных организаций высшего образования *в удобном формате* мы ежегодно обновляем в репозитории. На картинке показано изменение в месте вуза по количеству олимпиадников.

Подавайте учиться у преподавателей Шанинки!