Чат-боты: цитировать или не цитировать?
Растущий интерес к использованию искусственного интеллекта (ИИ) в написании научных работ и ряд скандалов, связанных с его недобросовестным применением в академической сфере, провоцируют острую дискуссию. Летисия Антунес Ногейра (Leticia Antunes Nogueira), руководитель проекта по искусственному интеллекту, и Ян Уве Рейн (Jan Ove Rein), библиотекарь-исследователь, оба — сотрудники NTNU опубликовали заметку (ч. 1, ч. 2), в которой сосредоточились на критике концепции цитирования языковых моделей в научных публикациях.
В заметке авторы сузили фокус до двух моделей (ChatGPT от OpenAI или Claude от Anthropic), так как предполагают, что пользователи, которые работают с инструментами, применяющими возможности GenAI в сочетании с другими системами (например, Perplexity и Scopus AI), будут ссылаться на оригинальные источники.
В политике ведущих мировых издательств и академических организаций существует общее мнение насчет того, что чат-боты не отвечают минимальным требованиям к авторству, однако вопрос о том, можно ли (и следует ли) цитировать чат-боты в качестве источников, остается открытым.
Сторонники цитирования сообщений чат-ботов отмечают, что цитирование необходимо как минимум по двум причинам:
· признание чужого вклада и влияния идей;
· раскрытие источников информации.
Эти два, казалось бы, простых аспекта связаны с некоторыми противоречиями.
Противники цитирования (и иногда использования) чат-ботов подчеркивают, что результаты, полученные с использованием ИИ, преимущественно невозможно отследить, воспроизвести или проверить. В дополнение к этим ощутимым аргументам, исследователи акцентируют внимание на нескольких этических аспектах:
🔹Ответственность авторов
Языковая модель не может нести ответственность за утверждения, включенные в публикацию от её «лица». Одно дело цитировать организацию (например, доклад ООН), и совсем другое — чат-бота. Организации состоят из людей и поэтому несут ответственность за предоставляемую информацию, чат-бот или его разработчики нести такую ответственность не могут.
🔹Загрязнение информационной среды
Упоминание чат-ботов в источниках ведет к загрязнению информационных экосистем. Если для обучения больших языковых моделей использовать данные, сгенерированные ИИ (т. е. тексты из Интернета, академические тексты и т. д.), это приведет к ухудшению качества моделей.
🔹ИИ — не истина в последней инстанции
Чат-боты не создавались как инструменты для информационных целей. Неопределенность в отношении качества их ответов обусловлена назначением и структурой чат-ботов, а не степенью технологической зрелости. Большие языковые модели (LLM) основаны на моделях использования языка, а не на информации, и вероятностны по своему принципу работы, а это означает, что некорректный результат в таком случае — особенность, а не ошибка.
APA рекомендует цитировать текст, полученный от чат-бота, как результат работы алгоритма: а именно, ссылаться на автора алгоритма в списке источников. Дело в том, что результаты «переписки» с ChatGPT невозможно воспроизвести. Сейчас в APA такие данные часто цитируются как личная переписка, но это не совсем корректно, потому что сгенерированный текст не исходит от чьей-либо личности. В то же время ICMJE и Elsevier занимают однозначную позицию и рекомендуют авторам не ссылаться на чат-боты.
Появление чат-ботов бросает вызов устоявшимся представлениям об источниках, информации и знании, которые совсем недавно считались само собой разумеющимися. Тем не менее, в эпоху искусственного интеллекта обеспечение целостности информационной экосистемы требует все больших усилий. По мнению авторов, поскольку связность и смыслы в любом случае находятся «в глазах смотрящего», наборы слов, полученные в результате вероятностных вычислений, нельзя назвать ни источниками, ни информацией, ни знаниями. Текст, генерируемый чат-ботами — скорее, воплощение отсутствия информации.
#ChatGPT #ИИ #искусственныйинтеллект #цитирование
Растущий интерес к использованию искусственного интеллекта (ИИ) в написании научных работ и ряд скандалов, связанных с его недобросовестным применением в академической сфере, провоцируют острую дискуссию. Летисия Антунес Ногейра (Leticia Antunes Nogueira), руководитель проекта по искусственному интеллекту, и Ян Уве Рейн (Jan Ove Rein), библиотекарь-исследователь, оба — сотрудники NTNU опубликовали заметку (ч. 1, ч. 2), в которой сосредоточились на критике концепции цитирования языковых моделей в научных публикациях.
В заметке авторы сузили фокус до двух моделей (ChatGPT от OpenAI или Claude от Anthropic), так как предполагают, что пользователи, которые работают с инструментами, применяющими возможности GenAI в сочетании с другими системами (например, Perplexity и Scopus AI), будут ссылаться на оригинальные источники.
В политике ведущих мировых издательств и академических организаций существует общее мнение насчет того, что чат-боты не отвечают минимальным требованиям к авторству, однако вопрос о том, можно ли (и следует ли) цитировать чат-боты в качестве источников, остается открытым.
Сторонники цитирования сообщений чат-ботов отмечают, что цитирование необходимо как минимум по двум причинам:
· признание чужого вклада и влияния идей;
· раскрытие источников информации.
Эти два, казалось бы, простых аспекта связаны с некоторыми противоречиями.
Противники цитирования (и иногда использования) чат-ботов подчеркивают, что результаты, полученные с использованием ИИ, преимущественно невозможно отследить, воспроизвести или проверить. В дополнение к этим ощутимым аргументам, исследователи акцентируют внимание на нескольких этических аспектах:
🔹Ответственность авторов
Языковая модель не может нести ответственность за утверждения, включенные в публикацию от её «лица». Одно дело цитировать организацию (например, доклад ООН), и совсем другое — чат-бота. Организации состоят из людей и поэтому несут ответственность за предоставляемую информацию, чат-бот или его разработчики нести такую ответственность не могут.
🔹Загрязнение информационной среды
Упоминание чат-ботов в источниках ведет к загрязнению информационных экосистем. Если для обучения больших языковых моделей использовать данные, сгенерированные ИИ (т. е. тексты из Интернета, академические тексты и т. д.), это приведет к ухудшению качества моделей.
🔹ИИ — не истина в последней инстанции
Чат-боты не создавались как инструменты для информационных целей. Неопределенность в отношении качества их ответов обусловлена назначением и структурой чат-ботов, а не степенью технологической зрелости. Большие языковые модели (LLM) основаны на моделях использования языка, а не на информации, и вероятностны по своему принципу работы, а это означает, что некорректный результат в таком случае — особенность, а не ошибка.
APA рекомендует цитировать текст, полученный от чат-бота, как результат работы алгоритма: а именно, ссылаться на автора алгоритма в списке источников. Дело в том, что результаты «переписки» с ChatGPT невозможно воспроизвести. Сейчас в APA такие данные часто цитируются как личная переписка, но это не совсем корректно, потому что сгенерированный текст не исходит от чьей-либо личности. В то же время ICMJE и Elsevier занимают однозначную позицию и рекомендуют авторам не ссылаться на чат-боты.
Появление чат-ботов бросает вызов устоявшимся представлениям об источниках, информации и знании, которые совсем недавно считались само собой разумеющимися. Тем не менее, в эпоху искусственного интеллекта обеспечение целостности информационной экосистемы требует все больших усилий. По мнению авторов, поскольку связность и смыслы в любом случае находятся «в глазах смотрящего», наборы слов, полученные в результате вероятностных вычислений, нельзя назвать ни источниками, ни информацией, ни знаниями. Текст, генерируемый чат-ботами — скорее, воплощение отсутствия информации.
#ChatGPT #ИИ #искусственныйинтеллект #цитирование
Оценка влияния внедрения ИИ в науку
Быстрое развитие искусственного интеллекта (ИИ) затрагивает практически все сферы. Неудивительно, что применение ИИ всё чаще встречается в науке, о чем свидетельствует неумолимо растущее (особенно с 2015 года) количество упоминаний терминов этой сферы в заголовках и аннотациях статей. На днях в Nature Human Behaviour вышла статья, авторы которой подвергли количественной оценке использование и потенциальные преимущества ИИ в научных исследованиях.
Исследователи из Северо-Западного университета (Northwestern University) сопоставили данные более 74 миллионов публикаций с 1960 по 2019 год из Microsoft Academic Graph, охватывающих 19 дисциплин и 292 области, с данными о чуть более 7 миллионах патентов, выданных в период с 1976 по 2019 год Ведомством по патентным и товарным знакам США (USPTO), что позволило проанализировать практическое применение ИИ в научных исследованиях. Также авторы проанализировали встречаемость терминов ИИ в заголовках и аннотациях статей.
Основные результаты работы сводятся к следующему:
• упоминание ИИ в статьях повышает их цитируемость как внутри своей области, так и за ее пределами;
• почти каждая дисциплина включает в себя некоторые области, которые видят потенциал в применении ИИ (см. рис.);
• междисциплинарное сотрудничество способствует стремительному развитию использования ИИ в науке;
• есть разрыв между применением ИИ и обучением ИИ (спрос превышает предложение);
• ИИ может усугубить существующее неравенство в науке (например, демографическое и гендерное).
Искусственный интеллект как открывает новые исследовательские пути, так и является источником неразрешимых проблем, например, этических. Цифровизация и внедрение инструментов ИИ в науку вынуждают трансформировать и переосмыслять традиционные академические форматы, ресурсы и практики.
Кстати, завтра, 23 октября в 16:00, Центр научной интеграции НИУ ВШЭ проведет вебинар с элементами тренинга «Ученый в эпоху перемен: ключевые навыки для построения академической карьеры», на котором среди прочего будет затронута тема влияния глобальных изменений последних 5 лет на деятельность ученого, а также будет поднят вопрос развития необходимых навыков для построения академической карьеры в нестабильное время.
Формат вебинара предполагает взаимодействие. В рамках тренинга будет возможность познакомиться с исследователями из научных и образовательных организаций, а также поделиться своим опытом развития в академической среде. Регистрация доступа по ссылке.
#Искусственныйинтеллект #Центрнаучнойинтеграции
#ИИ #MAG
Быстрое развитие искусственного интеллекта (ИИ) затрагивает практически все сферы. Неудивительно, что применение ИИ всё чаще встречается в науке, о чем свидетельствует неумолимо растущее (особенно с 2015 года) количество упоминаний терминов этой сферы в заголовках и аннотациях статей. На днях в Nature Human Behaviour вышла статья, авторы которой подвергли количественной оценке использование и потенциальные преимущества ИИ в научных исследованиях.
Исследователи из Северо-Западного университета (Northwestern University) сопоставили данные более 74 миллионов публикаций с 1960 по 2019 год из Microsoft Academic Graph, охватывающих 19 дисциплин и 292 области, с данными о чуть более 7 миллионах патентов, выданных в период с 1976 по 2019 год Ведомством по патентным и товарным знакам США (USPTO), что позволило проанализировать практическое применение ИИ в научных исследованиях. Также авторы проанализировали встречаемость терминов ИИ в заголовках и аннотациях статей.
Основные результаты работы сводятся к следующему:
• упоминание ИИ в статьях повышает их цитируемость как внутри своей области, так и за ее пределами;
• почти каждая дисциплина включает в себя некоторые области, которые видят потенциал в применении ИИ (см. рис.);
• междисциплинарное сотрудничество способствует стремительному развитию использования ИИ в науке;
• есть разрыв между применением ИИ и обучением ИИ (спрос превышает предложение);
• ИИ может усугубить существующее неравенство в науке (например, демографическое и гендерное).
Искусственный интеллект как открывает новые исследовательские пути, так и является источником неразрешимых проблем, например, этических. Цифровизация и внедрение инструментов ИИ в науку вынуждают трансформировать и переосмыслять традиционные академические форматы, ресурсы и практики.
Кстати, завтра, 23 октября в 16:00, Центр научной интеграции НИУ ВШЭ проведет вебинар с элементами тренинга «Ученый в эпоху перемен: ключевые навыки для построения академической карьеры», на котором среди прочего будет затронута тема влияния глобальных изменений последних 5 лет на деятельность ученого, а также будет поднят вопрос развития необходимых навыков для построения академической карьеры в нестабильное время.
Формат вебинара предполагает взаимодействие. В рамках тренинга будет возможность познакомиться с исследователями из научных и образовательных организаций, а также поделиться своим опытом развития в академической среде. Регистрация доступа по ссылке.
#Искусственныйинтеллект #Центрнаучнойинтеграции
#ИИ #MAG
