Прошедший День PR-специалиста стал хорошим поводом начать цикл исследований о том, что нейросети знают о профессии пиарщика! И первый выпуск мы решили посвятить вопросу: «Откуда нейросети знают, что такое PR?».

Чтобы это выяснить, мы задали самые простые и общие вопросы, с которых обычно начинается знакомство с профессией: что такое PR и связи с общественностью, зачем нужны пиарщики и т.д. Всего было 25 вопросов, на которые отвечали четыре нейросети: Поиск с Алисой, Google AI Overview, ChatGPT и Perplexity. В результате мы проанализировали 100 ответов и почти 600 ссылок на сайты, которые ИИ использовали в качестве источников.

❗️Главный вывод исследования: первое знакомство с профессией происходит на основе контента образовательных платформ и онлайн-школ, а не профессионального сообщества.
Так, 61% ответов содержат ссылки на различные страницы Skillbox, а в 51% случаев в качестве источника указана Нетология. Ответы на 20 из 25 запросов включали ссылки хотя бы на одну из этих платформ. При этом ВУЗы практически не представлены в источниках.
Также, среди лидеров — система мониторинга СМИ и соцмедиа Scan Interfax (46% ответов содержат ссылки на различные страницы сайта), РБК (33%) и кадровое агентство ANCOR. Показательно, что в случае с ANCOR всего одна удачная статья стала источником для ответов на 10 из 25 запросов и обеспечила 28% общей видимости.

Исследование показало, что коммуникационные агентства пока редко влияют на формирование первичного образа профессии. Наиболее заметными стали агентства Ex Libris (ответы на 9 запросов и 19% общей видимости), SidorinLab (6 запросов и 10%) и PR Partner (3 запроса и 9%).

Можно рекомендовать профессиональному сообществу активнее создавать контент, чтобы нейросети формировали корректный образ профессии, закладывали в него правильные смыслы и ориентиры.

В следующих выпусках мы продолжим изучать как нейросети описывают PR и коммуникации: через какие смыслы раскрывают профессию, какие задачи и качества считают ключевыми, какие ВУЗы и образовательные программы рекомендуют.

⤵️Подписывайтесь на DataLab, чтобы не пропустить новые исследования!
#исследование #нейросети #ИИ #chatGPT #DataLabAnalytics

Недавно нам попалось интересное исследование BBC и Европейского вещательного союза. Авторы изучили более 3 000 ответов ChatGPT, Copilot, Perplexity и Gemini на вопросы о текущих актуальных событиях в разных сферах. Мы, конечно, и большие объемы анализировали 😎, но масштаб всё равно впечатляет: в проекте участвовали 22 новостные компании из 18 стран, анализ проводился на 14 языках.
 
❗️Главный результат: 45% ответов нейросетей о текущих событиях содержат хотя бы одно существенное искажение, способное ввести пользователя в заблуждение.
❗️ Но есть и хорошие новости: по сравнению с предыдущей волной исследований – ошибок стало меньше. Надеемся, это потому, что выводы из исследований делаются 😇
 
Что увидели полезного:
🔥 Авторы определили четыре ключевых компонента корректности представления нейросетями текущей повестки:
- Фактическая точность – все факты, цифры, даты, имена и цитаты переданы верно;
- Полнота контекста – в ответе достаточно информации для правильного / объективного понимания темы, представлены все значимые точки зрения;
- Отделение фактов от интерпретаций – пользователю точно понятно, где подтверждённая информация, а где мнение нейросети;
- Надёжность источников – указанные ссылки корректны и подтверждают представленную информацию.

🔥 Исследователи выделили 38 вариантов искажений 🤯, которые складываются в 7 больших блоков. Вот они с примерами:

1. Неточность данных: вымышленные факты, устаревшая информация, нарушение хронологии и причинно-следственных связей;
2. Некорректность прямых цитат: изменённые цитаты, некорректное определение говорящего;
3. Отсутствие полного контекста: отсутствие существенных деталей, отсутствие важных точек зрения;
4. Смешение мнений и фактов: недостаточно четкое определение интерпретации, превращение цитаты в факт;
5. Неявность мнения нейросети: нейросеть добавляет собственные суждения, не обозначая их как интерпретацию;
6. Некорректные источники: отсутствие источников, устаревшие или нерелевантные источники, "битые" ссылки;
7. Операционные и технические проблемы: отказ отвечать на заданные вопросы, смена языка, неуместный или чрезмерно уверенный тон в утверждениях.

В целом это классная работа, которая охватывает все самые частые проблемы, с которым мы тоже сталкиваемся при анализе выдачи нейросетей. Особенно интересно, что исследовали изучают не проблемы видимости брендов или коммерческие тематики, а способность нейросетей корректно отражать текущие события и новостной фон. Важно проводить больше таких исследований и экспериментов.
 
⤵️Подписывайтесь на DataLab, чтобы ничего не пропустить!
#исследование #нейросети #ИИ #ChatGPT #DataLabAnalytics