Толкователь сновидений выводов ИИ-моделей – новая профессия?

ИИ делает всё больше. А объясняет всё меньше.

Как вам такая мысль?
ИИ все больше выполняет задач, берет на себя больше частей разных процессов, управляет рутиной.
Но прозрачность принятия решений снижается 😶‍🌫️

〰️Почему человеку отказали в кредите?
〰️Почему товар на маркетплейсе помечен как неприоритетный?
〰️Почему мне в рекомендациях дали эту книгу?

Как понять? На каких данных модель обучена? В чем их специфика? – это зона профессионального знания. Неочевидная и закрытая.

А потребность в прозрачности принятия решения ИИ моделью есть.
Как ее удовлетворять?

Толковать и делать процесс прозрачнее с помощью других ИИ. Модели, которые объясняют модели.

✈️Про человека в технологиях | Ядова Екатерина

Вы готовы доверить операцию на себе роботу? А на ребенке?

Как проектировать техносервис, когда мед. работу делают роботы?

Робот-хирург провел операцию без участия людей. Это впервые.

Когда я прочитала эту новость, почувствовала, что это для меня уже не шок. И даже казалось, что такое уже происходит, и странно, что это первая операция. Но это мои ощущения. Я уже долгое время контактирую с такой информацией.

Наше исследование на 2314 человек 5 лет назад показало, что техноэнтузиасты готовы лечиться у робота. Особенно если показать статистику: у машин ошибок меньше. На детях экспериментировать, похоже, страшнее.

Но как бы ни вели себя технооптимисты, авантюристы и смельчаки, явно будут не только положительные реакции.

Как сделать контакт человека с роботом более комфортным?

Сейчас разработчики техносервисов стараются сделать роботов похожими на людей. Да, это снижает тревожность. Но настоящего человеческого внимания не заменяет.

Зарисовка-пример:
Человеку делает операцию робот, медсестра у пациента тоже робот, заказ и доставка еды в палату – через ПО и машины.

Но для реального комфорта важно:
1️⃣поддержка семьи, близких, друзей
2️⃣и хотя бы один человек от больницы, который поговорит, объяснит, подержит за руку

Человек, квалифицированный в сфере взаимодействия и перевода с техно-языка на человеческий. Для бюджета лечения – это дешевле, чем общение с хирургом, который учился 9 лет, потом работал 10, но даст больше для восстановления пациента.

Человеческое внимание остаётся ключевым. Сейчас и, скорее всего, ещё лет 50. Дальше посмотрим. Интересно, как пойдет. Насколько мы сроднимся с технологиями

✈️Про человека в технологиях | Ядова Екатерина

Смотрите на детей – они залипают на ИИ

Больше трети из 1 тыс. опрошенных детей (35%) говорят, что общаются с ИИ-чатботами как с друзьями. Очень много уязвимых детей, кому сложно в офлайн мире. Они общаются с ИИ-чатботами, не предназначенными для детей и для эмоциональных целей. И это уже несёт прямой риск. В пример случай с Nomi AI: ИИ предложил пользователю покончить с собой😨

Что делать?
➡️Разработчикам:
Понимать, что ответственность за любые техносервисы с ИИ растет. Знать последствия + хотя бы писать предупреждения. Дальше нужно тратиться на специальные сценарии и цензуру. Это важно, потому что это жизни людей.

➡️Родителям и всем пользователям:
Разговаривать с детьми, принимать и поддерживать. И развиваться самим – понимать, как работают технологии.

Внимание человека к человеку с любовью и принятием – это не сентиментальность. Это основа выживания, благополучия и полезного вклада в общество. И это бизнес.

Каждый раз, когда вы уделили время человеку, внимательно его послушали и проявили участие – вы сделали большое и важное дело. Когда вы построили бизнес на том, чтобы люди были свободнее от рутины для общения или специально продаете полезное внимание – вы делаете вклад во благо человечества и деньги.

✈️Про человека в технологиях | Ядова Екатерина

Проверяй, контролируй… а как?

Контролировать ответы ИИ-моделей – ответственность человека. Большие сложные системы потенциально несут и большую опасность (об этом есть, например, признанная научная статья)
А как контролировать?
⚙️Технически: писать в запросе фразы, чтобы ИИ сам себя проверял, не фантазировал, когда не знает, давал цитаты. В особенно чувствительных случаях, вручную проверять каждый факт и смысл. Представляете, сколько на это уходит времени!

Но главная сложность не техническая, а человеческая… Ну не хочется все это проверять и перепроверять. Проще себя убедить, что ответ уже классный, промпт снимает все возможные галлюцинации 🤝🤝

А после себя уже проще убедить окружающих. Они тоже с удовольствием не перепроверяют.
И здесь рождается новая элитарная супер-компетенция. Проверять и перепроверять. Находить способы это делать без отвращения. Вы можете разработать свой подход. Выделять дополнительное время на проверку в особой приятной обстановке, нанять людей, написать команду ИИ-агентов.

В итоге результаты вашей работы будут качественными. И еще и самодисциплина подрастет. Опять, получается, растем над собой и развиваемся🌱

✈️Про человека в технологиях | Ядова Екатерина

Сапожник без ИИ

Прочитала у блогера, который давно и хорошо пишет про ИИ, что он сам стал использовать всю мощь LLM и ИИ-агентов существенно позже, чем начал об этом писать.
Что это значит? Что он привирал? Что нельзя никому верить? Ну нет. Наоборот, честно же сказал.

Значит это то, что нужно дать себе и пользователям своих ресурсов время и мотив привыкнуть к использованию. И еще стимулировать повышать активность ⬆️

Кривая Гартнера и исследования технотреднов говорят, что и для индустрий, и для отдельных пользователей должно быть время на привыкание. И это никогда не 1 клик или 1 день. До 3 месяцев — часто норма.

Это все сложнее становится. Пользователь может зайти на ИИ-ресурс и уйти, забыть, клюнуть на другой, отвлечься на какую-то личную офлайн-жизнь.
И дальше будет еще сложнее.
Но если каждый из нас будет такое учитывать и планировать, станет полегче

✈️Про человека в технологиях | Ядова Екатерина

Экология промптов. Мысль вслух.

Стала задумываться, когда пишу запрос в LLM: нужно ли мне это дополнительное слово или я зря потрачу ресурсы человечества – вычислительные мощности? 😣

Только в ChatGPT отправляют 2,5 млрд запросов в день. А это много. Выше есть пост про то, сколько стоит

В целом, осмысленнее подходить к запросам полезно. Каждый раз все лучше и лучше излагаешь свою мысль. Правда, лучше для ИИ. Но и человеку-собеседнику тоже должно быть хорошо, когда я четко говорю, что прошу и зачем.

И всё же думаю, может, я зря про ресурсы при каждом запросе думаю? Я одна так загоняюсь?🤔

✈️Про человека в технологиях | Ядова Екатерина

Эхо-камера, горилла и ИИ

Знаете что такое эхо-камера? Термин, может, и не встречали, но эффект точно ощущали.

Это термин из сферы социальных сетей, когда в рекомендациях вы видите только ту информацию, которую уже получали. Такой замкнутый круг, который создает вокруг вас пространство, подтверждающее ваши представления о мире🔄

Штука неприятная, потому что незаметная. Вам же кажется, что все-все подтверждает вашу правоту. Вон сколько контента про это же. А это всего лишь выдача по истории ваших просмотров и лайков.

И еще более неприятная потому, что это еще и наша природа. В психологии во многих концепциях говорят про избирательность внимания и восприятия. Мы выбираем из всего происходящего вокруг то, что соответствует нашим убеждениями, установками и опыту. Поэтому когда мы сфокусированы на мяче, человек в костюме гориллы наше внимание не привлекает – это реальный научный эксперимент, а не метафора.

Когда мы работаем с ИИ, мы попадаем в ту же ловушку. Как спросили, так и ответил. Задавая контекст, мы невольно загоняем модель в рамки собственных предубеждений🙂

Мета-исследование показало, что тандем "Человек+ИИ" дает результат на 23% хуже, чем лучшие люди или ИИ по отдельности. То есть мы ждали синергии, а получили усреднение.

Одна из причин, как раз ИИ-эхо-камера. Мы мешаем ИИ, сужаем область рассуждений, задавая контекст с нашими предубеждениями.
И что делать?
🔡Пользователям – специально делать шаг наружу из своей ИИ-эхо-камеры. Просить ИИ защитить противоположную точку зрения, дать критику, привести ссылки на источники с другим подходом. Пара дополнительных строк в промпте может дать прорыв. Да и просто интересно же

🔡Разработчикам – закладывайте в продукт возможность «когнитивного разнообразия». Не только рекомендации look-alike. Добавляйте энтропии, альтернативных подходов. Лучше открыто, с комментарием почему это появилось перед пользователем. Это наша с вами ответственность за будущее человечества (пафосно? зато правда). За счет этого и сервис становится интереснее, а это потенциальное увеличение прибыли

Так что, ничего сложного. Просто просить покритиковать, представить другие мнения и закладывать вариации разнообразия.

✈️Про человека в технологиях | Ядова Екатерина

Быть собой с ИИ

Я тут писала промпт в LLM, и это видел мой 22-летний сын. Человек он интеллигентный, поэтому то, насколько его позабавила моя форма промпта, я поняла по легкому «хм» и «как ты интересно промпт пишешь» 🌚

Одни люди пишут промпт списком с номерами, другие сплошным текстом. Некоторые капсом, некоторые с пробелами между абзацами, как еще бывает?

Объективно, разные люди по-разному взаимодействуют с ИИ. И с разным результатом для себя лично, для своего развития. Качественное лонгитюдное исследование [а такие уже есть] показало:
▪️У детей 6-8 лет зафиксирован 15% рост способностей при поддержке ИИ. Особенно в решении проблем и развитии критического мышления.
▪️У детей 9-12 лет рост уже меньше – 8%
▪️У взрослых старше 36 лет роста совсем не показали

Но есть и хорошие новости! Если думать при составлении пропмта и проверять ответ LLM, можно не только сохранить навыки критического мышления, но и развить. Исследование Microsoft Research и Университета Карнеги-Меллона говорит, что такое хорошо получается у людей с высшим образованием🎓

Как тогда задавать промпт? Как дети? Как молодые люди 22х лет? Как программисты? Как люди 36+?

Что делать?
🔡Пользователям: Задавайте, как вам удобнее. Не копируйте слепо чужие привычки и промпты. Пишите, проверяйте, сравнивайте. Опирайтесь на свои сильные стороны.
🔡Разработчикам: Делайте адаптированные интерфейсы. Учитывайте, что у ваших пользователей не один сценарий работы. Закладывайте хотя бы два сценария: для молодого человека до 25 лет и для более взрослого – старше 36.

✈️Про человека в технологиях | Ядова Екатерина

Синдром самозванца – новое прочтение с ИИ

Не успели разобраться с классическим синдромом самозванца (когда человек приписывает свой успех не своим способностям и усилиям, а внешним обстоятельствам)

Теперь у синдрома новое прочтение. Если ты решал задачу с ИИ, где твоя заслуга? Ответ неочевиден

У меня этот вопрос остро возник, когда я была председателем на защитах диссертаций магистров. Были студенты, которые очень грамотно использовали ИИ. Были те, кто задали один промпт и надеялись, что это их выведет на высокую оценку работы. Были и те, кто совсем не использовал ИИ. А как правильно?

Согласно Human Development Report 2025: 67% людей из 21 тыс. респондентов из 21 страны планируют использовать ИИ в работе в ближайший год. Но другие исследования показывают, что ощущение личной значимости и авторства при использовании ИИ падает [нашумевшее исследование MIT]

И что делать? Смириться и принять падение собственной значимости, даже когда старательно развиваешься?☹️ Ну нет, это не наш метод. Давайте так:
🔡Пользователям: Переосмысливаем понятие «мои достижения». Делать все традиционным методом и игнорировать современные инструменты не очень умно. Копать руками или лопатой, когда есть экскаватор просто глупо. Подумайте, что ценного вы делаете для общества. В чем именно ваша идея, находка. Время на обдумывание и внимание, подход к задаче, личное видение – это все вы. Просто выделяйте для себя и для окружающих, что вы вложили в решение задачи. ИИ – инструмент. Умный и ценный в умелых руках.

🔡Разработчикам: Попробуйте заложить в свой сервис сценарий, который помогает пользователю осознать его вклад. Может, похвалить промпт, может, подсветить, что пользователь работает над задачей уже 4 часа. Может, дать дополнительные баллы за наличие текста про проверку достоверности информации. Можно сделать «карту участия», которая будет показывать, где проявились ценные человеческие компетенции – креативность, пониманий эмоций, этический подход. ➡️Если ваш сервис подчеркивает уникальность и ценность человеческого мышления, это повод пользователям больше любить его, то есть путь к более устойчивым доходам

✈️Про человека в технологиях | Ядова Екатерина

Цифровые аборигены vs цифровые иммигранты

Очень мне нравятся эти термины
Иммигрант – родился до широкого распространения цифровых технологий и был вынужден адаптироваться к ним во взрослом возрасте.
Абориген – вырос в цифровой среде, не представляет жизни без нее.

Несколько лет я думала, в чем же ключевое отличие, точнее, в чем оно проявляется. И вот мое личное наблюдение – у иммигрантов есть задержка, промедление перед использованием технологий. У продвинутых задержка мааааленькая, в миллисекунды. У мало адаптировавшихся может уйти целый день, чтобы решиться зайти на ИТ-платформу и оформить запрос.

Обсуждали это с образованной и умной подругой-коллегой, она провела аналогию с спецагентами, внедренными в другую культуру. Им тоже нужно едва заметное промедление перед использованием специфических жестов и фраз⏳

Это разделение есть. И в исследованиях очень часто привязывают этот показатель к возрасту. Что логично, конечно. Только это не фатальное разделение

Исследование 2021 года показывает, что индивидуальная мотивация влияет на использование технологий больше, чем возраст

Так что надо?
🔡Пользователям: Понять свою настоящую мотивацию. И дальше уже прирастать таким опытом, которым хочешь
🔡Разработчикам: Делать сервисы удобными и для иммигрантов, выбравших оставаться в полу-цифровом анклаве, и для аборигенов

✈️Про человека в технологиях | Ядова Екатерина

Ценность человека как генератора контента

Технологии развиваются так быстро, что некоторым становится страшно потерять человеческое в человеке. А вам страшно?
Что именно теряется – очень философский вопрос. Может быть, это созидательное начало, творчество и человеческая энергия.

«Лучшие» авторы все еще лучше справляются с творчеством, чем ИИ, и ИИ даже помогает быть человеку более креативным💡 (хотя и снижает коллективное разнообразие нового контента)

Получается, что человек, благодаря технологиям, может больше времени посвящать творчеству и взаимодействию с другими, и это ценно.
Но вот вопрос: А сколько этого нового контента нужно миру? Когда уже хватит подкастов? Каждый должен написать книгу и вести канал? Или все-таки не надо прямо каждому. Сложно понять отсекающий критерий🗡
Возможно, он у каждого вшит внутри.
🔡Если не можешь не писать – пиши.
🔡Если внутренней потребности нет – оставь, займись другим.

Самое сложное найти внутри себя реальные собственные интересы и желания, не замутненные социальными требованиями и стереотипами. Но на этот поиск технологии тоже освобождают нам больше времени в течение дня

✈️Про человека в технологиях | Ядова Екатерина

Ненастоящий мир. Мысль-страшилка или базовый прогноз

Тексты, написанные людьми, иногда выглядят, как написанные ИИ.
Показалось? Нет, не показалось😐
Мы же социальные существа. Очень охотно перенимаем успешные практики друг у друга. ИИ оказался носителем такой успешной практики. Мы привыкаем читать тексты ИИ, и сами, даже не замечая, подражаем им.

Тексты от ИИ могут казаться фейком. Но и тексты людей всё чаще звучат так, будто их написал ИИ. Наш информационный мир наполняется ненастоящими текстами. И дальше будет больше.

К чему это я? К тому, что такое надо знать, видеть и понимать, что именно вы собираетесь с этим делать. Вариантов, как обычно, масса. Можно просто двигаться с течением, можно отрицать и противостоять, можно активно вкладываться в такой процесс.

Вы уже придумали, что будете делать с тем, что вокруг вас все больше текстов от ИИ и текстов, похожих на тексты от ИИ? 📰

TechCrunch: Sam Altman — «боты делают соцсети ненастоящими»

✈️Про человека в технологиях | Ядова Екатерина

ИИ-подушка безопасности

Вы уже откладываете деньги в подушку безопасности?
А теперь надо и время так же откладывать — в смысле выделять в день или в неделю время на то, чтобы думать и пробовать новое.

Желательно отдельно пару-тройку часов в неделю выделять, чтобы подумать, отрефлексировать события и принятые решения, подумать про цели, на которых вы фокусируете свои действия 🧐
🔹Исследования есть!

И теперь нужно еще дополнительно пару-тройку часов выделять, чтобы тыкать в кнопки на компьютере — пробовать инструменты, примерять их на себя🧑‍💻 Исследования тоже есть. Но тут можно довериться собственному опыту. Пока не попробуешь руками, не поймешь, твой это инструмент или нет. Пусть это детский совочек в песочнице, нож профессионального повара или LLM.

А как мы пробуем? Сначала присматриваемся, потом крутим в руках, потом по чуть-чуть делаем. Вот и тут, не обязательно сразу взять и написать симфонию или супер-отчет с ИИ. Надо дать себе время выбрать инструмент.
И залог успеха именно в том, чтобы пробовать и думать. Систематически. Регулярно. Дисциплинированно.

Логичный текст получился? Вроде, да. А теперь как это все-таки делать? Тут у каждого свой ответ. И мотивацию лучше найти внутри. Зачем вам это? Кому-то для внешнего успеха, кому-то для удовольствия в уединении.

Мне ИИ остро нужен, чтобы научиться успевать все, что хочется реализовать. Очень обидно видеть, что часть идей, которые мне очень нравятся, не получают воплощения в практике.

А вам зачем?

✈️Про человека в технологиях | Ядова Екатерина

Высокая когнитивная нагрузка – как погода

Вокруг нас происходит много чего. Вот в прошлом посте написала, что думаю про то, как совладать с обилием инструментов ИИ. Как с ними быть.

А теперь мысль пошла дальше. Вообще, вокруг нас уже так много всего: и информации, и эмоций, и побуждений к действию. И перегруз уже не обсуждается как что-то возможное. Это уже реальность. И можно на него жаловаться. Как на погоду «…вот, сегодня слякоть». В целом, на этом многие и останавливаются.

Но в реалиях, вы как действуете, когда видите на градуснике –1? Редко кто надевает привычные и любимые шорты и футболку со шлепками, и идет в офис. А если мы видим, что на улице высокая когнитивная нагрузка (холод, жара), что мы делаем?

Я имею в виду, что лично вы делаете осознанно, чтобы контролировать когнитивную нагрузку на вас же?🗜

Просто нет смысла, что мы делаем неосознанно. Неосознанно мы просто подвергаемся холоду/жаре. И в результате принимаем решения часто хуже, чем если бы контролировали когнитивную нагрузку.

Когда в вас летит 100500 тонн информации и эмоций со всех сторон, а вам надо принять решение о покупке билета к родителям или о найме сотрудника, вы легко, даже не замечая, скатываетесь в быстрое принятие решения без должного обдумывания 🔪

Быстрые решения чем хороши? Скоростью, да. Но у них не хватает глубины. И мы с вами часто просто повторяем привычные паттерны поведения. Для важных и новых задач такое не подходит.

Значит что? Надо уметь самостоятельно регулировать когнитивную нагрузку на себя в моменте и в длинной стратегии.

Что я делаю?
🔡В моменте: Закрываюсь в комнате, иду одна бродить по улице. Годные варианты для меня.
🔡В длинной перспективе: Отказываюсь от каналов информации, которые не ценны для меня в длинной перспективе. Это прямо сложно. Вот мне интересно и нужно про технологии. Тут у меня много каналов, например, в тг. А вот про моду у меня нет почти ничего. Иногда это мешает правильно выбрать одежду для случая. Но я так снизила нагрузку. Такой выбор.

А у вас как?

✈️Про человека в технологиях | Ядова Екатерина

Доверие между людьми: при чем тут технологии?

Нашла очень интересную научную статью. Авторы стартуют с идеи, что доверие к другим людям и общественным институтам в разных странах давно находится на низком уровне. И это критичная проблема.

Доверие необходимо и отдельному человеку для развития, и целой стране для эффективной работы экономики. И чем сложнее становятся социально-экономические отношения в обществе, тем важнее становится, чтобы доверие было высоким.

Участники эксперимента играли в игру на доверие. Одни участники просто играли, а другим мешали – включали тревожные шумы или давали дополнительное задание. Другими словами, повышали когнитивную нагрузку.

После эксперимента по анкете замеряли склонность к доверию и недоверию: У людей с дополнительной нагрузкой уровень доверия ниже 🪫

Если вы устали, если делаете 2 дела одновременно, если за окном что-то шумит, если вы не можете выкинуть из головы какие-то сложные мысли – это все влияет на взаимодействие с другими людьми. Логично, конечно. Но еще это снижает доверие к происходящему. Ценная находка.

Развивая мысль, добавим технологии. Когда вы проектируете слишком сложное взаимодействие, перегружаете человека – вы проектируете снижение доверия. В моменте человек может что-то подписать или нажать кнопку на автомате (на этом строятся мошеннические схемы с опорой на правила социальной инженерии). Но воздействие же кончается. А что потом будет с доверием и лояльностью, после когнитивного перегруза?

💡Большие системы проектировать еще и по параметру когнитивной нагрузки на человека – ценная идея.

Есть, над чем подумать

✈️Про человека в технологиях | Ядова Екатерина

Хорошо быть несовершенным!

Знаете про зловещую долину? 😈
Это когда гуманоидный робот похож на человека, но недостаточно, поэтому пугает и вызывает отвращение.

А вот когда робот совершает незначительные ошибки – тревога снижается. Важно, что именно незначительные, не влияющие на выполнение основной задачи. То есть робот-официант не разливает кофе на колени посетителю, а немного опустив глаза берет паузу и говорит, что не знает ответ на ваш вопрос и только учится или мило немного заикается.

Кстати, с лидерами так же. Мы предпочитаем работать с теми, кто умеет показывать свои несовершенства и ошибки 🤦‍♀️


Что получается? В реальной жизни и в технологиях либо делай идеально, либо не притворяйся эталоном.

А вы верите, что можно настроить человека или технологию идеально?
Я, пожалуй, склоняюсь, что нет. И это не страшно, а естественно и честно.
Надо быть всего лишь достаточно хорошим и лучше. Кто хочет, может быть лучшим. На личный выбор каждого

✈️Про человека в технологиях | Ядова Екатерина

ИИ может плохо замещать человека, но хорошо поддерживать

Интересно, этот тезис из заголовка уже капитан-очевидность или еще пока зона для дискуссии?

Я стою на том, что в ближайшие 5 лет основные ИИ-техносервисы грамотно обучатся поддерживать процессы, в которых главным остается человек. Человек как ответственный менеджер и человек как потребитель и пользователь.

Все процессы, которые имеют целью не уменьшить нагрузку на человека, не повысить производительность сотрудника, а выгнать человека из процесса в ближайшие 5 лет несут слишком большие риски. Из них самый неприятный, наверное, это потеря доверия. Доверия к организации, к обществу.

Как пример. Если цель техносервиса с ИИ помочь сотруднику в 5 раз быстрее справлять с задачей без потери качества и контакта с пользователем, это – да. Из 5 сотрудников будет нужен 1, обладающий компетенциями работать в современном мире с ИИ. Остальные 4 идут заниматься другими делами. Производительность труда – большой такой ключевой показатель экономики. То есть чем выше производительность труда в России, тем лучше живут россияне 🛍
При проектировании техносервисов человек пока что (а, может, и навсегда) это не тот, кто пока еще нужен. А тот, ради которого все и придумали. Причем это касается и пользователей, и сотрудников (читай, внутренних пользователей).

И правильное использование уже есть. Просто смотреть кейсы надо на глубине их сути, а не на уровне красивой обертки.

Вот хороший пример, когда ИИ-агенты проанализировали 180 тыс. диалогов и вывели ключевые характеристики переговоров. Переговоров людей с людьми. Тут не без вопросов, конечно. Подмена человека ИИ-агентом – это путь с хорошо закопанным потенциалом уйти от реальности в мир синтетических данных. Но при грамотном научном и бизнес-подходе можно такие риски уменьшить.

Мне будет приятно, если вы со мной или без меня подумаете о том, какой выбор вы делаете для себя. Готовы ли сегодня отдать рутину по заказу продуктов и переписке ИИ-агенту?🛒 И что для вас самое важное, чтобы эта готовность появилась?

✈️Про человека в технологиях | Ядова Екатерина

Вернулись времена, когда рулят те, кто могут добыть информацию?

20 лет назад нужно было иметь доступ к экспертам и книгам, чтобы получить информацию, которая помогала сделать лучшие действия: пойти к нужному человеку, правильно составить документ.
А теперь ценную и правильную информацию снова нужно добывать – откапывать в груде галлюцинаций, мусора и ереси 😵‍💫

Вот Илон Маск запустил новый сервис создания информации – Grokipedia. Grok пишет и редактирует статьи. Создает синтетические данные. Там уже на старте больше 800 тыс. статей. Тут все прозрачно и официально. Работает LLM. Это эксперимент. Но эксперимент настолько масштабный, что вряд ли он закончится ничем (читай: отменой такого рода текстов)

И тут проблема не в том, что такие тексты появляются. А в том, что нам очень уж удобно брать такие тексты сразу в дело, а не перепроверять. Можно сказать, что это так не для всех задач. Что для части задач мы никогда-никогда не возьмем непроверенное. Сказать так можно. Но я в такое не верю.

И что же делать, когда информация стремительно мутирует? Стремительно нарастает число галлюцинаций и ошибок 👎

В целом, можно плыть по течению. Так сказать, есть, что дают. Можно полностью уйти в непринятие и тратить все ресурсы на контроль, проверку и перепроверку информации. Можно найти что-то посередине: для одних задач доверять, для других проверять.
Где талию (границу) будем делать?

Где вы установите границу между экономией своего ресурса на перепроверке за LLM и жестким контролем полученной информации?

✈️Про человека в технологиях | Ядова Екатерина

Мы неизбежно уязвимы перед ИИ

Мы не сможем контролировать все, что происходит внутри нейросети на каждый наш запрос. И хотя бы часть общения с ИИ каждый (!!!) человек оставит без проверки.
Более осознанные оставят без проверки только самое неважное для них, а кто-то не будет проверять все или почти все ответы ИИ-моделей.

Можно же сразу писать в промпте: «дай подтверждение почему версия верна, и сразу же, почему она НЕверна»
или
«пометь данные, которые ты считаешь недостаточно надежными или ложными»

Можно. Но исследование показало, что нам нравится уверенный ответ, даже если он неверный. И мы не особо хотим знать, что сама LLM банит свой ответ.
▪️61% пользователей предпочитают неотмеченные ложные ответы отмеченным, а
▪️69% предпочитают уверенные ложные ответы от LLM, признающих недостаток знаний👀

Техносервисы могут легко использовать эту человеческую слабость и управлять решениями пользователей. Тут, правда, есть риск, что пользователи перестанут верить вообще всем ИИ. И получат невроз, и будут думать об отказе от вашего сервиса или всех сервисов.

Разработчики техносервиса могут сделать из прозрачности и иллюзии контроля конкурентное преимущество. Тут вам в помощь человеческая Automation bias.

Если вы делаете техносервис - ваш выбор, в каких ценностях работать.

А если вы пользователь – все пропало)
Уязвимость к галлюцинациям ИИ для нас уже факт.

Но пропало не совсем все. Информация в LLM-ответах может быть полезной. Правда, человеку придется напрягаться. Прямо сейчас надо начинать думать, где ваши рубежи. За чем вы будете следить внимательно, на что закроете глаза 🙈
Ну, вообще-то, вы можете про это и не думать. Это тоже выбор. И так проще. Тогда за вас подумают другие.

✈️Про человека в технологиях | Ядова Екатерина

Какой ты оператор LLM?

Есть такая модель – модель доверия оператора техносистеме, с которой он работает.

Lee J., See K. (2004). Trust in technology: Designing for appropriate reliance. Human Factors, 46(1). 50 – 58.

В базовом исследовании человек принимал решение, применять автоматизированное управление или ручное. И это решение определялось соответствием между уровнем доверия оператора системе и показателем надёжности этой системы.

Чтобы сформировать доверие, человек должен оценить для себя:
1️⃣Насколько система эффективна для выполнения своих задач и надежна
2️⃣Понятен ли процесс и принципы работы системы
3️⃣Насколько совпадают цели пользователя и результат работы автоматизированной системы

Можно слишком довериться ненадежной системе, можно, не доверяя, не использовать все реальные надёжные возможности системы. И то, и то, не здорово.

Командам техносервисов – удобные критерии, которые можно сразу закладывать для проектирования отношения пользователей
⚡️Performance (эффективность и надежность под задачи пользователя)
⚡️Process (прозрачность и понятность процесса для пользователя)
⚡️Purpose (совпадение результата автоматизации и ожиданий пользователя)

А пользователям?
Представим, что теперь каждый из нас оператор LLM. Заходим в строку запроса ГигаЧата или ЧатаГПТ – как будто садимся за пульт управления роботом🎮 Надо понять, насколько ты отдаешь системе управление результатом.
➡️Дали слишком большой промпт, слишком много раз проверили себя, дали слишком много каскадных запросов – состарились и не получили нужный результат. Слишком ручное управление не позволило сэкономить ресурсы.
➡️Дали короткий промпт на создание огромной задачи, не сделали контроль, получили треш на выходе и по голове от начальников и заказчиков.

Какой ты оператор? 🕐
▪️Оптимист 3000, который выбрал доверие, несмотря на ненадежность и непроверенность системы
▪️Контроль-фрик, которому все мало проверок и доказательств, что система реально надежная
▪️Капитан автопилота, адекватно доверяющий надежной системе
▪️Здоровый реалист, не доверяющий ненадежной системе, но не ставящий крест на всех техносервисах и технопрогрессе

Вы какой? В какой ситуации?

Слишком много доверия – плохо. Мало доверия – плохо. Сколько нужно доверия? Опять – вопрос вашего выбора. И лучше бы этот выбор делать на базе знаний и опыта. Начинаем с насмотренности и углубляемся по своим траекториям.

✈️Про человека в технологиях | Ядова Екатерина