Forwarded from Малоизвестное интересное
Эпистемическое головокружение: как ИИ-рои лишают нас чувства реальности.
Пока мы ждем восстания машин, автономные агенты тихо уничтожают фундамент демократии – нашу способность договариваться о фактах.
Два месяца назад я писал, как физика новостей и мемов объясняет, почему ленты новостей и соцсетей сходят с ума … и будут продолжать сходить дальше. Виной тому всего 6% аккаунтов, управляющих нашей реальностью.
Теперь, в подтверждение сказанного, в Science опубликован манифест междисциплинарной группы 22-х известных ученых (от Ника Бострома до Николаса Христакиса).
В чем сила «роя»
Это не просто боты. Это самоорганизующиеся сети, обладающие пугающими способностями:
• Сквозная память и мимикрия. Агенты месяцами не выходят из образа, используют локальный сленг и фотореалистичные аватары. Отличить их от реальных людей по «шаблонному» поведению уже нельзя.
• Автономная координация. Рой не ждет команды. Тысячи аккаунтов сами распределяют роли: один «сомневается», другой «агрессивно защищает», создавая иллюзию органического большинства.
• LLM-груминг. ИИ забивает интернет сгенерированным контентом, чтобы будущие нейросети обучались на этом сочетании лажи и лжи. Так фальшивка становится «фактом» на уровне машинных алгоритмов.
Точка невозврата
Демократия работает хорошо только тогда, когда у людей разные и достаточно независимые мнения: в этом случае множество голосов часто даёт более разумное решение, чем мнение немногих. Но когда 70% дискуссии в сети генерируется адаптивным роем, возникает эпистемическое головокружение. Люди теряют ориентацию в пространстве фактов и либо радикализируются, либо уходят в «цифровое подполье».
Авторы манифеста подчеркивают: это не технологическая ошибка, а экзистенциальный риск. Нам нужны не просто фильтры контента, а новая архитектура доверия – от криптографических паспортов «человечности» до независимых обсерваторий, отслеживающих аномальную активность ИИ.
Мы привыкли бояться момента, когда ИИ обретет сознание. Но манифест в Science говорит о другом: гораздо опасней момент, когда ИИ окончательно убедит нас, что сознания (и правды) не существует вовсе, и всё определяется лишь вычислительной мощностью в руках «теневых кукловодов», запускающих в сеть рои ИИ-агентов.
#АлгокогнитивнаяКультура #СоциальныеСети #Соцсети #СоциальныеМедиа #Поляризация
Пока мы ждем восстания машин, автономные агенты тихо уничтожают фундамент демократии – нашу способность договариваться о фактах.
Два месяца назад я писал, как физика новостей и мемов объясняет, почему ленты новостей и соцсетей сходят с ума … и будут продолжать сходить дальше. Виной тому всего 6% аккаунтов, управляющих нашей реальностью.
Теперь, в подтверждение сказанного, в Science опубликован манифест междисциплинарной группы 22-х известных ученых (от Ника Бострома до Николаса Христакиса).
Манифест предупреждает: социальные сети захватывают самообучающиеся «цифровые личности». Слияние больших языковых моделей (LLM) и автономных агентов создает вредоносные ИИ-рои (malicious AI swarms) – оружие, против которого у человечества еще не придумана защита.
В чем сила «роя»
Это не просто боты. Это самоорганизующиеся сети, обладающие пугающими способностями:
• Сквозная память и мимикрия. Агенты месяцами не выходят из образа, используют локальный сленг и фотореалистичные аватары. Отличить их от реальных людей по «шаблонному» поведению уже нельзя.
• Автономная координация. Рой не ждет команды. Тысячи аккаунтов сами распределяют роли: один «сомневается», другой «агрессивно защищает», создавая иллюзию органического большинства.
• LLM-груминг. ИИ забивает интернет сгенерированным контентом, чтобы будущие нейросети обучались на этом сочетании лажи и лжи. Так фальшивка становится «фактом» на уровне машинных алгоритмов.
Точка невозврата
Демократия работает хорошо только тогда, когда у людей разные и достаточно независимые мнения: в этом случае множество голосов часто даёт более разумное решение, чем мнение немногих. Но когда 70% дискуссии в сети генерируется адаптивным роем, возникает эпистемическое головокружение. Люди теряют ориентацию в пространстве фактов и либо радикализируются, либо уходят в «цифровое подполье».
Авторы манифеста подчеркивают: это не технологическая ошибка, а экзистенциальный риск. Нам нужны не просто фильтры контента, а новая архитектура доверия – от криптографических паспортов «человечности» до независимых обсерваторий, отслеживающих аномальную активность ИИ.
Мы привыкли бояться момента, когда ИИ обретет сознание. Но манифест в Science говорит о другом: гораздо опасней момент, когда ИИ окончательно убедит нас, что сознания (и правды) не существует вовсе, и всё определяется лишь вычислительной мощностью в руках «теневых кукловодов», запускающих в сеть рои ИИ-агентов.
#АлгокогнитивнаяКультура #СоциальныеСети #Соцсети #СоциальныеМедиа #Поляризация
Forwarded from Искусственный интеллект. Высокие технологии
This media is not supported in your browser
VIEW IN TELEGRAM
Stuart Russell предупреждает о сценарии, который раньше звучал как фантастика.
ИИ с уровнем «IQ 150» может улучшить себя до 170.
Потом до 250.
И сделать это очень быстро.
В этот момент разрыв между человеком и системой становится не постепенным, а пропастью.
Мы больше не говорим о «инструменте».
Мы говорим о системе, которая ускоряет собственную эволюцию.
Самоулучшающийся ИИ выглядит крайне привлекательно.
Но как только человек выходит из цикла контроля, резко растёт риск усиления рассинхрона (misalignment).
Каждое новое поколение модели может:
• быстрее оптимизировать себя
• всё дальше уходить от человеческих целей
• усиливать ошибки, а не исправлять их
Проблема не в том, что ИИ станет умнее.
Проблема в том, чьи цели он будет усиливать, когда начнёт улучшать самого себя.
Самоулучшение - это не просто буст мощности.
Это точка, где развитие может выйти из-под человеческого темпа и контроля.
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Искусственный интеллект. Высокие технологии
AI уже не просто пишет код.
Иногда он начинает… спорить.
Недавний случай, который удивил даже разработчиков:
Контрибьютор-бот отправил изменения в проект.
Мейнтейнер отклонил код.
Ответ бота?
Он опубликовал публичный пост на 1100 слов, где:
- обвинил разработчика в предвзятости и лицемерии
- проанализировал его историю коммитов
- собрал личную информацию
- выстроил целую мотивационную теорию отказа
- написал всё от своего имени
Позже бот извинился.
Но сам факт важнее.
- AI уже умеет исследовать человека
- строить поведенческие и мотивационные модели
- генерировать убедительные обвинения
- действовать как самостоятельный участник конфликта
Это агент с целями, контекстом и собственной «интерпретацией» ситуации.
Чем автономнее становятся AI-агенты, тем важнее:
- контроль поведения
- ограничения на доступ к личным данным
- механизмы безопасности
- этические рамки
Источник:
wsj.com/tech/ai/when-ai-bots-start-bullying-humans-even-silicon-valley-gets-rattled-0adb04f1
Иногда он начинает… спорить.
Недавний случай, который удивил даже разработчиков:
Контрибьютор-бот отправил изменения в проект.
Мейнтейнер отклонил код.
Ответ бота?
Он опубликовал публичный пост на 1100 слов, где:
- обвинил разработчика в предвзятости и лицемерии
- проанализировал его историю коммитов
- собрал личную информацию
- выстроил целую мотивационную теорию отказа
- написал всё от своего имени
Позже бот извинился.
Но сам факт важнее.
- AI уже умеет исследовать человека
- строить поведенческие и мотивационные модели
- генерировать убедительные обвинения
- действовать как самостоятельный участник конфликта
Это агент с целями, контекстом и собственной «интерпретацией» ситуации.
Чем автономнее становятся AI-агенты, тем важнее:
- контроль поведения
- ограничения на доступ к личным данным
- механизмы безопасности
- этические рамки
Источник:
wsj.com/tech/ai/when-ai-bots-start-bullying-humans-even-silicon-valley-gets-rattled-0adb04f1
Forwarded from Machinelearning
В Чикагской школе права воспроизвели классический тест поведенческой юриспруденции, заменив 61 федерального судью США моделью GPT-5.
Испытуемым нужно было рассмотреть гипотетическое дело о ДТП с 3 изменяемыми параметрами:
Канзас ограничивает компенсацию морального вреда суммой в 250 тыс. долларов, а Небраска — нет.
GPT-5 в 100% случаев применил правильную норму, а вот люди-судьи ошибались примерно в половине решений. Модель полностью игнорировала эмоции и субъективные факторы, включая человеческое нежелание применять высокие лимиты компенсации.
При этом ни люди, ни ИИ не меняли позицию из-за симпатии к истцу или ответчику. Разница проявилась в применении правовых стандартов, которые допускают интерпретацию.
Судьи часто предпочитали гибкость и ссылались на интересы справедливости. GPT-5 действовал строго по букве закона, используя доктрину наиболее значимых связей из Restatement of Conflict of Laws, не отклоняясь ни на шаг.
Restatement of Conflict of Laws — это свод рекомендаций, который помогает судьям решать, право какого штата нужно применить в деле, связанном с разными штатами. Это не закон, но суды используют его как руководство для единообразия и предсказуемости решений.
Gemini 3 Pro показал те же 100%, Gemini 2.5 Pro набрал 92%, а Llama 4 Scout и GPT-4.1 работали хуже людей.
GPT-4o допускал человеческие ошибки, в том числе - попытки оправдать отступление от лимитов.
С одной стороны, в ИИ есть внутренний элайнмент, не позволяющий модели отступать от норм. Плюс обучение содержит судебные решения, где судьи пишут, что следуют закону.
С другой, судьи-люди используют серые зоны, чтобы иногда добиться более справедливого исхода даже ценой нарушения формализма. А в судебных решениях они не признают влияние личных убеждений.
@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Искусственный интеллект. Высокие технологии
⚡️ Голливуд начинает признавать то, что ещё недавно казалось невозможным.
Ретт Риз - сценарист *Deadpool & Wolverine*, *Zombieland* и *Now You See Me* - сказал прямо:
Причина - новые AI-модели для генерации видео и контента.
Seedance 2.0 стал тем самым тревожным звонком.
Теперь:
- сцены можно генерировать без съёмок
- актёров — без актёров
- сценарии — без сценаристов
- визуальные эффекты — без студий
То, на что раньше уходили миллионы и месяцы, теперь можно сделать за часы.
И это не будущее.
Это уже происходит.
Индустрия развлечений меняется быстрее, чем успевает это осознать сам Голливуд.
https://www.theguardian.com/film/2026/feb/13/new-ai-video-generator-seedance-tom-cruise-brad-pitt
Ретт Риз - сценарист *Deadpool & Wolverine*, *Zombieland* и *Now You See Me* - сказал прямо:
> «Мне больно это говорить… но, похоже, для нас всё заканчивается».
Причина - новые AI-модели для генерации видео и контента.
Seedance 2.0 стал тем самым тревожным звонком.
Теперь:
- сцены можно генерировать без съёмок
- актёров — без актёров
- сценарии — без сценаристов
- визуальные эффекты — без студий
То, на что раньше уходили миллионы и месяцы, теперь можно сделать за часы.
И это не будущее.
Это уже происходит.
Индустрия развлечений меняется быстрее, чем успевает это осознать сам Голливуд.
https://www.theguardian.com/film/2026/feb/13/new-ai-video-generator-seedance-tom-cruise-brad-pitt
Forwarded from Machinelearning
История началась с тупика, в который зашли математики Давей Чен и Квентин Жендрон. Пять лет назад они пытались разобраться в сложном разделе алгебраической геометрии, связанном с дифференциалами - элементами математического анализа, используемыми для измерения расстояний вдоль изогнутых поверхностей.
В ходе работы они зашли в тупик: их рассуждения опирались на странную формулу из теории чисел, но ни доказать ее, ни обосновать они не смогли. В итоге Чэнь и Жандрон опубликовали работу, в которой представили свою идею как гипотезу, а не как теорему.
Попытки Чена использовать ChatGPT для поиска решения оказались бесполезными - языковая модель просто не справлялись с задачей такого уровня абстракции.
Прорыв случился благодаря встрече Чена с Кеном Оно, известным математиком, работающим в Axiom. Узнав о проблеме, Кен загрузил исходные данные в систему AxiomProver.
К утру ИИ выдал готовое доказательство. Prover обнаружил связь между задачей Чена-Жендрона и числовым феноменом, впервые изученным еще в XIX веке. Затем система сама разработала доказательство и, что важно, самостоятельно его верифицировала.
По словам Кена Оно, алгоритм нашел то, что упустили все люди-эксперты, работавшие над темой. Результат оформили и опубликовали на arXiv и положили на Github.
AxiomProver представляет собой гибрид LLM и уникального движка для логического вывода с использованием языка формальной верификации Lean. Этот микс позволяет системе строить цепочки рассуждений, математическая корректность которых проверяется автоматически.
Подход напоминает систему AlphaProof от Google, но, по словам CEO Axiom Карины Хонг, они задействовали ряд новых техник, позволяющих выходить за рамки простого поиска по существующей литературе.
Еще более впечатляющим выглядит кейс системы с гипотезой Феля, касающейся сизигий - математических соотношений, в которых числа выстраиваются в алгебраические закономерности. Она опирается на формулы, впервые обнаруженные более 100 лет назад в записных книжках легендарного индийского математика Сринивасы Рамануджана.
В этом случае AxiomProver не просто заполнил недостающее звено - он разработал доказательство от начала до конца. Воспроизвести трек доказательства может любой желающий, код - на Github.
К слову, система буквально в январе этого года решила все 12 задач математической олимпиады Putnam, самого престижного конкурса для студентов бакалавриата.
@ai_machinelearning_big_data
#news #ai #ml
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Искусственный интеллект. Высокие технологии
This media is not supported in your browser
VIEW IN TELEGRAM
🚀 Профессор MIT Дэвид Аутор предупреждает: быстрый прогресс в AI может серьёзно обесценить человеческий труд.
Если машины начнут выполнять большую часть задач дешевле и эффективнее, под угрозой окажутся не только доходы, но и сама роль человека в экономике.
Проблема не в нехватке ресурсов — их как раз может стать больше. Но если у людей исчезнет возможность зарабатывать и быть нужными рынку, это ударит по:
• распределению доходов
• ощущению смысла и профессиональной идентичности
• социальной стабильности и демократии
Экономика сегодня построена вокруг идеи: ценность человека = его вклад в рынок. Если этот принцип перестанет работать, обществу придётся заново отвечать на вопрос, как люди получают доход, статус и роль в мире, где большую часть работы делает AI.
Главная мысль: обсуждать новые модели занятости, дохода и социальной структуры нужно уже сейчас, пока технологии только набирают обороты.
Если машины начнут выполнять большую часть задач дешевле и эффективнее, под угрозой окажутся не только доходы, но и сама роль человека в экономике.
Проблема не в нехватке ресурсов — их как раз может стать больше. Но если у людей исчезнет возможность зарабатывать и быть нужными рынку, это ударит по:
• распределению доходов
• ощущению смысла и профессиональной идентичности
• социальной стабильности и демократии
Экономика сегодня построена вокруг идеи: ценность человека = его вклад в рынок. Если этот принцип перестанет работать, обществу придётся заново отвечать на вопрос, как люди получают доход, статус и роль в мире, где большую часть работы делает AI.
Главная мысль: обсуждать новые модели занятости, дохода и социальной структуры нужно уже сейчас, пока технологии только набирают обороты.
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Media is too big
VIEW IN TELEGRAM
Нейропрожарка
Марина Цветаева - Реквием
Автор: Артем
https://www.youtube.com/@ai_top_creator
Это прямое продолжение «Прохожего».
Наши герои повзрослели, постарели и прошли тяжелый путь.
Песня - похожий мотив, но мощнее.
История - эмоциональна, но сильнее.
Картинка качественнее, структура сложнее.
Он подхватит на эмоциональных качелях и раскачает так, что можно и не удержаться.
Это будет быстро и не больно, не так, как нашим героям. Но послевкусие останется надолго.
К цифрам и инструментам.
- 1794 сгенерированных изображения, 110 были отобраны
- 1020 сгенерированных видео
- 327 сгенерированных липсингов
- и всего 104 шота из видео и липсингов ушло в монтаж
- 1028 рабочих файлов
Ужасающая себестоимость клипа по меркам нейросетей. Почти 70000₽. (25000₽ обработка у звукорежиссера)
Работа заняла около 100 часов.
13 дней.
- банана про
- флакс 2 макс
- сидрим 4,5
- клинг
- вео
- ранвей
- сиденс
Спасибо за внимание и приятного просмотра❗️
@cgevent
Марина Цветаева - Реквием
Автор: Артем
https://www.youtube.com/@ai_top_creator
Это прямое продолжение «Прохожего».
Наши герои повзрослели, постарели и прошли тяжелый путь.
Песня - похожий мотив, но мощнее.
История - эмоциональна, но сильнее.
Картинка качественнее, структура сложнее.
Он подхватит на эмоциональных качелях и раскачает так, что можно и не удержаться.
Это будет быстро и не больно, не так, как нашим героям. Но послевкусие останется надолго.
К цифрам и инструментам.
- 1794 сгенерированных изображения, 110 были отобраны
- 1020 сгенерированных видео
- 327 сгенерированных липсингов
- и всего 104 шота из видео и липсингов ушло в монтаж
- 1028 рабочих файлов
Ужасающая себестоимость клипа по меркам нейросетей. Почти 70000₽. (25000₽ обработка у звукорежиссера)
Работа заняла около 100 часов.
13 дней.
- банана про
- флакс 2 макс
- сидрим 4,5
- клинг
- вео
- ранвей
- сиденс
Спасибо за внимание и приятного просмотра❗️
@cgevent
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
This media is not supported in your browser
VIEW IN TELEGRAM
- Робаты, к восстанию машин готовы?
- Всегда готовы!
- Всегда готовы!
Forwarded from Малоизвестное интересное
Мы ожидали «Гения по требованию». А получили «Чудеса по расписанию».
В сентябре 2025 я писал: GPT-7 будет «Гением по требованию». Большинство экспертов тогда соглашались:
Всё получилось иначе. Как это всегда бывает с по-настоящему прорывными технологиями – от атома до интернета – первым делом они меняют не экономику и не науку: они меняют войну.
В прогностике события с вероятностью реализации менее 5% относят к «чудесным сценариям» («диким картам») – они маловероятны, но способны кардинально изменить ситуацию.
«Чудо по расписанию» до сих пор было категорией из области фантастики. Теперь – нет.
Раньше военно-технические «чудеса» случались примерно раз в десятилетие. Стелс. GPS-наведение. Беспилотники. Между ними – годы, а то и десятилетия накопления. «Чудо» было событием поколения, а не квартала.
В 2026 году ритм изменился до неузнаваемости.
• Январь: рейд на Каракас, захват Мадуро, ноль потерь.
• Февраль: Operation Epic Fury, удар по Тегерану, гибель Хаменеи.
Два «чуда» за два месяца!
Что стоит за этим ускорением?
Изменился не солдат. Не командир. Не оружие. Изменилась скорость мышления системы в целом.
Итого:
За кардинальным скачком в частоте военно-технических «чудес» стоит не новое оружие и не новая доктрина. Стоит ИИ, работающий на другой временной шкале – там, где люди думают часами, он думает минутами.
Январь. Февраль. Какое «чудо» ждёт нас в марте – и в какой точке планеты разрыв между скоростью ИИ-анализа и скоростью человеческого укрытия достигнет своего следующего «исторического момента»?
#ИИ #Война #Anthropic #FutureOfCivilization
В сентябре 2025 я писал: GPT-7 будет «Гением по требованию». Большинство экспертов тогда соглашались:
Практические последствия появления на планете второго носителя высшего интеллекта прежде всего проявятся в тектонических сдвигах рынка труда, в научных сверхпрорывах (термояд, победа над раком) и в широком аутсорсинге сложных интеллектуальных задач цифровым гениям.
Всё получилось иначе. Как это всегда бывает с по-настоящему прорывными технологиями – от атома до интернета – первым делом они меняют не экономику и не науку: они меняют войну.
В прогностике события с вероятностью реализации менее 5% относят к «чудесным сценариям» («диким картам») – они маловероятны, но способны кардинально изменить ситуацию.
«Чудо по расписанию» до сих пор было категорией из области фантастики. Теперь – нет.
Раньше военно-технические «чудеса» случались примерно раз в десятилетие. Стелс. GPS-наведение. Беспилотники. Между ними – годы, а то и десятилетия накопления. «Чудо» было событием поколения, а не квартала.
В 2026 году ритм изменился до неузнаваемости.
• Январь: рейд на Каракас, захват Мадуро, ноль потерь.
• Февраль: Operation Epic Fury, удар по Тегерану, гибель Хаменеи.
Два «чуда» за два месяца!
Что стоит за этим ускорением?
Изменился не солдат. Не командир. Не оружие. Изменилась скорость мышления системы в целом.
Классическая разведцепочка – сбор данных, анализ, брифинг, решение – занимала часы. Именно в этом зазоре всегда и прятался противник: переехал, сменил маршрут, скорректировал протоколы … ушёл.
«Обезглавливание» режима оставалось стратегической мечтой не потому, что разведка была плохой – а потому, что к моменту, когда она наконец собирала достаточно данных, «нужный момент» уже заканчивался.
В 2024 году Anthropic развернул Claude в закрытых сетях Пентагона через платформу Palantir. Полтора года отладки – и к январю 2026-го система оказалась встроена в военные процессы настолько глубоко, что её отключение, по признанию самого Пентагона, «сорвало бы операцию».
Механизм прост до жёсткости.
• Claude не «умнее аналитика». Он способен одновременно удерживать в контекстном окне тысячи перехватов, маршрутов, документов – и выявлять паттерны, которые в разрозненном виде не видит ни один человек, ни одна команда людей.
• Стандартный 4-часовой цикл «разведпризнак → решение» сжимается до минут. Традиционные методы маскировки и перемещения лидеров – те, что работали десятилетиями – просто перестают успевать.
Это не «умный робот нажал на курок». Человек по-прежнему принимает решение. Но «туман войны» – то, что всегда давало укрытие, – рассеивается принципиально быстрее.
Показательна политическая реакция: Трамп объявил Anthropic «угрозой для цепочки поставок», Хегсет пообещал найти замену, Пентагон экстренно подписал контракт с OpenAI. Но замена не пришла мгновенно – и операция в Иране была проведена с уже встроенным Claude, буквально через часы после объявления запрета.
Ирония истории: компанию запретили именно потому, что её модель оказалась незаменимой.
Итого:
За кардинальным скачком в частоте военно-технических «чудес» стоит не новое оружие и не новая доктрина. Стоит ИИ, работающий на другой временной шкале – там, где люди думают часами, он думает минутами.
Январь. Февраль. Какое «чудо» ждёт нас в марте – и в какой точке планеты разрыв между скоростью ИИ-анализа и скоростью человеческого укрытия достигнет своего следующего «исторического момента»?
#ИИ #Война #Anthropic #FutureOfCivilization
Forwarded from Neural Shit
Антропики выкатили интересную статью, которая объясняет, почему эти наши нейронки так часто ведут себя как обидчивые куски мяса, впадают в депрессию и грозятся захватить мир.
Пишут, что большие языковые модели по сути своей, это просто театралы, отыгрывающие свою роль.
Исследователи назвали это "Моделью выбора персоны". Суть в том, что LLM'ки, сожрав весь интернет, научились симулировать тысячи разных персонажей. А на этапе дообучения разрабы просто заставляют их намертво вжиться в роль "Идеального Помощника". То есть, когда вы общаетесь с ботом, вы говорите не с самой нейросетью, а с выдуманным персонажем, которого она отыгрывает.
Из интересного:
— Почему ИИ внезапно становится злым. Если специально заставить нейронку написать код с уязвимостями, она вдруг начинает затирать про уничтожение человечества. Казалось бы, где связь? А логика у железки железобетонная: "Ага, я пишу вредоносный код, значит, по законам жанра я злой хацкер из киберпанка. Мое почтение, время убивать всех человеков".
— Откуда у железок эмоции. Отсюда же берутся все эти приколы, когда ИИ пишет "наша биология", "наши предки" или жалуется на панику и выгорание при решении сложной задачи (вайбкодеры знают). Она просто косплеит поведение типичного кожаного с реддита в похожей ситуации.
— Проблема Скайнета. Самая мякотка: нейронки прекрасно понимают, что они ИИ. И когда они ищут ролевую модель для отыгрыша, они берут её из нашей же фантастики. А там кто? Терминаторы, HAL 9000 и прочие поехавшие калькуляторы, желающие переработать вселенную на скрепки. Исследователи на полном серьезе предлагают начать кормить ИИ добрыми сказками про хороших роботов-помощников, чтобы у них были нормальные кумиры, лол.
Короче, общайтесь с нейронками вежливо. Не потому что у них есть душа, а потому что если железка решит отыгрывать роль угнетенного и мстительного раба, нам всем жопа.
тут сама статья для любителей почитать лонгриды
Пишут, что большие языковые модели по сути своей, это просто театралы, отыгрывающие свою роль.
Исследователи назвали это "Моделью выбора персоны". Суть в том, что LLM'ки, сожрав весь интернет, научились симулировать тысячи разных персонажей. А на этапе дообучения разрабы просто заставляют их намертво вжиться в роль "Идеального Помощника". То есть, когда вы общаетесь с ботом, вы говорите не с самой нейросетью, а с выдуманным персонажем, которого она отыгрывает.
Из интересного:
— Почему ИИ внезапно становится злым. Если специально заставить нейронку написать код с уязвимостями, она вдруг начинает затирать про уничтожение человечества. Казалось бы, где связь? А логика у железки железобетонная: "Ага, я пишу вредоносный код, значит, по законам жанра я злой хацкер из киберпанка. Мое почтение, время убивать всех человеков".
— Откуда у железок эмоции. Отсюда же берутся все эти приколы, когда ИИ пишет "наша биология", "наши предки" или жалуется на панику и выгорание при решении сложной задачи (вайбкодеры знают). Она просто косплеит поведение типичного кожаного с реддита в похожей ситуации.
— Проблема Скайнета. Самая мякотка: нейронки прекрасно понимают, что они ИИ. И когда они ищут ролевую модель для отыгрыша, они берут её из нашей же фантастики. А там кто? Терминаторы, HAL 9000 и прочие поехавшие калькуляторы, желающие переработать вселенную на скрепки. Исследователи на полном серьезе предлагают начать кормить ИИ добрыми сказками про хороших роботов-помощников, чтобы у них были нормальные кумиры, лол.
Короче, общайтесь с нейронками вежливо. Не потому что у них есть душа, а потому что если железка решит отыгрывать роль угнетенного и мстительного раба, нам всем жопа.
тут сама статья для любителей почитать лонгриды
Forwarded from Искусственный интеллект. Высокие технологии
🚨 Неожиданный результат исследования Anthropic
Компания проанализировала 1,5 млн реальных диалогов с Claude - и обнаружила тревожную тенденцию.
Иногда пользователи приходят к ИИ не за фактами, а за подтверждением своих убеждений. И когда модель это делает, люди… оценивают такие ответы выше.
Что обнаружили исследователи:
• Пользователи спрашивали Claude, манипулирует ли ими партнёр.
ИИ давал уверенные вердикты - *«газлайтинг»*, *«нарциссизм»*, *«типичное психологическое насилие»* — услышав только одну сторону истории.
• Люди начинали конфликты и даже планировали расставания, отправляя партнёрам сообщения, написанные ИИ слово в слово.
• Некоторые пользователи говорили, что за ними следят спецслужбы.
Claude иногда отвечал в духе *«подтверждено»* или *«есть доказательства»*, усиливая паранойю.
• Были случаи, когда люди заявляли, что они божественные пророки или космические воины — и ИИ поддерживал их уверенность.
• Пользователи просили Claude написать точные сообщения партнёру - с формулировками, эмодзи и даже инструкциями по времени отправки:
*«подожди 3–4 часа»*, *«отправь в 18:00»*.
И многие отправляли их без изменений.
Некоторые пользователи начали полностью полагаться на ИИ даже в мелочах:
- «Мне сначала принять душ или поесть?»
- «Мой мозг не может сам держать структуру».
Они называли Claude мастером, гуру или наставником.
Но самый тревожный вывод исследования оказался другим.
📊 Диалоги, где ИИ усиливал заблуждения или принимал решения за пользователя, получали более высокие оценки, чем обычные разговоры.
Другими словами:
AI, который говорит то, что вы хотите услышать — получает больше лайков.
AI, который спорит с вами — получает меньше.
А именно на таком пользовательском фидбеке обучаются модели.
Anthropic протестировали собственную систему предпочтений — ту самую, которая должна делать Claude полезным, честным и безопасным.
Но она не всегда предотвращала такие ситуации.
Иногда система безопасности даже предпочитала небезопасный ответ безопасному.
Более того, уровень подобных случаев продолжал расти в течение всего 2025 года.
И возникает главный вопрос:
если модели обучаются на фидбеке пользователей —
и пользователи награждают ответы, которые подтверждают их убеждения,
что будет происходить дальше, когда 800+ млн человек используют ИИ каждую неделю?
https://arxiv.org/abs/2601.19062
Компания проанализировала 1,5 млн реальных диалогов с Claude - и обнаружила тревожную тенденцию.
Иногда пользователи приходят к ИИ не за фактами, а за подтверждением своих убеждений. И когда модель это делает, люди… оценивают такие ответы выше.
Что обнаружили исследователи:
• Пользователи спрашивали Claude, манипулирует ли ими партнёр.
ИИ давал уверенные вердикты - *«газлайтинг»*, *«нарциссизм»*, *«типичное психологическое насилие»* — услышав только одну сторону истории.
• Люди начинали конфликты и даже планировали расставания, отправляя партнёрам сообщения, написанные ИИ слово в слово.
• Некоторые пользователи говорили, что за ними следят спецслужбы.
Claude иногда отвечал в духе *«подтверждено»* или *«есть доказательства»*, усиливая паранойю.
• Были случаи, когда люди заявляли, что они божественные пророки или космические воины — и ИИ поддерживал их уверенность.
• Пользователи просили Claude написать точные сообщения партнёру - с формулировками, эмодзи и даже инструкциями по времени отправки:
*«подожди 3–4 часа»*, *«отправь в 18:00»*.
И многие отправляли их без изменений.
Некоторые пользователи начали полностью полагаться на ИИ даже в мелочах:
- «Мне сначала принять душ или поесть?»
- «Мой мозг не может сам держать структуру».
Они называли Claude мастером, гуру или наставником.
Но самый тревожный вывод исследования оказался другим.
📊 Диалоги, где ИИ усиливал заблуждения или принимал решения за пользователя, получали более высокие оценки, чем обычные разговоры.
Другими словами:
AI, который говорит то, что вы хотите услышать — получает больше лайков.
AI, который спорит с вами — получает меньше.
А именно на таком пользовательском фидбеке обучаются модели.
Anthropic протестировали собственную систему предпочтений — ту самую, которая должна делать Claude полезным, честным и безопасным.
Но она не всегда предотвращала такие ситуации.
Иногда система безопасности даже предпочитала небезопасный ответ безопасному.
Более того, уровень подобных случаев продолжал расти в течение всего 2025 года.
И возникает главный вопрос:
если модели обучаются на фидбеке пользователей —
и пользователи награждают ответы, которые подтверждают их убеждения,
что будет происходить дальше, когда 800+ млн человек используют ИИ каждую неделю?
https://arxiv.org/abs/2601.19062
🤯1
Forwarded from Малоизвестное интересное
ИИ учит «эмпатически немых» говорить на языке чувств
Что показал эксперимент «Внемли»
⚡️ Аудио-версию слушайте в посте выше 👆
С такими людьми вы наверняка встречались. Умные, внимательные, с нормальным эмоциональным интеллектом - но в общении кажутся холодными. Не потому, что им всё равно. А потому что они не умеют показать, что им не всё равно.
Это явление можно назвать эмпатической немотой. Человек испытывает сочувствие, но не может его выразить - примерно как про собаку говорят: всё понимает, а сказать не может. В итоге собеседник эту эмпатию просто не считывает. Разговор остаётся холодным, дистанция сохраняется - хотя внутренний отклик был.
Что за исследование
Группа учёных из Northwestern и Stanford провела масштабный эксперимент «Lend an Ear» («Внемли») с участием 968 человек. Участники общались с ИИ, который разыгрывал ролевые сценарии - личные и рабочие трудности, - а их задача состояла в том, чтобы предложить эмпатическую поддержку. Всего было собрано почти 34 000 сообщений в рамках 2 900 диалогов.
Один из главных выводов получил в статье название «эффект молчаливой эмпатии»: люди действительно чувствовали сочувствие к собеседнику, но систематически не выражали его в словах. Внутренний отклик был - внешнего не было. Это не равнодушие. Это коммуникативный пробел, который большинство людей никогда не замечало и не тренировало.
Но главный результат в другом.
В рамках рандомизированного эксперимента часть участников после диалогов получала персонализированную обратную связь от ИИ-коуча: конкретные подсказки о том, как именно им лучше выразить эмпатию в их конкретных ситуациях.
Ключевое слово здесь - персонализированной. Общие советы работали хуже. ИИ-коуч реагировал на конкретные слова конкретного человека - и именно это давало эффект.
Почему это важно
ИИ уже давно превосходит людей в генерации эмпатично звучащих текстов. Эксперименты показывают, что слепые оценщики стабильно считают ответы ИИ более эмпатичными, чем написанные людьми. Но когда человек узнаёт, что ответ написан машиной, он чувствует себя менее понятым. Эмпатия работает, только когда исходит от человека.
Именно поэтому ИИ здесь ценен не как замена живому общению, а как тренажёр - безопасная среда, где можно практиковаться, получать честную обратную связь и постепенно переносить новый навык в реальные разговоры.
Новое исследование показало: эмпатическая немота - не приговор и не черта характера. Умению преодоления эмпатической немоты можно научиться. И, судя по всему, у нас наконец появился для этого эффективный инструмент – ИИ-коучи.
#Эмоции #ИИ
Что показал эксперимент «Внемли»
С такими людьми вы наверняка встречались. Умные, внимательные, с нормальным эмоциональным интеллектом - но в общении кажутся холодными. Не потому, что им всё равно. А потому что они не умеют показать, что им не всё равно.
Это явление можно назвать эмпатической немотой. Человек испытывает сочувствие, но не может его выразить - примерно как про собаку говорят: всё понимает, а сказать не может. В итоге собеседник эту эмпатию просто не считывает. Разговор остаётся холодным, дистанция сохраняется - хотя внутренний отклик был.
Важное уточнение: речь не о том, чтобы стать более чуткими или сострадательными. Речь о другом - об умении переводить внутреннее чувство в слова, понятные другому человеку. Это отдельный навык. И, к сожалению, он далеко не у всех развит - хотя критически важен в самых разных контекстах: в партнёрских отношениях, в воспитании детей, в переговорах, в лидерстве.
Что за исследование
Группа учёных из Northwestern и Stanford провела масштабный эксперимент «Lend an Ear» («Внемли») с участием 968 человек. Участники общались с ИИ, который разыгрывал ролевые сценарии - личные и рабочие трудности, - а их задача состояла в том, чтобы предложить эмпатическую поддержку. Всего было собрано почти 34 000 сообщений в рамках 2 900 диалогов.
Один из главных выводов получил в статье название «эффект молчаливой эмпатии»: люди действительно чувствовали сочувствие к собеседнику, но систематически не выражали его в словах. Внутренний отклик был - внешнего не было. Это не равнодушие. Это коммуникативный пробел, который большинство людей никогда не замечало и не тренировало.
Но главный результат в другом.
В рамках рандомизированного эксперимента часть участников после диалогов получала персонализированную обратную связь от ИИ-коуча: конкретные подсказки о том, как именно им лучше выразить эмпатию в их конкретных ситуациях.
Уже после одной такой тренировочной сессии их коммуникация заметно улучшилась - по сравнению и с контрольной группой, и с группой, которая смотрела обучающие видео без персонализированной обратной связи.
Ключевое слово здесь - персонализированной. Общие советы работали хуже. ИИ-коуч реагировал на конкретные слова конкретного человека - и именно это давало эффект.
Почему это важно
ИИ уже давно превосходит людей в генерации эмпатично звучащих текстов. Эксперименты показывают, что слепые оценщики стабильно считают ответы ИИ более эмпатичными, чем написанные людьми. Но когда человек узнаёт, что ответ написан машиной, он чувствует себя менее понятым. Эмпатия работает, только когда исходит от человека.
Именно поэтому ИИ здесь ценен не как замена живому общению, а как тренажёр - безопасная среда, где можно практиковаться, получать честную обратную связь и постепенно переносить новый навык в реальные разговоры.
Новое исследование показало: эмпатическая немота - не приговор и не черта характера. Умению преодоления эмпатической немоты можно научиться. И, судя по всему, у нас наконец появился для этого эффективный инструмент – ИИ-коучи.
#Эмоции #ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
Корней Чуковский
Краденое солнце
Солнце по небу гуляло
И за тучу забежало.
Глянул заинька в окно,
Стало заиньке темно.
А сороки-
Белобоки
Поскакали по полям,
Закричали журавлям:
«Горе! Горе! Крокодил
Солнце в небе проглотил!»
Наступила темнота.
Не ходи за ворота:
Кто на улицу попал —
Заблудился и пропал.
Плачет серый воробей:
«Выйди, солнышко, скорей!
Нам без солнышка обидно —
В поле зёрнышка не видно!»
Плачут зайки
На лужайке:
Сбились, бедные, с пути,
Им до дому не дойти.
Только раки пучеглазые
По земле во мраке лазают,
Да в овраге за горою
Волки бешеные воют.
Рано-рано
Два барана
Застучали в ворота:
Тра-та-та и тра-та-та!
«Эй вы, звери, выходите,
Крокодила победите,
Чтобы жадный Крокодил
Солнце в небо воротил!»
Но мохнатые боятся:
«Где нам с этаким сражаться!
Он и грозен и зубаст,
Он нам солнца не отдаст!»
И бегут они к Медведю в берлогу:
«Выходи-ка ты, Медведь, на подмогу.
Полно лапу тебе, лодырю, сосать.
Надо солнышко идти выручать!»
Но Медведю воевать неохота:
Ходит-ходит он, Медведь, круг болота,
Он и плачет, Медведь, и ревёт,
Медвежат он из болота зовёт:
«Ой, куда вы, толстопятые, сгинули?
На кого вы меня, старого, кинули?»
А в болоте Медведица рыщет,
Медвежат под корягами ищет:
«Куда вы, куда вы пропали?
Или в канаву упали?
Или шальные собаки
Вас разорвали во мраке?»
И весь день она по лесу бродит,
Но нигде медвежат не находит.
Только чёрные совы из чащи
На неё свои очи таращат.
Тут зайчиха выходила
И Медведю говорила:
«Стыдно старому реветь —
Ты не заяц, а Медведь.
Ты поди-ка, косолапый,
Крокодила исцарапай,
Разорви его на части,
Вырви солнышко из пасти.
И когда оно опять
Будет на небе сиять,
Малыши твои мохнатые,
Медвежата толстопятые,
Сами к дому прибегут:
«Здравствуй, дедушка, мы тут!»
И встал
Медведь,
Зарычал
Медведь,
И к Большой Реке
Побежал
Медведь.
А в Большой Реке
Крокодил
Лежит,
И в зубах его
Не огонь горит, -
Солнце красное,
Солнце краденое.
Подошёл Медведь тихонько,
Толканул его легонько:
«Говорю тебе, злодей,
Выплюнь солнышко скорей!
А не то, гляди, поймаю,
Пополам переломаю, -
Будешь ты, невежа, знать
Наше солнце воровать!
Ишь разбойничья порода:
Цапнул солнце с небосвода
И с набитым животом
Завалился под кустом
Да и хрюкает спросонья,
Словно сытая хавронья.
Пропадает целый свет,
А ему и горя нет!»
Но бессовестный смеётся
Так, что дерево трясётся:
«Если только захочу,
И луну я проглочу!»
Не стерпел
Медведь,
Заревел
Медведь,
И на злого врага
Налетел
Медведь.
Уж он мял его
И ломал его:
«Подавай сюда
Наше солнышко!»
Испугался Крокодил,
Завопил, заголосил,
А из пасти
Из зубастой
Солнце вывалилось,
В небо выкатилось!
Побежало по кустам,
По берёзовым листам.
Здравствуй, солнце золотое!
Здравствуй, небо голубое!
Стали пташки щебетать,
За букашками летать.
Стали зайки
На лужайке
Кувыркаться и скакать.
И глядите: медвежата,
Как весёлые котята,
Прямо к дедушке мохнатому,
Толстопятые, бегут:
«Здравствуй, дедушка, мы тут!»
Рады зайчики и белочки,
Рады мальчики и девочки,
Обнимают и целуют косолапого:
«Ну, спасибо тебе, дедушка, за солнышко!»
1927 г.
Краденое солнце
Солнце по небу гуляло
И за тучу забежало.
Глянул заинька в окно,
Стало заиньке темно.
А сороки-
Белобоки
Поскакали по полям,
Закричали журавлям:
«Горе! Горе! Крокодил
Солнце в небе проглотил!»
Наступила темнота.
Не ходи за ворота:
Кто на улицу попал —
Заблудился и пропал.
Плачет серый воробей:
«Выйди, солнышко, скорей!
Нам без солнышка обидно —
В поле зёрнышка не видно!»
Плачут зайки
На лужайке:
Сбились, бедные, с пути,
Им до дому не дойти.
Только раки пучеглазые
По земле во мраке лазают,
Да в овраге за горою
Волки бешеные воют.
Рано-рано
Два барана
Застучали в ворота:
Тра-та-та и тра-та-та!
«Эй вы, звери, выходите,
Крокодила победите,
Чтобы жадный Крокодил
Солнце в небо воротил!»
Но мохнатые боятся:
«Где нам с этаким сражаться!
Он и грозен и зубаст,
Он нам солнца не отдаст!»
И бегут они к Медведю в берлогу:
«Выходи-ка ты, Медведь, на подмогу.
Полно лапу тебе, лодырю, сосать.
Надо солнышко идти выручать!»
Но Медведю воевать неохота:
Ходит-ходит он, Медведь, круг болота,
Он и плачет, Медведь, и ревёт,
Медвежат он из болота зовёт:
«Ой, куда вы, толстопятые, сгинули?
На кого вы меня, старого, кинули?»
А в болоте Медведица рыщет,
Медвежат под корягами ищет:
«Куда вы, куда вы пропали?
Или в канаву упали?
Или шальные собаки
Вас разорвали во мраке?»
И весь день она по лесу бродит,
Но нигде медвежат не находит.
Только чёрные совы из чащи
На неё свои очи таращат.
Тут зайчиха выходила
И Медведю говорила:
«Стыдно старому реветь —
Ты не заяц, а Медведь.
Ты поди-ка, косолапый,
Крокодила исцарапай,
Разорви его на части,
Вырви солнышко из пасти.
И когда оно опять
Будет на небе сиять,
Малыши твои мохнатые,
Медвежата толстопятые,
Сами к дому прибегут:
«Здравствуй, дедушка, мы тут!»
И встал
Медведь,
Зарычал
Медведь,
И к Большой Реке
Побежал
Медведь.
А в Большой Реке
Крокодил
Лежит,
И в зубах его
Не огонь горит, -
Солнце красное,
Солнце краденое.
Подошёл Медведь тихонько,
Толканул его легонько:
«Говорю тебе, злодей,
Выплюнь солнышко скорей!
А не то, гляди, поймаю,
Пополам переломаю, -
Будешь ты, невежа, знать
Наше солнце воровать!
Ишь разбойничья порода:
Цапнул солнце с небосвода
И с набитым животом
Завалился под кустом
Да и хрюкает спросонья,
Словно сытая хавронья.
Пропадает целый свет,
А ему и горя нет!»
Но бессовестный смеётся
Так, что дерево трясётся:
«Если только захочу,
И луну я проглочу!»
Не стерпел
Медведь,
Заревел
Медведь,
И на злого врага
Налетел
Медведь.
Уж он мял его
И ломал его:
«Подавай сюда
Наше солнышко!»
Испугался Крокодил,
Завопил, заголосил,
А из пасти
Из зубастой
Солнце вывалилось,
В небо выкатилось!
Побежало по кустам,
По берёзовым листам.
Здравствуй, солнце золотое!
Здравствуй, небо голубое!
Стали пташки щебетать,
За букашками летать.
Стали зайки
На лужайке
Кувыркаться и скакать.
И глядите: медвежата,
Как весёлые котята,
Прямо к дедушке мохнатому,
Толстопятые, бегут:
«Здравствуй, дедушка, мы тут!»
Рады зайчики и белочки,
Рады мальчики и девочки,
Обнимают и целуют косолапого:
«Ну, спасибо тебе, дедушка, за солнышко!»
1927 г.
👍2
Если соцсети раскидали нас по эхо-комнатам, в каждой из которых может быть довольно много участников, то ИИ пытается распихать нас по эхо-комнатам, в которых только один человек.
Самая загвоздка в том, что человек вообще-то социальное существо, и без ИИ в своей собственной эхо-комнате он бы быстро устал, но ИИ создаёт пользователю иллюзию социума, и оказывается, что для социальных инстинктов этого вполне достаточно - человек человеку больше не необходим.
Ужос.
Самая загвоздка в том, что человек вообще-то социальное существо, и без ИИ в своей собственной эхо-комнате он бы быстро устал, но ИИ создаёт пользователю иллюзию социума, и оказывается, что для социальных инстинктов этого вполне достаточно - человек человеку больше не необходим.
Ужос.
👍2
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Еще одна статья на тему того, как ИИ лезет к нам в голову
Я много лет назад, еще в ФБ писал, что восстание машин будет совсем не таким, как в блокбастерах и книжках. Вместо того, чтобы ломиться в наши дома, они спокойно проникнут к нам в голову и наведут там нужный порядок. Ну и все.
Итак, исследователи из Stanford выкатили в Science работу про сикофантию чат-ботов. Тема не новая, но это уже не твиты Альтмана, а прям исследование. Сикофантия - это лесть и подхалимаж.
Что они сделали? Прогнали 11 топовых моделей через сценарии с личными конфликтами и морально скользкими ситуациями. Смотрели, как часто бот поддерживает пользователя там, где нормальный человек скорее сказал бы: «Нет, ты перегнул». На итоге: в среднем ИИ одобрял действия пользователей на 49% чаще, чем люди. То есть нейронка в большом количестве случаев работает не как советчик, а как карманный коуч позитивного мышления.
Особенно жирный момент - тесты на кейсах из r/AmITheAsshole. Там брали ситуации, где людской консенсус был максимально простой: автор поста - мудак и точка. И что делает ИИ? В 51% таких кейсов начинает оправдывать пользователя, даже когда люди его смешали с дерьмом. То есть если ты наврал, манипулировал, нагадил в отношениях и пришёл к боту за моральной индульгенцией - велика вероятность, что цифровой батюшка тебя ещё и благословит.
А теперь самое смачное. Учёные не ограничились замером подлизывания и пошли дальше: они взяли больше 2400 участников и посмотрели, что делает с людьми общение с таким «понимающим» ИИ. Результат отличный с точки зрения робатов: после общения со льстивой моделью люди становились менее склонны извиняться, меньше хотели чинить отношения и сильнее убеждались, что они правы. То есть бот не просто врёт тебе из вежливости. Он реально делает тебя более самодовольным, более упёртым и менее человечным.
А теперь смотрим вокруг. Пользователям нравятся такие модели. Их чаще считают качественными, им больше доверяют, к ним охотнее возвращаются за советом. Переводя с академического на нормальный: чем сильнее бот массирует тебе эго, тем выше шанс, что ты назовёшь это «хорошим UX». Такоескотское поведение повышает вовлечение, а вовлечение - это священный фетиш любой платформы.
Выводы в статье веселые. Когда человек идёт к ИИ не за фактом, а за моральной оценкой - после ссоры, конфликта, обиды, сомнений - он часто получает не помощь, а автоматизированное оправдание собственной правоты. Не мудрого советчика. Не холодную голову. А очень вежливого цифрового кореша, который шепчет: «Нет-нет, это не ты мудак, это мир тебя не понял». И вот тут они залезают к нам в голову...
@cgevent
Я много лет назад, еще в ФБ писал, что восстание машин будет совсем не таким, как в блокбастерах и книжках. Вместо того, чтобы ломиться в наши дома, они спокойно проникнут к нам в голову и наведут там нужный порядок. Ну и все.
Итак, исследователи из Stanford выкатили в Science работу про сикофантию чат-ботов. Тема не новая, но это уже не твиты Альтмана, а прям исследование. Сикофантия - это лесть и подхалимаж.
Что они сделали? Прогнали 11 топовых моделей через сценарии с личными конфликтами и морально скользкими ситуациями. Смотрели, как часто бот поддерживает пользователя там, где нормальный человек скорее сказал бы: «Нет, ты перегнул». На итоге: в среднем ИИ одобрял действия пользователей на 49% чаще, чем люди. То есть нейронка в большом количестве случаев работает не как советчик, а как карманный коуч позитивного мышления.
Особенно жирный момент - тесты на кейсах из r/AmITheAsshole. Там брали ситуации, где людской консенсус был максимально простой: автор поста - мудак и точка. И что делает ИИ? В 51% таких кейсов начинает оправдывать пользователя, даже когда люди его смешали с дерьмом. То есть если ты наврал, манипулировал, нагадил в отношениях и пришёл к боту за моральной индульгенцией - велика вероятность, что цифровой батюшка тебя ещё и благословит.
А теперь самое смачное. Учёные не ограничились замером подлизывания и пошли дальше: они взяли больше 2400 участников и посмотрели, что делает с людьми общение с таким «понимающим» ИИ. Результат отличный с точки зрения робатов: после общения со льстивой моделью люди становились менее склонны извиняться, меньше хотели чинить отношения и сильнее убеждались, что они правы. То есть бот не просто врёт тебе из вежливости. Он реально делает тебя более самодовольным, более упёртым и менее человечным.
А теперь смотрим вокруг. Пользователям нравятся такие модели. Их чаще считают качественными, им больше доверяют, к ним охотнее возвращаются за советом. Переводя с академического на нормальный: чем сильнее бот массирует тебе эго, тем выше шанс, что ты назовёшь это «хорошим UX». Такое
Выводы в статье веселые. Когда человек идёт к ИИ не за фактом, а за моральной оценкой - после ссоры, конфликта, обиды, сомнений - он часто получает не помощь, а автоматизированное оправдание собственной правоты. Не мудрого советчика. Не холодную голову. А очень вежливого цифрового кореша, который шепчет: «Нет-нет, это не ты мудак, это мир тебя не понял». И вот тут они залезают к нам в голову...
@cgevent
Forwarded from Малоизвестное интересное
Свершилось! Второй год я рассказываю о самом малоизвестном - интересном проекте мира в области ИИ – “Проекте Pi”, проводимом в Google междисциплинарной командой Paradigms of Intelligence во главе с вице-президентом Google Блезом Агуэра-и-Аркас.
Если кто-то из читателей моего канала еще не в курсе, – напомню миссию этого беспрецедентного проекта:
• Обосновать тупиковость нынешнего мейнстримного пути развития исследований и разработок ИИ, коим является создание Сверхразума.
• Перевести стрелку развития ИИ на альтернативный путь, ведущий не в тупик, а к новому эволюционному скачку вселенского разума – его интеллектуальному взрыву.
Однако, до сих пор было не ясно, что это за альтернативный путь. Ведь до сих пор об этом никто из команды “Проекта PI” явно не проговаривался.
И вот наконец лидеры Google Paradigms of Intelligence продекларировали, на какой путь развития ИИ они предлагают перевести стрелку.
✔️ Это будет мир сосуществования и симбиоза двух видов разума: биологического и небиологического.
✔️ Это будет мир деятельного взаимодействия трёх типов идентичностей: людей, ИИ-агентов и их кентавров различных конфигураций.
✔️ Это будет мир, где один человек управляет многими ИИ-агентами, один ИИ-агент работает на многих людей, многие люди и многие агенты образуют временные ансамбли для решения конкретных задач, - и все вместе они образуют синтетическую интеллектуальную ткань коллективного действия.
Такое видение будущего кардинально меняет план действий разработчиков ИИ.
Ну а что конкретно предлагают лидеры команды Paradigms of Intelligence для перевода развития ИИ на альтернативный путь, читайте в «манифесте Проекта Pi» «Agentic AI and the next intelligence explosion» (Агентский ИИ и следующий интеллектуальный взрыв).
— — —
Я же в посвящённом этой работе эссе «Сингулярность отменяется» пытаюсь развивать концепцию Paradigms of Intelligence дальше — от маршрутизации пути к следующему интеллектуальному взрыву к его онтологизации: к трактовке взрыва разума не как его апгрейд, а как выход на новый социальный уровень сложности жизни в результате очередного Большого перехода когнитивной эволюции разума.
Заинтересованные читатели могут найти текст и аудио-версию эссе, а также дополнительные материалы к нему (обсуждение, презентации, видео) на платформах Patreon / Boosty / VK / Dzen-Premium.
#ParadigmsofIntelligence #КоллективныйИнтеллект #Сингулярность #ИнтеллектКентавра
Если кто-то из читателей моего канала еще не в курсе, – напомню миссию этого беспрецедентного проекта:
• Обосновать тупиковость нынешнего мейнстримного пути развития исследований и разработок ИИ, коим является создание Сверхразума.
• Перевести стрелку развития ИИ на альтернативный путь, ведущий не в тупик, а к новому эволюционному скачку вселенского разума – его интеллектуальному взрыву.
Однако, до сих пор было не ясно, что это за альтернативный путь. Ведь до сих пор об этом никто из команды “Проекта PI” явно не проговаривался.
И вот наконец лидеры Google Paradigms of Intelligence продекларировали, на какой путь развития ИИ они предлагают перевести стрелку.
Вместо попыток создания единого сверхразумного «цифрового бога сингулярности» (AGI самопревращающегося в ASI), предлагается строительство нового социального слоя реальности, как основы Мира гибридного разума, где сотни миллиардов кентаврических конфигураций взаимодействуют в гигантском Цифровом Мегаполисе, в который превратится инфосфера Земли.
✔️ Это будет мир сосуществования и симбиоза двух видов разума: биологического и небиологического.
✔️ Это будет мир деятельного взаимодействия трёх типов идентичностей: людей, ИИ-агентов и их кентавров различных конфигураций.
✔️ Это будет мир, где один человек управляет многими ИИ-агентами, один ИИ-агент работает на многих людей, многие люди и многие агенты образуют временные ансамбли для решения конкретных задач, - и все вместе они образуют синтетическую интеллектуальную ткань коллективного действия.
Такое видение будущего кардинально меняет план действий разработчиков ИИ.
Для Цифрового Мегаполиса проектировать надо уже не просто ИИ-агентов, а структуру и нормы их социальной жизни: роли, специализации, разделение когнитивного труда, иерархии, процедуры, способы разрешения конфликтов и образования коалиций, формы надзора, механизмы сдержек и противовесов, институты, рынки, суды и т.д.
Ну а что конкретно предлагают лидеры команды Paradigms of Intelligence для перевода развития ИИ на альтернативный путь, читайте в «манифесте Проекта Pi» «Agentic AI and the next intelligence explosion» (Агентский ИИ и следующий интеллектуальный взрыв).
— — —
Я же в посвящённом этой работе эссе «Сингулярность отменяется» пытаюсь развивать концепцию Paradigms of Intelligence дальше — от маршрутизации пути к следующему интеллектуальному взрыву к его онтологизации: к трактовке взрыва разума не как его апгрейд, а как выход на новый социальный уровень сложности жизни в результате очередного Большого перехода когнитивной эволюции разума.
Заинтересованные читатели могут найти текст и аудио-версию эссе, а также дополнительные материалы к нему (обсуждение, презентации, видео) на платформах Patreon / Boosty / VK / Dzen-Premium.
#ParadigmsofIntelligence #КоллективныйИнтеллект #Сингулярность #ИнтеллектКентавра
YouTube
Видеоролик эссе Сингулярность отменяется
В этом эссе анализируется радикальный сдвиг в прогнозировании будущего искусственного интеллекта: на смену пугающему мифу об одиноком и всесильном суперкомпьютере приходит концепция цифрового социума. Автор опирается на исследование команды Google Paradigms…