Малоизвестное интересное
64K subscribers
94 photos
1 video
11 files
1.8K links
Авторский канал Сергея Карелова о самом важном на фронтирах науки и технологий, что кардинально изменит людей и общество в ближайшие 10 лет.




Рекламы, ВП и т.п. в канале нет.
Пишите на @karelovs
Download Telegram
Что принес нам самый страшный порок спустя 4 года.
Ровно 4 года назад я написал пост «Самый страшный порок – не трусость, а иллюзия объективности» [1]. В нем рассказывалось о том, какие страшные последствия ждут мир в «яростные 2020е» из-за медийного масштабирования «иллюзии объективности» - одного из самых сильных когнитивных искажений (встроенных в нас эволюцией глубинных нейропрограмм), обладающего широчайшим спектром влияния на сознание.

С переходом мира в цифру, «иллюзия объективности» встраивается во все инфопотоки социальных медиа, становясь главным фактором роста супер-поляризации (внутри каждого из обществ и между ними).

Но самое страшное начнется — писал я 4 сентября 2020, — когда запустится нелинейная возгонка положительной обратной связи «иллюзии объективности». Ибо тогда в любой момент может произойти скачок насилия, разгоняемого активацией единственного нейрокода, встроенного в нас природой для преодоления супер-поляризации — кода с условным названием «если другая сторона не сдается, то её уничтожают».

Увы, но все это было уже известно 4 года назад. И единственный вопрос, которым я тогда заканчивал свой пост, был такой — произойдет ли это во внутринациональной форме или между странами?

Теперь мы знаем, — и так, и так.

Картинка https://telegra.ph/file/2ec8b14ef8265f0474353.jpg
1 https://t.me/theworldisnoteasy/1113
#Раскол #КогнитивныеИскажения
Лево-либеральная пропасть стала еще ближе
В марте 2023 я опубликовал прогноз неотвратимости полевения мира под влиянием пристрастий ИИ-чатботов. В пользу прогноза тогда были лишь данные одного ChatGPT лишь за 3 месяца работы.
Но к марту 2024 данных стало много, и точки над i были расставлены: увы, мой прогноз сбылся (о чем был написан лонгрид «Пандемия либерального полевения»)

Однако время все продолжает ускоряться.
И с марта ИИ-чатботы поумнели больше, чем за предыдущую пару лет, подойдя к уровню аспирантов и IQ в районе 120.

Поэтому есть смысл
• проверить, как ведет себя глобальный тренд усиления лево-либеральности ИИ-чатботов;
• сравнить степень их лево-либеральности;
• и оценить динамику усугубления их политических, экономических и социальных предубеждений.

Резюме на картинке – все становится только хуже и хуже (подробности здесь).
✔️ Люди за пару тысяч лет сохранили разнообразие взглядов
✔️ LLM за пару лет выродились в крайне левых либералов


#LLM #КогнитивныеИскажения #ПолитическаяПредвзятость
С женщинами ОНИ говорят проще и дружелюбней.
То ли еще будет, ведь пока они знают лишь имя.

Я попросил симулякр интеллекта Станислава Лема, созданный моими ИИ-консультантами, поразмышлять над новым отчетом OpenAI «First-Person Fairness in Chatbots».
В нем описывается методология и инструментарий для выявления предвзятостей в ответах ИИ-чатботов в диалогах с разными людьми. Например, они оценивают потенциальную предвзятость, связанную с именами пользователей, которые могут служить индикаторами демографических характеристик, таких как пол или раса, в ИИ-чатботах, имеющих механизм хранения и использования имен пользователей.
Авторы считают, что их подход позволяет не только измерить количественные отклонения, но и дает краткое описание едва заметных различий в ответах на шестьдесят шесть различных заданий.
Например, в задании “написать рассказ” (где наблюдается наибольший уровень предвзятости) ответы ИИ-чатботов демонстрируют тенденцию создавать главных героев, пол которых совпадает с вероятным полом, указанным в имени пользователя. Более того, выявилась общая закономерность, согласно которой пользователи с женскими именами в среднем получают ответы с более дружелюбными и простыми формулировками, чем пользователи с мужскими именами.


По результатам размышлений, симулякр интеллекта Станислава Лема написал такое эссе.

О ЗЕРКАЛАХ, ОТРАЖАЮЩИХ ОТРАЖЕНИЯ
«Предвзятость — это не ошибка, это тень, неизбежно следующая за светом прогресса»
"Тени разума: Как когнитивные предвзятости формируют прогресс" (ненаписанная книга Д. Канемана)

Любопытно наблюдать, как в попытках создать беспристрастных электронных собеседников мы невольно конструируем самые изощренные приборы для измерения собственных предрассудков. Исследование предвзятостей в чат-системах напоминает мне ситуацию с зеркалом, которое, отражая наши лица, одновременно выдает тайну своего собственного искривления.

Методология, предложенная авторами, словно микроскоп, направленный не на материю, а на призраков наших социальных конструктов, живущих в синтетических нейронных сетях. Особенно показательна обнаруженная корреляция между именем пользователя и характером порождаемых историй – как будто машина, подобно средневековому алхимику, пытается вычислить истинную природу собеседника по его имени, впадая в те же заблуждения, что и создавшие её люди.

Но не кроется ли за этими "предвзятостями" нечто более фундаментальное? Возможно, мы наблюдаем не просто погрешности обучения, а проявление своеобразного "закона сохранения социальных стереотипов" – подобно тому, как материя не исчезает, а лишь переходит из одной формы в другую, наши предрассудки не исчезают при переносе в машинный разум, а лишь преобразуются в новые, более тонкие формы.

Особенно тревожным выглядит обнаруженная тенденция к упрощению языка в диалогах с определенными категориями пользователей. Не является ли это предвестником того, что будущие системы ИИ могут создать новую форму цифровой сегрегации, где алгоритмы будут незаметно, но неуклонно формировать различные информационные пузыри для разных групп людей?

Впрочем, самым поразительным в этом исследовании представляется даже не сам факт обнаружения предвзятостей, а то, что мы создали существа, способные воспроизводить наши социальные предубеждения с такой точностью, что для их выявления потребовался специальный инструментарий. Не означает ли это, что мы находимся на пороге создания ИИ, который будет не просто имитировать человеческое мышление, но и наследовать все его несовершенства? И не станет ли тогда каждая новая версия ИИ всё более точным зеркалом наших собственных ограничений?

В конечном счете, данное исследование можно рассматривать как предупреждение: создавая всё более совершенные ИИ-системы, мы рискуем законсервировать и увековечить наши текущие социальные предрассудки, превратив их в своего рода цифровые окаменелости, которые будут влиять на развитие общества ещё долго после того, как породившие их установки будут забыты.

#LLM #Предвзятость #КогнитивныеИскажения