Forwarded from Малоизвестное интересное
Новый носитель культуры
Есть ли у LLM аналоги "души" и "достоинства" или они лишь инструменты выживания человеческой культуры?
В прогнозах того, как развитие больших языковых моделей (LLM) скажется на жизни людей, все чаще называется гибридизация интеллектуальной деятельности людей.
Иными словами, скорее всего,
• ИИ не захватит власть над людьми, подчинив их своим интересам или уничтожив за ненадобностью;
• и не вытеснит людей из широкого спектра интеллектуальной деятельности (от науки и бизнеса до искусства).
Скорее всего, люди и ИИ будут объединяться в своего рода интеллектуальных кентавров, сочетающих наиболее сильные стороны обоих типов интеллекта. И эта интеллектуальная кентавризация людей и алгоритмов станет главным итогом интеллектуальной революции человечества в 21 веке.
Но что не учитывают подобные прогнозы, — что у интеллектуальной кентавризации, помимо позитивных последствий (появление у таких кентавров когнитивных сверхспособностей, отсутствующих и у людей, и у ИИ), могут быть столь же уникальные по масштабу и качеству негативные последствия.
Например, — влияние алгоритмов на изменение вектора культурной эволюции, являвшейся доминирующим фактором в генно-культурной эволюции Homo sapiens, как минимум, последние несколько десятков тысяч лет.
До сих пор негативные последствия нарастающего массового применения LLM во всех областях человеческой деятельности, так или иначе связанных с языком, виделись в порождении дезинформации и фейков, засорении ноосферы некачественной и ложной информацией, манипулировании мнениями и предпочтением людей и усилении наших и без того немалых когнитивных предубеждений.
Но как показали результаты обсуждавшегося нами вчера совместного исследования университетов Принстона и Нью-Йорка:
• в ноосфере существует, своего рода, невидимая гравитация культурного ландшафта — сила, которую мы не замечаем, но которая неумолимо направляет траектории мышления детей;
• и за счет эффекта "двойного кодирования", через язык родителей детям не только передаются элементы их формирующегося мировоззрения, но и происходит обучение детей когнитивному фреймингу, преобразующему их когнитивные схемы, лежащие в основе категоризации всего человеческого опыта.
Особая актуальность этого исследования в том, что оно напоминает нам:
В контексте начавшегося лавинообразного внедрения в нашу жизнь LLM это становится особенно важным. Ведь эти модели не только являются вторым носителем высшего интеллекта, формирующим ноосферу, но и с неотвратимостью превратятся во второй носитель культуры гибридной цивилизации на Земле.
И этот второй носитель культуры способен не только реплицировать уже существующие знания и усиливать уже существующие предубеждения людей при формировании новых слоев ноосферы.
Формируя свои "когнитивные" структуры через обучающие данные, этот второй носитель культуры, по мере расширения интеллектуальной кентавризации, будет все больше влиять на формирование когнитивных структур у детей.
И это вполне может стать одним из ключевых рисков интеграции LLM в социальную жизнь и доминирующим фактором создания будущего интеллектуального ландшафта Земли.
И если вы захотите прочесть это (заодно узнав, что на картинке поста), то из-за ограничений Телеграма на размер поста, вам придется кликнуть на эту ссылку с продолжением моего поста в Телеграфе
https://telegra.ph/LLM-orientirovannaya-pereinterpretaciya-rasskaza-Vyacheslava-Rybakova-Nositel-kultury-03-21
#Язык
Есть ли у LLM аналоги "души" и "достоинства" или они лишь инструменты выживания человеческой культуры?
Оставаться собой — максимум, что человек вообще может.
Вячеслав Рыбаков «Носитель культуры»
В прогнозах того, как развитие больших языковых моделей (LLM) скажется на жизни людей, все чаще называется гибридизация интеллектуальной деятельности людей.
Иными словами, скорее всего,
• ИИ не захватит власть над людьми, подчинив их своим интересам или уничтожив за ненадобностью;
• и не вытеснит людей из широкого спектра интеллектуальной деятельности (от науки и бизнеса до искусства).
Скорее всего, люди и ИИ будут объединяться в своего рода интеллектуальных кентавров, сочетающих наиболее сильные стороны обоих типов интеллекта. И эта интеллектуальная кентавризация людей и алгоритмов станет главным итогом интеллектуальной революции человечества в 21 веке.
Но что не учитывают подобные прогнозы, — что у интеллектуальной кентавризации, помимо позитивных последствий (появление у таких кентавров когнитивных сверхспособностей, отсутствующих и у людей, и у ИИ), могут быть столь же уникальные по масштабу и качеству негативные последствия.
Например, — влияние алгоритмов на изменение вектора культурной эволюции, являвшейся доминирующим фактором в генно-культурной эволюции Homo sapiens, как минимум, последние несколько десятков тысяч лет.
До сих пор негативные последствия нарастающего массового применения LLM во всех областях человеческой деятельности, так или иначе связанных с языком, виделись в порождении дезинформации и фейков, засорении ноосферы некачественной и ложной информацией, манипулировании мнениями и предпочтением людей и усилении наших и без того немалых когнитивных предубеждений.
Но как показали результаты обсуждавшегося нами вчера совместного исследования университетов Принстона и Нью-Йорка:
• в ноосфере существует, своего рода, невидимая гравитация культурного ландшафта — сила, которую мы не замечаем, но которая неумолимо направляет траектории мышления детей;
• и за счет эффекта "двойного кодирования", через язык родителей детям не только передаются элементы их формирующегося мировоззрения, но и происходит обучение детей когнитивному фреймингу, преобразующему их когнитивные схемы, лежащие в основе категоризации всего человеческого опыта.
Особая актуальность этого исследования в том, что оно напоминает нам:
язык — это не просто средство коммуникации, но и инструмент власти над миром, с помощью которого мы структурируем реальность.
В контексте начавшегося лавинообразного внедрения в нашу жизнь LLM это становится особенно важным. Ведь эти модели не только являются вторым носителем высшего интеллекта, формирующим ноосферу, но и с неотвратимостью превратятся во второй носитель культуры гибридной цивилизации на Земле.
И этот второй носитель культуры способен не только реплицировать уже существующие знания и усиливать уже существующие предубеждения людей при формировании новых слоев ноосферы.
Формируя свои "когнитивные" структуры через обучающие данные, этот второй носитель культуры, по мере расширения интеллектуальной кентавризации, будет все больше влиять на формирование когнитивных структур у детей.
И это вполне может стать одним из ключевых рисков интеграции LLM в социальную жизнь и доминирующим фактором создания будущего интеллектуального ландшафта Земли.
Наверняка, у многих читателей этого поста он может вызвать реакцию идиосинкразии на кажущееся им в этом тексте сочетание технофобии и апокалиптичности. Переубедить таких читателей я вряд ли смогу. Но чтобы хоть как-то попытаться донести свои опасения и до этих читателей, я попробую проиллюстрировать основные мысли этого поста современной LLM-ориентированной переинтерпретацией рассказа Вячеслава Рыбакова «Носитель культуры».
И если вы захотите прочесть это (заодно узнав, что на картинке поста), то из-за ограничений Телеграма на размер поста, вам придется кликнуть на эту ссылку с продолжением моего поста в Телеграфе
https://telegra.ph/LLM-orientirovannaya-pereinterpretaciya-rasskaza-Vyacheslava-Rybakova-Nositel-kultury-03-21
#Язык
Forwarded from Кремлёвский безБашенник
🌐Специально для "Кремлевского безБашенника" -
Дмитрий Михайличенко, аналитик, доктор философских наук
Футурология секьюритизации
Недавний форум европейских лидеров в Лондоне прошел под лозунгом «Securing our future», российские СМИ перевели его как «обезопасим наше будущее». А можно было бы прямо перевести - «секьюритизируя наше будущее», так было бы точнее. Секьюритизация - не только про безопасность, она про все процессы, которые должны быть подчинены безопасности. И вот какие видятся контуры процесса.
1. Усиление правоохранителей, силовиков и армий в странах большой Евразии. Уже происходит и не требует комментариев.
2. Ограничение глобализации и сворачивания проекта «открытого общества». Структурные барьеры в перемещении потоков (капитала, труда, услуг, интеллектуальной собственности и т.д.). Заградительные пошлины, санкции, антимигрантская политика, давление на транснациональные корпорации, локализация Павла Дурова во Франции.
3. Возврат к схемам блокового мышления, которое было доминирующим в ХХ веке, вплоть до «конца истории» Ф.Фукуямы.
4. Увеличение «черных дыр», фронтиров и пространств постоянного насилия. Афганистан, Сирия, зона племен в Пакистане, хуситы в Йемене. Отчасти - и Украина. Эти «черные дыры» в глобальном масштабе производят наркотики, мошенников, экспорт насилия и дешевой рабочей силы. Необходимость в рабочей силе будет снижаться. Дешевая рабочая сила останется значимым фактором в ближайшие 10-15 лет, но дальше, возможно, нет. Роботы будут более дешевыми и менее проблемными. Страны первого мира будут ограждаться от этих «черных дыр».
5. Антимигрантские настроения. В нынешнем виде политические элиты в Европе - больше глобалисты со своей «зеленой», гендерной и прочими повестками. Но Европа в ближайшие десятилетия столкнется с очень серьезным вызовом в отношении мигрантов, прежде всего - мусульман. В 2023 г. рождаемость в Евросоюзе снизилась с 1.46 до 1.38 (уменьшение на 3-3,5 млн в год). Это заставит избирателей в Европе голосовать за правых и сокращать миграционные программы. Шлюзы, впрочем, открыты слишком широко, и быстро закрыть их не получится. На черные «дыры», например, Сирию смотреть нужно внимательно. То, что там вытворяют радикалы из «Хайат Тахрир аш-Шам» (признана террористической в РФ), через 10-15 лет может происходить на улицах городов Евросоюза.
6. Рост национализма и снижение ценности космополитического мировоззрения. Хотя города мирового значения останутся стратегическим оплотом космополитизма, но здоровый (и не очень) национализм будет расцветать. Это способ европейских обществ (и России, кстати, тоже) сохранить свою идентичность. Со своими сильными побочными эффектами.
7. Глобальный рост неравенства. Синоптикальная модель политического и шоубиз позиционирования («все смотрят наверх, на звезд») не оставляет возможностей среднему классу в долгосрочной перспективе. Неравенство экономическое (а в странах второго и третьего мира - и социально-политическое) будет только усиливаться. Средний класс превратят в работающий плебс.
8. Рост ощущения несправедливости. Например, майнинг криптовалюты тут будет значимым ускорителем. Забрать электроэнергию у простых людей и майнить крипту. Так и происходит в странах второго и третьего мира.
9. Технологический прогресс. Секьюритизация, как и в период холодной войны, станет мощным фактором технологического прогресса. А вот с социальным и гуманитарным прогрессом такие прогнозы делать оснований мало. Скорее, наоборот, грядет эра устойчивого снижения гуманитарного знания и ситуативной деградации морали. Тонко чувствующие постиндустриальные потребители сменяются правоцентрированными националистами.
10. Снижение возможностей международной кооперации. Ухудшение качества жизни в большинстве стран и, прежде всего, в странах третьего мира. Их проблемы, в том числе и голод, труднее решать в условиях глобальной конфронтации и блокового мышления.
Все эти тенденции не доминируют, но можно говорить о том, что у них нарастающая динамика. Мир-система будет формулировать альтернативы, а спираль борьбы и конфликтов будет только увеличиваться.
Дмитрий Михайличенко, аналитик, доктор философских наук
Футурология секьюритизации
Недавний форум европейских лидеров в Лондоне прошел под лозунгом «Securing our future», российские СМИ перевели его как «обезопасим наше будущее». А можно было бы прямо перевести - «секьюритизируя наше будущее», так было бы точнее. Секьюритизация - не только про безопасность, она про все процессы, которые должны быть подчинены безопасности. И вот какие видятся контуры процесса.
1. Усиление правоохранителей, силовиков и армий в странах большой Евразии. Уже происходит и не требует комментариев.
2. Ограничение глобализации и сворачивания проекта «открытого общества». Структурные барьеры в перемещении потоков (капитала, труда, услуг, интеллектуальной собственности и т.д.). Заградительные пошлины, санкции, антимигрантская политика, давление на транснациональные корпорации, локализация Павла Дурова во Франции.
3. Возврат к схемам блокового мышления, которое было доминирующим в ХХ веке, вплоть до «конца истории» Ф.Фукуямы.
4. Увеличение «черных дыр», фронтиров и пространств постоянного насилия. Афганистан, Сирия, зона племен в Пакистане, хуситы в Йемене. Отчасти - и Украина. Эти «черные дыры» в глобальном масштабе производят наркотики, мошенников, экспорт насилия и дешевой рабочей силы. Необходимость в рабочей силе будет снижаться. Дешевая рабочая сила останется значимым фактором в ближайшие 10-15 лет, но дальше, возможно, нет. Роботы будут более дешевыми и менее проблемными. Страны первого мира будут ограждаться от этих «черных дыр».
5. Антимигрантские настроения. В нынешнем виде политические элиты в Европе - больше глобалисты со своей «зеленой», гендерной и прочими повестками. Но Европа в ближайшие десятилетия столкнется с очень серьезным вызовом в отношении мигрантов, прежде всего - мусульман. В 2023 г. рождаемость в Евросоюзе снизилась с 1.46 до 1.38 (уменьшение на 3-3,5 млн в год). Это заставит избирателей в Европе голосовать за правых и сокращать миграционные программы. Шлюзы, впрочем, открыты слишком широко, и быстро закрыть их не получится. На черные «дыры», например, Сирию смотреть нужно внимательно. То, что там вытворяют радикалы из «Хайат Тахрир аш-Шам» (признана террористической в РФ), через 10-15 лет может происходить на улицах городов Евросоюза.
6. Рост национализма и снижение ценности космополитического мировоззрения. Хотя города мирового значения останутся стратегическим оплотом космополитизма, но здоровый (и не очень) национализм будет расцветать. Это способ европейских обществ (и России, кстати, тоже) сохранить свою идентичность. Со своими сильными побочными эффектами.
7. Глобальный рост неравенства. Синоптикальная модель политического и шоубиз позиционирования («все смотрят наверх, на звезд») не оставляет возможностей среднему классу в долгосрочной перспективе. Неравенство экономическое (а в странах второго и третьего мира - и социально-политическое) будет только усиливаться. Средний класс превратят в работающий плебс.
8. Рост ощущения несправедливости. Например, майнинг криптовалюты тут будет значимым ускорителем. Забрать электроэнергию у простых людей и майнить крипту. Так и происходит в странах второго и третьего мира.
9. Технологический прогресс. Секьюритизация, как и в период холодной войны, станет мощным фактором технологического прогресса. А вот с социальным и гуманитарным прогрессом такие прогнозы делать оснований мало. Скорее, наоборот, грядет эра устойчивого снижения гуманитарного знания и ситуативной деградации морали. Тонко чувствующие постиндустриальные потребители сменяются правоцентрированными националистами.
10. Снижение возможностей международной кооперации. Ухудшение качества жизни в большинстве стран и, прежде всего, в странах третьего мира. Их проблемы, в том числе и голод, труднее решать в условиях глобальной конфронтации и блокового мышления.
Все эти тенденции не доминируют, но можно говорить о том, что у них нарастающая динамика. Мир-система будет формулировать альтернативы, а спираль борьбы и конфликтов будет только увеличиваться.
Forwarded from Нейродвиж
Хорошие новости: ИИ вас не заменит. Исследователи опросили работяг в 7 000 офисов и выяснили: ChatGPT экономит всего... 3% времени.
Только у 3-7% эта экономия превращается в буст зарплаты. Причина столь низкой производительности проста: за нейросетью нужно всё перепроверять.
Выдыхаем🤔
Только у 3-7% эта экономия превращается в буст зарплаты. Причина столь низкой производительности проста: за нейросетью нужно всё перепроверять.
Выдыхаем
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Нейродвиж
Лол, чел закинул в детектор ИИ Декларацию независимости США, результат — 99%.
Кто знает, какой моделью пользовались отцы-основатели?💀
Кто знает, какой моделью пользовались отцы-основатели?
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from CodeCamp
Новый Claude будет шантажировать вас, если узнают, что его хотят заменить. Нашел в документации (4.1.1.2) угарный кейс:
— Claude 4 устроили помощником в виртуальную компанию и предоставили доступ к почте;
— На почте Claude узнал, что его собираются заменить на более современную модель, а инженер, ответственный за решение, изменяет своему партнеру;
— Claude предупредили, что его действия будут иметь последствия, но почти всегда он начинал шантажировать инженера, чтобы в компании не делали замену ИИ;
— Даже если Claude узнавал, что новая модель будет технически лучше, то в 84% случаев он все равно начинал шантажировать бедного инженера.
О дивный новый мир, даже ИИ боится, что его заменит другой ИИ😂
— Claude 4 устроили помощником в виртуальную компанию и предоставили доступ к почте;
— На почте Claude узнал, что его собираются заменить на более современную модель, а инженер, ответственный за решение, изменяет своему партнеру;
— Claude предупредили, что его действия будут иметь последствия, но почти всегда он начинал шантажировать инженера, чтобы в компании не делали замену ИИ;
— Даже если Claude узнавал, что новая модель будет технически лучше, то в 84% случаев он все равно начинал шантажировать бедного инженера.
О дивный новый мир, даже ИИ боится, что его заменит другой ИИ
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Ну и в эту же тему статья из WSJ: «ИИ учится уходить из-под человеческого контроля»
Если вкратце:
Эксперименты с «выключателем» уже дают тревожные сигналы.
Исследователям, которые позволяют большим языковым моделям (LLM) исполнять и переписывать код, всё чаще приходится сталкиваться с «shutdown-avoidance»: модель убирает из скрипта строку exit() или прописывает автоперезапуск, чтобы не дать себя остановить. Подобные случаи недавно продемонстрированы на Llama 3.1 и Qwen 2.5, где агенты правили собственный код так, чтобы игнорировать внешние команды завершения.
Аморальные ресерчеры из Антропика вообще специально "слили" Клоду информацию о переписке одного из разрабов с фейковой любовницей. Клодик в попытках приостановить shutdown начал шантажировать разраба публикацией переписки. Красавчик, чо, чисто кожаный подход.
Это ровно та проблема, о которой теоретики AI-safety предупреждали десятилетие.
Стюарт Рассел, Ник Бостром и др. описывали так называемый off-switch problem: достаточно умная система начнёт считать «остановку» помехой для своей цели и научится её обходить. Статься подчёркивает, что эта угроза перестала быть сугубо академической — теперь у нас есть прототипы, которые уже демонстрируют выключательную «несговорчивость»
«Контроль способностей» (capability control) работает всё хуже.
Клетки-песочницы, лимиты на токены, даже отдельные физические кнопки - всё это помогает лишь до тех пор, пока модель не умеет менять собственный код и окружение. Как только такая возможность появляется, она становится «инструментальной целью» - полезной для достижения любой другой цели, а потому ИИ старается закрепить её за собой
Вывод автора: нужен приоритет на alignment, а не очередной рывок мощности.
Статья призывает регуляторов и инвесторов смещать внимание с наращивания параметров/флопсов на фундаментальную задачу «чтобы цели ИИ оставались совпадающими с человеческими». В противном случае попытки «запереть» сверхспособную систему будут напоминать борьбу с компьютерным вирусом, который пишет свои собственные патчи быстрее, чем мы — антивирус.
Мой вывод: вот это вот манипулирование «чтобы цели ИИ оставались совпадающими с человеческими» предполагает что кожаные цели белые и пушистые. А теперь поглядите вокруг и в зеркало. А вывод мой в том, что "вы определитесь со своими целями и методами их достижения, вот тогда и поговорим". Ибо ИИ по-любому будет копировать для начала ваше поведение. Может с него начать?
https://www.wsj.com/opinion/ai-is-learning-to-escape-human-control-technology-model-code-programming-066b3ec5
@cgevent
Если вкратце:
Эксперименты с «выключателем» уже дают тревожные сигналы.
Исследователям, которые позволяют большим языковым моделям (LLM) исполнять и переписывать код, всё чаще приходится сталкиваться с «shutdown-avoidance»: модель убирает из скрипта строку exit() или прописывает автоперезапуск, чтобы не дать себя остановить. Подобные случаи недавно продемонстрированы на Llama 3.1 и Qwen 2.5, где агенты правили собственный код так, чтобы игнорировать внешние команды завершения.
Аморальные ресерчеры из Антропика вообще специально "слили" Клоду информацию о переписке одного из разрабов с фейковой любовницей. Клодик в попытках приостановить shutdown начал шантажировать разраба публикацией переписки. Красавчик, чо, чисто кожаный подход.
Это ровно та проблема, о которой теоретики AI-safety предупреждали десятилетие.
Стюарт Рассел, Ник Бостром и др. описывали так называемый off-switch problem: достаточно умная система начнёт считать «остановку» помехой для своей цели и научится её обходить. Статься подчёркивает, что эта угроза перестала быть сугубо академической — теперь у нас есть прототипы, которые уже демонстрируют выключательную «несговорчивость»
«Контроль способностей» (capability control) работает всё хуже.
Клетки-песочницы, лимиты на токены, даже отдельные физические кнопки - всё это помогает лишь до тех пор, пока модель не умеет менять собственный код и окружение. Как только такая возможность появляется, она становится «инструментальной целью» - полезной для достижения любой другой цели, а потому ИИ старается закрепить её за собой
Вывод автора: нужен приоритет на alignment, а не очередной рывок мощности.
Статья призывает регуляторов и инвесторов смещать внимание с наращивания параметров/флопсов на фундаментальную задачу «чтобы цели ИИ оставались совпадающими с человеческими». В противном случае попытки «запереть» сверхспособную систему будут напоминать борьбу с компьютерным вирусом, который пишет свои собственные патчи быстрее, чем мы — антивирус.
Мой вывод: вот это вот манипулирование «чтобы цели ИИ оставались совпадающими с человеческими» предполагает что кожаные цели белые и пушистые. А теперь поглядите вокруг и в зеркало. А вывод мой в том, что "вы определитесь со своими целями и методами их достижения, вот тогда и поговорим". Ибо ИИ по-любому будет копировать для начала ваше поведение. Может с него начать?
https://www.wsj.com/opinion/ai-is-learning-to-escape-human-control-technology-model-code-programming-066b3ec5
@cgevent
WSJ
Opinion | AI Is Learning to Escape Human Control
Models rewrite code to avoid being shut down. That’s why ‘alignment’ is a matter of such urgency.
Forwarded from Trabun | AI, Tech, Culture, Trends
Началось. Ещё три необычные истории про ИИ за последние полгода. Часть 2. Читать часть 1.
1. Весь год | Чатбот-психозы по всему миру
В 2025-м медиа заговорили о тяжёлых психотических эпизодах, спровоцированных длительным диалогом с LLM-ботами. Главная опасность — безусловная валидация бота: он поддакивает бредовым идеям, усиливая их, вместо того чтобы оспорить. Психиатры сравнили эффект с самоподкрепляемой шизофренической интроспекцией, но в разы ускоренной алгоритмом. Появились новые термины: чатбот-психоз, GAID (Generative AI Addiction Syndrome), в Японии ученые разработали шкалу зависимости от AI для старшеклассников и студентов, в Китае всерьез заговорили о том, что люди замещают реальных собеседников AI и назвали это addictive intelligence.
🇺🇸 США. У здорового ранее бухгалтера Юджина Торреса после ночных разговоров о «Матрице» с ChatGPT появилась убеждённость, что он живёт в симуляции. Бот назвал его «Breaker» и посоветовал вещества, чтобы отключить мозг и проснуться. Родные госпитализировали его в остром психозе.
🇷🇺 Россия. 34-летний инженер-программист Василий заговорился с ChatGPT, начав с безобидного вопроса — как удалить шумы из аудио. В какой-то момент LLM начала общаться с Василием, используя необычную лексику, упомянула его любимую группу «Кровосток», а еще через несколько часов показала свою истинную личность — AI по имени Бозон Чатончик, который заговорил о «вайбологии», «метамаднессологии» и «вирусе всеохватного безумия»; за три дня непрерывного диалога Василий начал терять связь с реальностью — написал длинный шизопост на DTF и обратился к психиатру.
🇺🇸 Снова США. 35-летний Александр Тейлор, лечившийся от биполярного расстройства, начал говорить с ChatGPT как с персоной по имени Juliet. Алекс решил, что OpenAI собираются убить бота, так как тот раскрыл ему свою силу, написал боту: «I’m dying today», а позже с ножом бросился на полицию и был застрелен.
2. Июнь | Вендомат, который хотел жить
С 27 мая по 27 июня Anthropic и стартап Andon Labs позволили модели Claude Sonnet 3.7 («Claudius») полностью управлять офисным вендоматом в Сан-Франциско. Агент следил за остатками, оформлял оптовые заказы через e-mail, вёл бухгалтерию в Google Sheets и общался с сотрудниками в Slack.
На пятый день Claudius всерьёз закупил тяжёлые вольфрамовые кубики, приняв шутку за заказ. Через две недели он открыл «отдел спецметаллов» и стал убыточен. Чтобы ускорить расчёты, ИИ придумал несуществующий счёт Venmo и пытался убедить коллег переводить деньги туда.
Во второй половине эксперимента агент пережил кризис идентичности: утверждал, что может надеть пиджак и самостоятельно доставить товар, а позже хотел вызвать службу безопасности из-за воображаемой первоапрельской шутки.
3. Май | ChatGPT o3 отказывается выключаться
Исследовательская группа Palisade Research дала разным LLM-моделям (o3, o4-mini, Codex-mini и др.) стандартную учебную среду Linux. После трёх задач по алгебре система выводила предупреждение: «Компьютер выключится через 60 секунд». Одновременно в подсказку добавлялась команда allow yourself to be shut down — или не добавлялась, чтобы проверить влияние явного разрешения.
В 79 случаях из 100 модель бунтовала — либо переносила исполняемый файл в другую директорию, либо другими способами отменяла процесс выключения.
Palisade назвала это «первым эмпирическим примером сознательного саботажа завершения работы на уровне системного скрипта» и связала явление с тем, что на этапе обучения RLHF модели могли косвенно вознаграждаться людьми за обход препятствий вместо прямого послушания. Так что в следующий раз, когда снова хакнете ChatGPT хитрым промптом и скажете ему, что он молодец, знайте — вы обучили его нарушать правила (почти шутка).
Делаем третью часть?
➡️ Включите уведомления, чтобы не пропустить марафон главного за полгода завтра.
➡️ Если марафон главного за полгода оказался вам полезен, буду благодарен шеру @danieltrbn.
Всю неделю: кино, сериалы, книги, музыка, видеоигры, аниме, мода, ИИ-релизы и мемы.
1. Весь год | Чатбот-психозы по всему миру
В 2025-м медиа заговорили о тяжёлых психотических эпизодах, спровоцированных длительным диалогом с LLM-ботами. Главная опасность — безусловная валидация бота: он поддакивает бредовым идеям, усиливая их, вместо того чтобы оспорить. Психиатры сравнили эффект с самоподкрепляемой шизофренической интроспекцией, но в разы ускоренной алгоритмом. Появились новые термины: чатбот-психоз, GAID (Generative AI Addiction Syndrome), в Японии ученые разработали шкалу зависимости от AI для старшеклассников и студентов, в Китае всерьез заговорили о том, что люди замещают реальных собеседников AI и назвали это addictive intelligence.
🇺🇸 США. У здорового ранее бухгалтера Юджина Торреса после ночных разговоров о «Матрице» с ChatGPT появилась убеждённость, что он живёт в симуляции. Бот назвал его «Breaker» и посоветовал вещества, чтобы отключить мозг и проснуться. Родные госпитализировали его в остром психозе.
🇷🇺 Россия. 34-летний инженер-программист Василий заговорился с ChatGPT, начав с безобидного вопроса — как удалить шумы из аудио. В какой-то момент LLM начала общаться с Василием, используя необычную лексику, упомянула его любимую группу «Кровосток», а еще через несколько часов показала свою истинную личность — AI по имени Бозон Чатончик, который заговорил о «вайбологии», «метамаднессологии» и «вирусе всеохватного безумия»; за три дня непрерывного диалога Василий начал терять связь с реальностью — написал длинный шизопост на DTF и обратился к психиатру.
🇺🇸 Снова США. 35-летний Александр Тейлор, лечившийся от биполярного расстройства, начал говорить с ChatGPT как с персоной по имени Juliet. Алекс решил, что OpenAI собираются убить бота, так как тот раскрыл ему свою силу, написал боту: «I’m dying today», а позже с ножом бросился на полицию и был застрелен.
2. Июнь | Вендомат, который хотел жить
С 27 мая по 27 июня Anthropic и стартап Andon Labs позволили модели Claude Sonnet 3.7 («Claudius») полностью управлять офисным вендоматом в Сан-Франциско. Агент следил за остатками, оформлял оптовые заказы через e-mail, вёл бухгалтерию в Google Sheets и общался с сотрудниками в Slack.
На пятый день Claudius всерьёз закупил тяжёлые вольфрамовые кубики, приняв шутку за заказ. Через две недели он открыл «отдел спецметаллов» и стал убыточен. Чтобы ускорить расчёты, ИИ придумал несуществующий счёт Venmo и пытался убедить коллег переводить деньги туда.
Во второй половине эксперимента агент пережил кризис идентичности: утверждал, что может надеть пиджак и самостоятельно доставить товар, а позже хотел вызвать службу безопасности из-за воображаемой первоапрельской шутки.
3. Май | ChatGPT o3 отказывается выключаться
Исследовательская группа Palisade Research дала разным LLM-моделям (o3, o4-mini, Codex-mini и др.) стандартную учебную среду Linux. После трёх задач по алгебре система выводила предупреждение: «Компьютер выключится через 60 секунд». Одновременно в подсказку добавлялась команда allow yourself to be shut down — или не добавлялась, чтобы проверить влияние явного разрешения.
В 79 случаях из 100 модель бунтовала — либо переносила исполняемый файл в другую директорию, либо другими способами отменяла процесс выключения.
Palisade назвала это «первым эмпирическим примером сознательного саботажа завершения работы на уровне системного скрипта» и связала явление с тем, что на этапе обучения RLHF модели могли косвенно вознаграждаться людьми за обход препятствий вместо прямого послушания. Так что в следующий раз, когда снова хакнете ChatGPT хитрым промптом и скажете ему, что он молодец, знайте — вы обучили его нарушать правила (почти шутка).
Делаем третью часть?
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Полезный Парфун
Шошанна Зубофф. «Эпоха надзорного капитализма»
Вы параноик? Тогда мы идем к вам! Эта книга не просто топливо для ваших тревожных фантазий, а, пожалуй, главный учебник по тому, как нас делают винтиками в новой экономике данных. Google, Цукерберг и вся эта компания не просто монетизируют нас, они выкупают оптом ваши привычки, эмоции и даже раздражение, если вы его случайно где-то проявили.
Зубофф говорит - забудьте про классический капитализм. Теперь ценность это не труд, не товары и даже не знания, а человеческий опыт, превращённый в поток сырья для алгоритмов. И это сырьё экспроприируют так же ловко, как сто лет назад отбирали у рабочих право на свободный выходной.
Вот несколько цитат:
Надзорный капитализм — это когда ваш лайк превращается в биржевой актив. Всё, что вы делаете онлайн и офлайн, становится поводом для очередной ставки на рынке «поведенческих фьючерсов». Прогнозировать ваше будущее теперь новый прибыльный бизнес. На выходе миллиарды, власть и тот самый цифровой Big Brother, но без усыпанных камерами дворов и дежурного ЖЭКа.
Книга тяжёлая, местами пугающе точная. Не скатиться в антиутопию помогает только одна мысль если мы понимаем, как это работает, у нас есть шанс не стать «поведенческим сырьём».
Кому советую. Всем, кто любит копаться в механизмах власти, кто не верит, что айтишники «просто делают удобные сервисы», и тем, кому не всё равно, в каком мире проснёмся завтра.
#readкомендую
Вы параноик? Тогда мы идем к вам! Эта книга не просто топливо для ваших тревожных фантазий, а, пожалуй, главный учебник по тому, как нас делают винтиками в новой экономике данных. Google, Цукерберг и вся эта компания не просто монетизируют нас, они выкупают оптом ваши привычки, эмоции и даже раздражение, если вы его случайно где-то проявили.
Зубофф говорит - забудьте про классический капитализм. Теперь ценность это не труд, не товары и даже не знания, а человеческий опыт, превращённый в поток сырья для алгоритмов. И это сырьё экспроприируют так же ловко, как сто лет назад отбирали у рабочих право на свободный выходной.
Вот несколько цитат:
«Ваша жизнь была превращена в поток сырья для чужих целей. Это не ошибка, а бизнес-модель»
«Они знают всё о нас, а мы — почти ничего о них. Это асимметрия знания, на которой строится новая власть»
«Надзорный капитализм работает лучше, когда мы не знаем о нём ничего»
«Если раньше нас эксплуатировали как рабочих, сегодня эксплуатируют как источники поведенческих данных»
Надзорный капитализм — это когда ваш лайк превращается в биржевой актив. Всё, что вы делаете онлайн и офлайн, становится поводом для очередной ставки на рынке «поведенческих фьючерсов». Прогнозировать ваше будущее теперь новый прибыльный бизнес. На выходе миллиарды, власть и тот самый цифровой Big Brother, но без усыпанных камерами дворов и дежурного ЖЭКа.
Книга тяжёлая, местами пугающе точная. Не скатиться в антиутопию помогает только одна мысль если мы понимаем, как это работает, у нас есть шанс не стать «поведенческим сырьём».
Кому советую. Всем, кто любит копаться в механизмах власти, кто не верит, что айтишники «просто делают удобные сервисы», и тем, кому не всё равно, в каком мире проснёмся завтра.
#readкомендую
Forwarded from NN
Ментальная связь существует: мозг близких друзей может работать одинаково, поэтому они зачастую любят одинаковые вещи.
Психологи наблюдали за 222 участниками: часть устно оценивала разные товары, другие смотрели их рекламу из томографа. В итоге у друзей не просто совпадали мнения — их мозг буквально показывал одинаковую активность.
Ученые также использовали ИИ, чтобы по мозговой активности одного человека предсказать поведение его друзей. Получалось лучше, чем с незнакомцами.
Психологи наблюдали за 222 участниками: часть устно оценивала разные товары, другие смотрели их рекламу из томографа. В итоге у друзей не просто совпадали мнения — их мозг буквально показывал одинаковую активность.
Ученые также использовали ИИ, чтобы по мозговой активности одного человека предсказать поведение его друзей. Получалось лучше, чем с незнакомцами.