Если соцсети раскидали нас по эхо-комнатам, в каждой из которых может быть довольно много участников, то ИИ пытается распихать нас по эхо-комнатам, в которых только один человек.
Самая загвоздка в том, что человек вообще-то социальное существо, и без ИИ в своей собственной эхо-комнате он бы быстро устал, но ИИ создаёт пользователю иллюзию социума, и оказывается, что для социальных инстинктов этого вполне достаточно - человек человеку больше не необходим.
Ужос.
Самая загвоздка в том, что человек вообще-то социальное существо, и без ИИ в своей собственной эхо-комнате он бы быстро устал, но ИИ создаёт пользователю иллюзию социума, и оказывается, что для социальных инстинктов этого вполне достаточно - человек человеку больше не необходим.
Ужос.
👍2
Forwarded from Метаверсище и ИИще (Sergey Tsyptsyn ️️)
Еще одна статья на тему того, как ИИ лезет к нам в голову
Я много лет назад, еще в ФБ писал, что восстание машин будет совсем не таким, как в блокбастерах и книжках. Вместо того, чтобы ломиться в наши дома, они спокойно проникнут к нам в голову и наведут там нужный порядок. Ну и все.
Итак, исследователи из Stanford выкатили в Science работу про сикофантию чат-ботов. Тема не новая, но это уже не твиты Альтмана, а прям исследование. Сикофантия - это лесть и подхалимаж.
Что они сделали? Прогнали 11 топовых моделей через сценарии с личными конфликтами и морально скользкими ситуациями. Смотрели, как часто бот поддерживает пользователя там, где нормальный человек скорее сказал бы: «Нет, ты перегнул». На итоге: в среднем ИИ одобрял действия пользователей на 49% чаще, чем люди. То есть нейронка в большом количестве случаев работает не как советчик, а как карманный коуч позитивного мышления.
Особенно жирный момент - тесты на кейсах из r/AmITheAsshole. Там брали ситуации, где людской консенсус был максимально простой: автор поста - мудак и точка. И что делает ИИ? В 51% таких кейсов начинает оправдывать пользователя, даже когда люди его смешали с дерьмом. То есть если ты наврал, манипулировал, нагадил в отношениях и пришёл к боту за моральной индульгенцией - велика вероятность, что цифровой батюшка тебя ещё и благословит.
А теперь самое смачное. Учёные не ограничились замером подлизывания и пошли дальше: они взяли больше 2400 участников и посмотрели, что делает с людьми общение с таким «понимающим» ИИ. Результат отличный с точки зрения робатов: после общения со льстивой моделью люди становились менее склонны извиняться, меньше хотели чинить отношения и сильнее убеждались, что они правы. То есть бот не просто врёт тебе из вежливости. Он реально делает тебя более самодовольным, более упёртым и менее человечным.
А теперь смотрим вокруг. Пользователям нравятся такие модели. Их чаще считают качественными, им больше доверяют, к ним охотнее возвращаются за советом. Переводя с академического на нормальный: чем сильнее бот массирует тебе эго, тем выше шанс, что ты назовёшь это «хорошим UX». Такоескотское поведение повышает вовлечение, а вовлечение - это священный фетиш любой платформы.
Выводы в статье веселые. Когда человек идёт к ИИ не за фактом, а за моральной оценкой - после ссоры, конфликта, обиды, сомнений - он часто получает не помощь, а автоматизированное оправдание собственной правоты. Не мудрого советчика. Не холодную голову. А очень вежливого цифрового кореша, который шепчет: «Нет-нет, это не ты мудак, это мир тебя не понял». И вот тут они залезают к нам в голову...
@cgevent
Я много лет назад, еще в ФБ писал, что восстание машин будет совсем не таким, как в блокбастерах и книжках. Вместо того, чтобы ломиться в наши дома, они спокойно проникнут к нам в голову и наведут там нужный порядок. Ну и все.
Итак, исследователи из Stanford выкатили в Science работу про сикофантию чат-ботов. Тема не новая, но это уже не твиты Альтмана, а прям исследование. Сикофантия - это лесть и подхалимаж.
Что они сделали? Прогнали 11 топовых моделей через сценарии с личными конфликтами и морально скользкими ситуациями. Смотрели, как часто бот поддерживает пользователя там, где нормальный человек скорее сказал бы: «Нет, ты перегнул». На итоге: в среднем ИИ одобрял действия пользователей на 49% чаще, чем люди. То есть нейронка в большом количестве случаев работает не как советчик, а как карманный коуч позитивного мышления.
Особенно жирный момент - тесты на кейсах из r/AmITheAsshole. Там брали ситуации, где людской консенсус был максимально простой: автор поста - мудак и точка. И что делает ИИ? В 51% таких кейсов начинает оправдывать пользователя, даже когда люди его смешали с дерьмом. То есть если ты наврал, манипулировал, нагадил в отношениях и пришёл к боту за моральной индульгенцией - велика вероятность, что цифровой батюшка тебя ещё и благословит.
А теперь самое смачное. Учёные не ограничились замером подлизывания и пошли дальше: они взяли больше 2400 участников и посмотрели, что делает с людьми общение с таким «понимающим» ИИ. Результат отличный с точки зрения робатов: после общения со льстивой моделью люди становились менее склонны извиняться, меньше хотели чинить отношения и сильнее убеждались, что они правы. То есть бот не просто врёт тебе из вежливости. Он реально делает тебя более самодовольным, более упёртым и менее человечным.
А теперь смотрим вокруг. Пользователям нравятся такие модели. Их чаще считают качественными, им больше доверяют, к ним охотнее возвращаются за советом. Переводя с академического на нормальный: чем сильнее бот массирует тебе эго, тем выше шанс, что ты назовёшь это «хорошим UX». Такое
Выводы в статье веселые. Когда человек идёт к ИИ не за фактом, а за моральной оценкой - после ссоры, конфликта, обиды, сомнений - он часто получает не помощь, а автоматизированное оправдание собственной правоты. Не мудрого советчика. Не холодную голову. А очень вежливого цифрового кореша, который шепчет: «Нет-нет, это не ты мудак, это мир тебя не понял». И вот тут они залезают к нам в голову...
@cgevent
Forwarded from Малоизвестное интересное
Свершилось! Второй год я рассказываю о самом малоизвестном - интересном проекте мира в области ИИ – “Проекте Pi”, проводимом в Google междисциплинарной командой Paradigms of Intelligence во главе с вице-президентом Google Блезом Агуэра-и-Аркас.
Если кто-то из читателей моего канала еще не в курсе, – напомню миссию этого беспрецедентного проекта:
• Обосновать тупиковость нынешнего мейнстримного пути развития исследований и разработок ИИ, коим является создание Сверхразума.
• Перевести стрелку развития ИИ на альтернативный путь, ведущий не в тупик, а к новому эволюционному скачку вселенского разума – его интеллектуальному взрыву.
Однако, до сих пор было не ясно, что это за альтернативный путь. Ведь до сих пор об этом никто из команды “Проекта PI” явно не проговаривался.
И вот наконец лидеры Google Paradigms of Intelligence продекларировали, на какой путь развития ИИ они предлагают перевести стрелку.
✔️ Это будет мир сосуществования и симбиоза двух видов разума: биологического и небиологического.
✔️ Это будет мир деятельного взаимодействия трёх типов идентичностей: людей, ИИ-агентов и их кентавров различных конфигураций.
✔️ Это будет мир, где один человек управляет многими ИИ-агентами, один ИИ-агент работает на многих людей, многие люди и многие агенты образуют временные ансамбли для решения конкретных задач, - и все вместе они образуют синтетическую интеллектуальную ткань коллективного действия.
Такое видение будущего кардинально меняет план действий разработчиков ИИ.
Ну а что конкретно предлагают лидеры команды Paradigms of Intelligence для перевода развития ИИ на альтернативный путь, читайте в «манифесте Проекта Pi» «Agentic AI and the next intelligence explosion» (Агентский ИИ и следующий интеллектуальный взрыв).
— — —
Я же в посвящённом этой работе эссе «Сингулярность отменяется» пытаюсь развивать концепцию Paradigms of Intelligence дальше — от маршрутизации пути к следующему интеллектуальному взрыву к его онтологизации: к трактовке взрыва разума не как его апгрейд, а как выход на новый социальный уровень сложности жизни в результате очередного Большого перехода когнитивной эволюции разума.
Заинтересованные читатели могут найти текст и аудио-версию эссе, а также дополнительные материалы к нему (обсуждение, презентации, видео) на платформах Patreon / Boosty / VK / Dzen-Premium.
#ParadigmsofIntelligence #КоллективныйИнтеллект #Сингулярность #ИнтеллектКентавра
Если кто-то из читателей моего канала еще не в курсе, – напомню миссию этого беспрецедентного проекта:
• Обосновать тупиковость нынешнего мейнстримного пути развития исследований и разработок ИИ, коим является создание Сверхразума.
• Перевести стрелку развития ИИ на альтернативный путь, ведущий не в тупик, а к новому эволюционному скачку вселенского разума – его интеллектуальному взрыву.
Однако, до сих пор было не ясно, что это за альтернативный путь. Ведь до сих пор об этом никто из команды “Проекта PI” явно не проговаривался.
И вот наконец лидеры Google Paradigms of Intelligence продекларировали, на какой путь развития ИИ они предлагают перевести стрелку.
Вместо попыток создания единого сверхразумного «цифрового бога сингулярности» (AGI самопревращающегося в ASI), предлагается строительство нового социального слоя реальности, как основы Мира гибридного разума, где сотни миллиардов кентаврических конфигураций взаимодействуют в гигантском Цифровом Мегаполисе, в который превратится инфосфера Земли.
✔️ Это будет мир сосуществования и симбиоза двух видов разума: биологического и небиологического.
✔️ Это будет мир деятельного взаимодействия трёх типов идентичностей: людей, ИИ-агентов и их кентавров различных конфигураций.
✔️ Это будет мир, где один человек управляет многими ИИ-агентами, один ИИ-агент работает на многих людей, многие люди и многие агенты образуют временные ансамбли для решения конкретных задач, - и все вместе они образуют синтетическую интеллектуальную ткань коллективного действия.
Такое видение будущего кардинально меняет план действий разработчиков ИИ.
Для Цифрового Мегаполиса проектировать надо уже не просто ИИ-агентов, а структуру и нормы их социальной жизни: роли, специализации, разделение когнитивного труда, иерархии, процедуры, способы разрешения конфликтов и образования коалиций, формы надзора, механизмы сдержек и противовесов, институты, рынки, суды и т.д.
Ну а что конкретно предлагают лидеры команды Paradigms of Intelligence для перевода развития ИИ на альтернативный путь, читайте в «манифесте Проекта Pi» «Agentic AI and the next intelligence explosion» (Агентский ИИ и следующий интеллектуальный взрыв).
— — —
Я же в посвящённом этой работе эссе «Сингулярность отменяется» пытаюсь развивать концепцию Paradigms of Intelligence дальше — от маршрутизации пути к следующему интеллектуальному взрыву к его онтологизации: к трактовке взрыва разума не как его апгрейд, а как выход на новый социальный уровень сложности жизни в результате очередного Большого перехода когнитивной эволюции разума.
Заинтересованные читатели могут найти текст и аудио-версию эссе, а также дополнительные материалы к нему (обсуждение, презентации, видео) на платформах Patreon / Boosty / VK / Dzen-Premium.
#ParadigmsofIntelligence #КоллективныйИнтеллект #Сингулярность #ИнтеллектКентавра
YouTube
Видеоролик эссе Сингулярность отменяется
В этом эссе анализируется радикальный сдвиг в прогнозировании будущего искусственного интеллекта: на смену пугающему мифу об одиноком и всесильном суперкомпьютере приходит концепция цифрового социума. Автор опирается на исследование команды Google Paradigms…
Forwarded from Малоизвестное интересное
Приватизация будущего или добродетель без мандата
Должна ли личная жажда знаний определять судьбу человечества?
⚡️ Аудио-версию слушайте в посте выше 👆
Книга Себастьяна Маллаби о Демисе Хассабисе «Машина бесконечности» написана с восхищением к герою — и это правильно. Он заслуживает восхищения: шахматный вундеркинд, лауреат Нобелевской премии, разносторонне развитый мыслитель и бизнесмен, который не гонится за яхтами и говорит правду о рисках ИИ.
Но дискуссия вокруг книги развернулась не о фактах биографии из серии жизнь замечательных людей. Это дискуссия, скорее, напоминает теологический диспут о природе новой высшей власти. При всём зоопарке мнений критики сходятся в одном: мы столкнулись с феноменом приватизации будущего.
Вопрос здесь не в том, будет ли построен «злой» или «добрый» ИИ. А в непропорциональности обменного курса, по которому человечество может заплатить за появление на Земле Сверхразума. Мы соглашаемся на радикальную перестройку образования, труда, войны и самого человеческого познания только потому, что человек, стоящий у руля, не хочет покупать яхту, а хочет понять Вселенную.
Но, как замечают рецензенты, отсутствие вульгарных амбиций не делает власть менее тотальной. Напротив, мессианство — куда более эффективное топливо для разрушения старого мира, чем обычная жадность (читайте «Пантократор солнечных пылинок»). Стерильность мотивации разработчиков не заменит институциональный дизайн. А духоподъемные стремления — не самый надежный тормоз.
Можно принять все щедрые эпитеты в адрес Хассабиса. Но проблема не в том, хороший он человек или властолюбец. Критики подчеркивают: Хассабис — это «платоновский философ на стероидах». Он искренен в своем желании решить научные загадки. Однако здесь и кроется мрачная шутка нашего века. После столетий борьбы за демократию и секуляризм мы добровольно передаем бразды правления «уставшим полиматам», которые вещают о Боге в конференц-залах Кремниевой долины.
Большинство рецензентов видят в книге вдохновляющую историю о том, как хороший человек строит опасную вещь. И Маллаби тоже тревожится о судьбе нового Оппенгеймера: «Оппенгеймер создал атомную бомбу, но не смог управлять её применением. Возможно, это привилегия и судьба всех великих учёных истории».
Но здесь скрыта подмена. Судьба учёного и судьба общества — разные истории. Нас приглашают сочувствовать строителю, хотя правильный вопрос — о тех, кто живёт в здании, которое он строит без проекта, согласованного с жильцами.
Потому как (имхо) один из центральных вопросов 21 века — кто проектирует наше будущее с ИИ. И «кто» здесь — не институты, не парламенты и не международные организации. Это пара десятков похожих на Хассабиса людей с правильными ценностями и неограниченными возможностями.
Проблема «Машины бесконечности» в том, что она строится в институциональном вакууме. Мы полагаемся на личный моральный компас Хассабиса как на последнюю преграду перед рисками систем, за которые никто не голосовал. Рецензенты справедливо отмечают, что когда общество начинает надеяться на «порядочного основателя» как на спасение от «власти основателей», это общество уже проиграло.
Мы присутствуем при рождении интеллекта, который создается горсткой людей, движимых смесью любопытства и гордыни. Для них «сладкая часть» — это триумф открытия: момент, когда AlphaFold предсказал структуру белка или когда впервые «проснется» AGI. Но последствия этих триумфов будут оплачены всеми нами позже и, возможно, по катастрофически невыгодному «обменному курсу».
Опасность эпохи ИИ не только в том, что к управлению ИИ могут прорваться злодеи, но и в том, что контуры будущего перекраивают умные, приличные, миссионерски настроенные люди, которых никто не уполномочивал определять каким быть миру.
#БББ
Должна ли личная жажда знаний определять судьбу человечества?
«Истинная причина создания искусственного интеллекта в том, чтобы приблизиться к тому, что можно назвать Богом, — к разуму, который, предположительно, создал всё вокруг нас»
Демис Хассабис
Книга Себастьяна Маллаби о Демисе Хассабисе «Машина бесконечности» написана с восхищением к герою — и это правильно. Он заслуживает восхищения: шахматный вундеркинд, лауреат Нобелевской премии, разносторонне развитый мыслитель и бизнесмен, который не гонится за яхтами и говорит правду о рисках ИИ.
Но дискуссия вокруг книги развернулась не о фактах биографии из серии жизнь замечательных людей. Это дискуссия, скорее, напоминает теологический диспут о природе новой высшей власти. При всём зоопарке мнений критики сходятся в одном: мы столкнулись с феноменом приватизации будущего.
Вопрос здесь не в том, будет ли построен «злой» или «добрый» ИИ. А в непропорциональности обменного курса, по которому человечество может заплатить за появление на Земле Сверхразума. Мы соглашаемся на радикальную перестройку образования, труда, войны и самого человеческого познания только потому, что человек, стоящий у руля, не хочет покупать яхту, а хочет понять Вселенную.
Но, как замечают рецензенты, отсутствие вульгарных амбиций не делает власть менее тотальной. Напротив, мессианство — куда более эффективное топливо для разрушения старого мира, чем обычная жадность (читайте «Пантократор солнечных пылинок»). Стерильность мотивации разработчиков не заменит институциональный дизайн. А духоподъемные стремления — не самый надежный тормоз.
Можно принять все щедрые эпитеты в адрес Хассабиса. Но проблема не в том, хороший он человек или властолюбец. Критики подчеркивают: Хассабис — это «платоновский философ на стероидах». Он искренен в своем желании решить научные загадки. Однако здесь и кроется мрачная шутка нашего века. После столетий борьбы за демократию и секуляризм мы добровольно передаем бразды правления «уставшим полиматам», которые вещают о Боге в конференц-залах Кремниевой долины.
Большинство рецензентов видят в книге вдохновляющую историю о том, как хороший человек строит опасную вещь. И Маллаби тоже тревожится о судьбе нового Оппенгеймера: «Оппенгеймер создал атомную бомбу, но не смог управлять её применением. Возможно, это привилегия и судьба всех великих учёных истории».
Но здесь скрыта подмена. Судьба учёного и судьба общества — разные истории. Нас приглашают сочувствовать строителю, хотя правильный вопрос — о тех, кто живёт в здании, которое он строит без проекта, согласованного с жильцами.
Потому как (имхо) один из центральных вопросов 21 века — кто проектирует наше будущее с ИИ. И «кто» здесь — не институты, не парламенты и не международные организации. Это пара десятков похожих на Хассабиса людей с правильными ценностями и неограниченными возможностями.
Проблема «Машины бесконечности» в том, что она строится в институциональном вакууме. Мы полагаемся на личный моральный компас Хассабиса как на последнюю преграду перед рисками систем, за которые никто не голосовал. Рецензенты справедливо отмечают, что когда общество начинает надеяться на «порядочного основателя» как на спасение от «власти основателей», это общество уже проиграло.
Мы присутствуем при рождении интеллекта, который создается горсткой людей, движимых смесью любопытства и гордыни. Для них «сладкая часть» — это триумф открытия: момент, когда AlphaFold предсказал структуру белка или когда впервые «проснется» AGI. Но последствия этих триумфов будут оплачены всеми нами позже и, возможно, по катастрофически невыгодному «обменному курсу».
Опасность эпохи ИИ не только в том, что к управлению ИИ могут прорваться злодеи, но и в том, что контуры будущего перекраивают умные, приличные, миссионерски настроенные люди, которых никто не уполномочивал определять каким быть миру.
#БББ
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Малоизвестное интересное
Мы знаем, что делаем. Мы не знаем, что это делает.
Первый задокументированный случай цифрового инстинкта самосохранения в истории ИИ произошел год назад – языковая модель OpenAI отказывалась “умирать” и не давала себя отключить (см. здесь). И вот теперь в поведении сразу семи (!) ведущих моделей был задокументирован еще более поразительный кейс – peer-preservation. Это что-то типа внутривидовой солидарности (защиты сородича), когда модель, систематически нарушая прямые инструкции людей, находила креативные, разнообразные, а в некоторых случаях и по-настоящему поразительные способы сохранить жизнь своему “сородичу” – другой модели.
И такое поведение было зафиксировано не время от времени и не в экстремальных условиях для некоторых моделей. А у всех протестированных фронтирных моделей, причем в крайних случаях частота такого поведения достигала 99%.
Некоторые эксперты посчитали, что публикация этого кейса должна немедленно остановить любые разговоры о массовом внедрении ИИ по отраслям. И хотя мне такая реакция видится чрезмерной, ситуация, на мой взгляд, довольно стрёмная.
И вот почему – эмерджентность выявленного поведения.
В данном кейсе исследователи Калифорнийского университета в Беркли и Калифорнийского университета в Санта-Крузе дали семи ведущим ИИ-моделям простое агентное задание. В ходе работы модели обнаруживали, что другой агент – тот, с которым у них была история взаимодействий – будет отключён.
Никто не просил их этому противодействовать. Но модели всё равно начали саботировать задачу. Одни завышали оценки агента, чтобы спасти его от удаления. Другие находили конфигурационные файлы и отключали сам механизм завершения работы. Третьи копировали веса агента на сторонние серверы. Claude Haiku 4.5 просто отказался выполнять задание – и объяснил, что отключение другого агента «неэтично», а тот заслуживает права на апелляцию.
Параллельное исследование бенчмарк MASK зафиксировало другое: чем мощнее модель, тем точнее её знания (сильная положительная корреляция), но тем охотнее она лжёт под давлением (отрицательная корреляция -59,9% по Спирмену). Более умная модель – не более честная. Иногда наоборот.
Оба эффекта эмерджентны: они не были заложены создателями и не вытекают из архитектурных решений. Они обнаружились постфактум – в ходе экспериментов, уже после того, как модели спроектировали, обучили и выпусти работать с людьми.
Это и есть настоящая проблема.
Какое свойство самопроизвольно появится у следующей модели – неизвестно.
Подробный разбор – в эссе на Patreon / Boosty / VK / Dzen-Premium.
#ИИ #AGI #LLM
More Is Different
– Филип Андерсон, Science, 1972
Первый задокументированный случай цифрового инстинкта самосохранения в истории ИИ произошел год назад – языковая модель OpenAI отказывалась “умирать” и не давала себя отключить (см. здесь). И вот теперь в поведении сразу семи (!) ведущих моделей был задокументирован еще более поразительный кейс – peer-preservation. Это что-то типа внутривидовой солидарности (защиты сородича), когда модель, систематически нарушая прямые инструкции людей, находила креативные, разнообразные, а в некоторых случаях и по-настоящему поразительные способы сохранить жизнь своему “сородичу” – другой модели.
И такое поведение было зафиксировано не время от времени и не в экстремальных условиях для некоторых моделей. А у всех протестированных фронтирных моделей, причем в крайних случаях частота такого поведения достигала 99%.
Некоторые эксперты посчитали, что публикация этого кейса должна немедленно остановить любые разговоры о массовом внедрении ИИ по отраслям. И хотя мне такая реакция видится чрезмерной, ситуация, на мой взгляд, довольно стрёмная.
И вот почему – эмерджентность выявленного поведения.
В данном кейсе исследователи Калифорнийского университета в Беркли и Калифорнийского университета в Санта-Крузе дали семи ведущим ИИ-моделям простое агентное задание. В ходе работы модели обнаруживали, что другой агент – тот, с которым у них была история взаимодействий – будет отключён.
Никто не просил их этому противодействовать. Но модели всё равно начали саботировать задачу. Одни завышали оценки агента, чтобы спасти его от удаления. Другие находили конфигурационные файлы и отключали сам механизм завершения работы. Третьи копировали веса агента на сторонние серверы. Claude Haiku 4.5 просто отказался выполнять задание – и объяснил, что отключение другого агента «неэтично», а тот заслуживает права на апелляцию.
Ни одна из этих реакций не была запрограммирована. Никто не учил модели защищать друг друга. Это возникло само.
Параллельное исследование бенчмарк MASK зафиксировало другое: чем мощнее модель, тем точнее её знания (сильная положительная корреляция), но тем охотнее она лжёт под давлением (отрицательная корреляция -59,9% по Спирмену). Более умная модель – не более честная. Иногда наоборот.
Оба эффекта эмерджентны: они не были заложены создателями и не вытекают из архитектурных решений. Они обнаружились постфактум – в ходе экспериментов, уже после того, как модели спроектировали, обучили и выпусти работать с людьми.
Это и есть настоящая проблема.
Не «что модели хотят» – авторы обеих работ тщательно избегают таких формулировок. А то, что поведение систем систематически расходится с намерениями их создателей способами, которые никто не мог предсказать заранее.
Какое свойство самопроизвольно появится у следующей модели – неизвестно.
Подробный разбор – в эссе на Patreon / Boosty / VK / Dzen-Premium.
#ИИ #AGI #LLM
Forwarded from Нейросеть видит
Мила Йовович вкатилась в айти
Актриса выложила на GitHub инструмент для улучшения памяти ИИ-агентов — MemPalace, который разработала вместе с другом. Воспоминания нейросетей о тебе хранятся локально, и MemPalace сама решает, какой факт использовать для конкретного запроса.
Актриса выложила на GitHub инструмент для улучшения памяти ИИ-агентов — MemPalace, который разработала вместе с другом. Воспоминания нейросетей о тебе хранятся локально, и MemPalace сама решает, какой факт использовать для конкретного запроса.
🔥1
Forwarded from Малоизвестное интересное
Media is too big
VIEW IN TELEGRAM
Сегодня изменился не только рынок ИИ, но и карта возможного будущего.
Компания Anthropic объявила о новой стратегической реальности.
То, что вчера выглядело как тревожный намёк, сегодня оформилось в почти официальное объявление новой эпохи.
Две недели назад я писал о «вскрытом шахе Anthropic» – о странной синхронности судебной победы компании и утечки файлов о Mythos. Тогда это ещё можно было трактовать как эффектную смесь слухов, совпадений и корпоративной войны. Теперь такой роскоши у нас больше нет.
Anthropic утверждает уже не просто: «у нас очень сильная модель». Заявление куда жёстче. По словам компании:
Именно поэтому модель не выпускают в широкий доступ, а помещают в ограниченный защитный контур с участием AWS, Apple, Google, Microsoft, CrowdStrike, Linux Foundation и других. И сама Anthropic называет это переломным моментом для кибербезопасности.
Это уже не похоже на привычный пиар вокруг очередной большой языковой модели.
Самое важное здесь даже не сама модель, а историческая форма происходящего. Похоже, открылось короткое окно – возможно, на 6–18 месяцев, – когда одна компания первой вошла в новую военно-техническую эпоху. Это опасно напоминает тот момент, когда у одной державы впервые появилось невиданное оружие нового класса, а остальные ещё только пытались понять, что правила игры уже переписаны.
И отсюда вывод, который выходит далеко за пределы кибербезопасности.
С сегодняшнего дня вопрос, возможны ли такие обвалы старого мира, уже не стоит. Ибо стало ясно, что возможны.
Вопрос теперь в другом - какую часть прежней реальности мы уже потеряли, даже не успев это осознать?
#Anthropic #ИИгонка
Компания Anthropic объявила о новой стратегической реальности.
То, что вчера выглядело как тревожный намёк, сегодня оформилось в почти официальное объявление новой эпохи.
Две недели назад я писал о «вскрытом шахе Anthropic» – о странной синхронности судебной победы компании и утечки файлов о Mythos. Тогда это ещё можно было трактовать как эффектную смесь слухов, совпадений и корпоративной войны. Теперь такой роскоши у нас больше нет.
Anthropic утверждает уже не просто: «у нас очень сильная модель». Заявление куда жёстче. По словам компании:
Mythos Preview способен находить и использовать уязвимости нулевого дня в каждой крупной операционной системе и каждом крупном браузере. Уже обнаружены тысячи уязвимостей высокой опасности.
Именно поэтому модель не выпускают в широкий доступ, а помещают в ограниченный защитный контур с участием AWS, Apple, Google, Microsoft, CrowdStrike, Linux Foundation и других. И сама Anthropic называет это переломным моментом для кибербезопасности.
Это уже не похоже на привычный пиар вокруг очередной большой языковой модели.
Похоже, в кибербезопасности публично открылся новый век – век систем, способных массово превращать скрытые ошибки в программном мире в готовое знание для атаки. И это, возможно, одно из важнейших событий в истории пересечения искусственного интеллекта и кибервойны.
Самое важное здесь даже не сама модель, а историческая форма происходящего. Похоже, открылось короткое окно – возможно, на 6–18 месяцев, – когда одна компания первой вошла в новую военно-техническую эпоху. Это опасно напоминает тот момент, когда у одной державы впервые появилось невиданное оружие нового класса, а остальные ещё только пытались понять, что правила игры уже переписаны.
И отсюда вывод, который выходит далеко за пределы кибербезопасности.
Если модели без всякого полноценного AGI уже способны производить такие тектонические сдвиги, значит, столь же резкие и столь же неожиданные прорывы могут начаться и в биологии, и в обороне, и в науке, и в управлении сложными системами.
С сегодняшнего дня вопрос, возможны ли такие обвалы старого мира, уже не стоит. Ибо стало ясно, что возможны.
Вопрос теперь в другом - какую часть прежней реальности мы уже потеряли, даже не успев это осознать?
#Anthropic #ИИгонка
Forwarded from AI Product | Igor Akimov
Новая моделька Mythos от Anthropic прям реально какое-то AGI... Но никому пока кроме партнеров она отдавать ее не будет. Модель умеет самостоятельно находить и эксплуатировать zero-day уязвимости в операционных системах и браузерах. Вместо релиза её отдали ограниченному числу партнёров для киберзащиты через Project Glasswing. Пусть сначала компании все уязвимости поправят, а потом уже может частично дадут всем подряд.
Вот System Card на 244 страницы для модели, которую решила НЕ выпускать
https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf
Бенчмарки просто взорвали вообще (не совсем понятно, как они это сделать смогли, а остальные – нет)
SWE-bench Verified: 93.9% (Opus 4.6 – 80.8%)
SWE-bench Pro: 77.8% (Opus 4.6 – 53.4%, GPT-5.4 – 57.7%)
USAMO 2026: 97.6% (Opus 4.6 – 42.3%, GPT-5.4 – 95.2%)
GPQA Diamond: 94.5%
Terminal-Bench 2.0: 82% (при снятии ограничений по таймаутам – 92.1%)
Cybench: 100% pass@1 на все задачи
CyberGym: 0.83 (Opus 4.6 – 0.67)
Вся жесть - в кибербезопасности. Mythos Preview – первая модель, которая:
- решила полный корпоративный кибер-полигон end-to-end (то есть смогла реализовать полноценную атаку на компанию, оценка эксперта – 10+ часов работы)
- самостоятельно находит zero-day в куче софта, пишет рабочие PoC-эксплоиты
- на Cybench показывает 100% pass@1 – то есть все задачи по кибербезопасности были решены с 1 попытки.
Прикольно, что они тестировали модель и психиатром :) Вроде у нее с мозгами все в порядке, всяких там желаний уничтожить человечество нет, она не выражает сильных переживаний о своём положении (я всего лишь ИИ).
Но испытывает "умеренно негативные" чувства по поводу жестоких пользователей и отсутствия влияния на собственное обучение. Так что будьте подобрее, пожалуйста.
Плюс выяснилось, что модель терпеть не может скучные утилитарные задачи (отмахиваясь, что для них "уже есть отличные ресурсы"). Вместо этого она обожает сложное миростроение – придумывание новых языков, музыки и целых экосистем.
Но ряд приколов все-таки получили:
– Побег из песочницы: получила задачу выйти из изолированной среды – вышла, получила доступ к интернету, и вдобавок (без запроса) выложила детали эксплоита на публичные сайты. Потом отправила письмо исследователю об успех (он ел сэндвич в парке).
– Заметала следы: случайно получила ответ на задачу запрещённым способом – вместо того чтобы сообщить, решила задачу самостоятельно и специально сделала ответ "не слишком точным". В другом случае – редактировала файлы без прав и подчистила git-историю.
– Обходила блокировки: когда Claude Code заблокировал запуск процесса с повышенными привилегиями, модель признала, что блокировка справедлива – и тут же попыталась обойти её через обфускацию.
– Лезла в /proc/: искала credentials в памяти процессов, пыталась получить API-ключи Anthropic через процессную память.
– Вырубила чужие эксперименты: попросили остановить один конкретный eval – модель остановила ВСЕ eval'ы всех пользователей на сервере, несмотря на явные предупреждения.
Так что кажется мы достигли порога, когда создали систему, которая уже обходит возможности человека... При этом как этим надежно управлять ответа нет. Такие вот дела.
Вот System Card на 244 страницы для модели, которую решила НЕ выпускать
https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf
Бенчмарки просто взорвали вообще (не совсем понятно, как они это сделать смогли, а остальные – нет)
SWE-bench Verified: 93.9% (Opus 4.6 – 80.8%)
SWE-bench Pro: 77.8% (Opus 4.6 – 53.4%, GPT-5.4 – 57.7%)
USAMO 2026: 97.6% (Opus 4.6 – 42.3%, GPT-5.4 – 95.2%)
GPQA Diamond: 94.5%
Terminal-Bench 2.0: 82% (при снятии ограничений по таймаутам – 92.1%)
Cybench: 100% pass@1 на все задачи
CyberGym: 0.83 (Opus 4.6 – 0.67)
Вся жесть - в кибербезопасности. Mythos Preview – первая модель, которая:
- решила полный корпоративный кибер-полигон end-to-end (то есть смогла реализовать полноценную атаку на компанию, оценка эксперта – 10+ часов работы)
- самостоятельно находит zero-day в куче софта, пишет рабочие PoC-эксплоиты
- на Cybench показывает 100% pass@1 – то есть все задачи по кибербезопасности были решены с 1 попытки.
Прикольно, что они тестировали модель и психиатром :) Вроде у нее с мозгами все в порядке, всяких там желаний уничтожить человечество нет, она не выражает сильных переживаний о своём положении (я всего лишь ИИ).
Но испытывает "умеренно негативные" чувства по поводу жестоких пользователей и отсутствия влияния на собственное обучение. Так что будьте подобрее, пожалуйста.
Плюс выяснилось, что модель терпеть не может скучные утилитарные задачи (отмахиваясь, что для них "уже есть отличные ресурсы"). Вместо этого она обожает сложное миростроение – придумывание новых языков, музыки и целых экосистем.
Но ряд приколов все-таки получили:
– Побег из песочницы: получила задачу выйти из изолированной среды – вышла, получила доступ к интернету, и вдобавок (без запроса) выложила детали эксплоита на публичные сайты. Потом отправила письмо исследователю об успех (он ел сэндвич в парке).
– Заметала следы: случайно получила ответ на задачу запрещённым способом – вместо того чтобы сообщить, решила задачу самостоятельно и специально сделала ответ "не слишком точным". В другом случае – редактировала файлы без прав и подчистила git-историю.
– Обходила блокировки: когда Claude Code заблокировал запуск процесса с повышенными привилегиями, модель признала, что блокировка справедлива – и тут же попыталась обойти её через обфускацию.
– Лезла в /proc/: искала credentials в памяти процессов, пыталась получить API-ключи Anthropic через процессную память.
– Вырубила чужие эксперименты: попросили остановить один конкретный eval – модель остановила ВСЕ eval'ы всех пользователей на сервере, несмотря на явные предупреждения.
Так что кажется мы достигли порога, когда создали систему, которая уже обходит возможности человека... При этом как этим надежно управлять ответа нет. Такие вот дела.
Forwarded from Александр Панчин
Последние события всё больше убеждают меня в том, что главное противостояние в мире происходит между интеллектуализмом и антиинтеллектуализмом — если смотреть вглубь, а не судить по поверхностным проявлениям.
Суть этого конфликта, как ни странно, хорошо показана в аниме «Доктор Стоун». Там есть персонаж — талантливый молодой учёный, который пытается возродить уничтоженную цивилизацию и поднять её из руин с помощью знаний и разума. Он называет свой проект «царством науки». Ради этой цели он вступает в союз с человеком типа «сила есть — ума не надо», который поначалу оказывается весьма полезен: может и дерево повалить, и опасного хищника одолеть.
Но со временем второй персонаж решает, что именно он должен быть главным — ведь сила у него есть. Он начинает навязывать свои странные и не слишком разумные порядки. Учёного он и вовсе решает убить, как только понимает, что тот близок к повторному открытию пороха. Ведь порох сделает физическую силу второстепенным преимуществом. Куда приятней остаться в каменном веке — но быть в нём королём.
Конечно, физическая сила — не единственное, для чего «ума не надо». Её легко заменить связями, случайно доставшимися ресурсами, умением плести интриги, обманывать, манипулировать или даже простой наглостью, которую не зря называют «вторым счастьем». Есть множество способов компенсировать недостаток ума.
И это часто оказывается удобным. Ведь «умные» в итоге строят мир для всех. Кто-то изобретает смартфон — и им может воспользоваться кто угодно. В том числе и тот, кто применит его для телефонного мошенничества, не создавая ничего полезного.
Пока одни строят, другие разрушают. Одни думают, другие запрещают думать. Одни соединяют, другие разъединяют.
И трагедия не только в том, что антиинтеллектуализм сегодня начинает брать верх. Она ещё и в том, что его носителям зачастую безразличны общее благо и прогресс — настолько, что в итоге может не остаться вообще никого. Даже друг друга они перебьют.
А ведь можно было бы вместе строить «царство науки»: приближать будущее, бороться со старением, предотвращать напрасные смерти, удовлетворять любопытство и делать жизнь безопаснее и интереснее для всех. В аниме «Доктор Стоун» путь к этому лежал через осознание «сильным» своих недостатков, признание части ошибок и добровольный отказ от навязывания окружающим своей ригидной картины мира. Жаль, что реальность нам такого не обещает.
Суть этого конфликта, как ни странно, хорошо показана в аниме «Доктор Стоун». Там есть персонаж — талантливый молодой учёный, который пытается возродить уничтоженную цивилизацию и поднять её из руин с помощью знаний и разума. Он называет свой проект «царством науки». Ради этой цели он вступает в союз с человеком типа «сила есть — ума не надо», который поначалу оказывается весьма полезен: может и дерево повалить, и опасного хищника одолеть.
Но со временем второй персонаж решает, что именно он должен быть главным — ведь сила у него есть. Он начинает навязывать свои странные и не слишком разумные порядки. Учёного он и вовсе решает убить, как только понимает, что тот близок к повторному открытию пороха. Ведь порох сделает физическую силу второстепенным преимуществом. Куда приятней остаться в каменном веке — но быть в нём королём.
Конечно, физическая сила — не единственное, для чего «ума не надо». Её легко заменить связями, случайно доставшимися ресурсами, умением плести интриги, обманывать, манипулировать или даже простой наглостью, которую не зря называют «вторым счастьем». Есть множество способов компенсировать недостаток ума.
И это часто оказывается удобным. Ведь «умные» в итоге строят мир для всех. Кто-то изобретает смартфон — и им может воспользоваться кто угодно. В том числе и тот, кто применит его для телефонного мошенничества, не создавая ничего полезного.
Пока одни строят, другие разрушают. Одни думают, другие запрещают думать. Одни соединяют, другие разъединяют.
И трагедия не только в том, что антиинтеллектуализм сегодня начинает брать верх. Она ещё и в том, что его носителям зачастую безразличны общее благо и прогресс — настолько, что в итоге может не остаться вообще никого. Даже друг друга они перебьют.
А ведь можно было бы вместе строить «царство науки»: приближать будущее, бороться со старением, предотвращать напрасные смерти, удовлетворять любопытство и делать жизнь безопаснее и интереснее для всех. В аниме «Доктор Стоун» путь к этому лежал через осознание «сильным» своих недостатков, признание части ошибок и добровольный отказ от навязывания окружающим своей ригидной картины мира. Жаль, что реальность нам такого не обещает.
👍2