Корней Чуковский

Краденое солнце

Солнце по небу гуляло
И за тучу забежало.
Глянул заинька в окно,
Стало заиньке темно.
А сороки-
Белобоки
Поскакали по полям,
Закричали журавлям:
«Горе! Горе! Крокодил
Солнце в небе проглотил!»
Наступила темнота.
Не ходи за ворота:
Кто на улицу попал —
Заблудился и пропал.
Плачет серый воробей:
«Выйди, солнышко, скорей!
Нам без солнышка обидно —
В поле зёрнышка не видно!»
Плачут зайки
На лужайке:
Сбились, бедные, с пути,
Им до дому не дойти.
Только раки пучеглазые
По земле во мраке лазают,
Да в овраге за горою
Волки бешеные воют.
Рано-рано
Два барана
Застучали в ворота:
Тра-та-та и тра-та-та!
«Эй вы, звери, выходите,
Крокодила победите,
Чтобы жадный Крокодил
Солнце в небо воротил!»
Но мохнатые боятся:
«Где нам с этаким сражаться!
Он и грозен и зубаст,
Он нам солнца не отдаст!»
И бегут они к Медведю в берлогу:
«Выходи-ка ты, Медведь, на подмогу.
Полно лапу тебе, лодырю, сосать.
Надо солнышко идти выручать!»
Но Медведю воевать неохота:
Ходит-ходит он, Медведь, круг болота,
Он и плачет, Медведь, и ревёт,
Медвежат он из болота зовёт:
«Ой, куда вы, толстопятые, сгинули?
На кого вы меня, старого, кинули?»
А в болоте Медведица рыщет,
Медвежат под корягами ищет:
«Куда вы, куда вы пропали?
Или в канаву упали?
Или шальные собаки
Вас разорвали во мраке?»
И весь день она по лесу бродит,
Но нигде медвежат не находит.
Только чёрные совы из чащи
На неё свои очи таращат.
Тут зайчиха выходила
И Медведю говорила:
«Стыдно старому реветь —
Ты не заяц, а Медведь.
Ты поди-ка, косолапый,
Крокодила исцарапай,
Разорви его на части,
Вырви солнышко из пасти.
И когда оно опять
Будет на небе сиять,
Малыши твои мохнатые,
Медвежата толстопятые,
Сами к дому прибегут:
«Здравствуй, дедушка, мы тут!»
И встал
Медведь,
Зарычал
Медведь,
И к Большой Реке
Побежал
Медведь.
А в Большой Реке
Крокодил
Лежит,
И в зубах его
Не огонь горит, -
Солнце красное,
Солнце краденое.
Подошёл Медведь тихонько,
Толканул его легонько:
«Говорю тебе, злодей,
Выплюнь солнышко скорей!
А не то, гляди, поймаю,
Пополам переломаю, -
Будешь ты, невежа, знать
Наше солнце воровать!
Ишь разбойничья порода:
Цапнул солнце с небосвода
И с набитым животом
Завалился под кустом
Да и хрюкает спросонья,
Словно сытая хавронья.
Пропадает целый свет,
А ему и горя нет!»
Но бессовестный смеётся
Так, что дерево трясётся:
«Если только захочу,
И луну я проглочу!»
Не стерпел
Медведь,
Заревел
Медведь,
И на злого врага
Налетел
Медведь.
Уж он мял его
И ломал его:
«Подавай сюда
Наше солнышко!»
Испугался Крокодил,
Завопил, заголосил,
А из пасти
Из зубастой
Солнце вывалилось,
В небо выкатилось!
Побежало по кустам,
По берёзовым листам.
Здравствуй, солнце золотое!
Здравствуй, небо голубое!
Стали пташки щебетать,
За букашками летать.
Стали зайки
На лужайке
Кувыркаться и скакать.
И глядите: медвежата,
Как весёлые котята,
Прямо к дедушке мохнатому,
Толстопятые, бегут:
«Здравствуй, дедушка, мы тут!»
Рады зайчики и белочки,
Рады мальчики и девочки,
Обнимают и целуют косолапого:
«Ну, спасибо тебе, дедушка, за солнышко!»

1927 г.

В следующем году Краденному Солнцу 100 лет.

Если соцсети раскидали нас по эхо-комнатам, в каждой из которых может быть довольно много участников, то ИИ пытается распихать нас по эхо-комнатам, в которых только один человек.

Самая загвоздка в том, что человек вообще-то социальное существо, и без ИИ в своей собственной эхо-комнате он бы быстро устал, но ИИ создаёт пользователю иллюзию социума, и оказывается, что для социальных инстинктов этого вполне достаточно - человек человеку больше не необходим.

Ужос.

Еще одна статья на тему того, как ИИ лезет к нам в голову

Я много лет назад, еще в ФБ писал, что восстание машин будет совсем не таким, как в блокбастерах и книжках. Вместо того, чтобы ломиться в наши дома, они спокойно проникнут к нам в голову и наведут там нужный порядок. Ну и все.

Итак, исследователи из Stanford выкатили в Science работу про сикофантию чат-ботов. Тема не новая, но это уже не твиты Альтмана, а прям исследование. Сикофантия - это лесть и подхалимаж.

Что они сделали? Прогнали 11 топовых моделей через сценарии с личными конфликтами и морально скользкими ситуациями. Смотрели, как часто бот поддерживает пользователя там, где нормальный человек скорее сказал бы: «Нет, ты перегнул». На итоге: в среднем ИИ одобрял действия пользователей на 49% чаще, чем люди. То есть нейронка в большом количестве случаев работает не как советчик, а как карманный коуч позитивного мышления.

Особенно жирный момент - тесты на кейсах из r/AmITheAsshole. Там брали ситуации, где людской консенсус был максимально простой: автор поста - мудак и точка. И что делает ИИ? В 51% таких кейсов начинает оправдывать пользователя, даже когда люди его смешали с дерьмом. То есть если ты наврал, манипулировал, нагадил в отношениях и пришёл к боту за моральной индульгенцией - велика вероятность, что цифровой батюшка тебя ещё и благословит.

А теперь самое смачное. Учёные не ограничились замером подлизывания и пошли дальше: они взяли больше 2400 участников и посмотрели, что делает с людьми общение с таким «понимающим» ИИ. Результат отличный с точки зрения робатов: после общения со льстивой моделью люди становились менее склонны извиняться, меньше хотели чинить отношения и сильнее убеждались, что они правы. То есть бот не просто врёт тебе из вежливости. Он реально делает тебя более самодовольным, более упёртым и менее человечным.

А теперь смотрим вокруг. Пользователям нравятся такие модели. Их чаще считают качественными, им больше доверяют, к ним охотнее возвращаются за советом. Переводя с академического на нормальный: чем сильнее бот массирует тебе эго, тем выше шанс, что ты назовёшь это «хорошим UX». Такое скотское поведение повышает вовлечение, а вовлечение - это священный фетиш любой платформы.

Выводы в статье веселые. Когда человек идёт к ИИ не за фактом, а за моральной оценкой - после ссоры, конфликта, обиды, сомнений - он часто получает не помощь, а автоматизированное оправдание собственной правоты. Не мудрого советчика. Не холодную голову. А очень вежливого цифрового кореша, который шепчет: «Нет-нет, это не ты мудак, это мир тебя не понял». И вот тут они залезают к нам в голову...

@cgevent

Свершилось! Второй год я рассказываю о самом малоизвестном - интересном проекте мира в области ИИ – “Проекте Pi”, проводимом в Google междисциплинарной командой Paradigms of Intelligence во главе с вице-президентом Google Блезом Агуэра-и-Аркас.

Если кто-то из читателей моего канала еще не в курсе, – напомню миссию этого беспрецедентного проекта:
• Обосновать тупиковость нынешнего мейнстримного пути развития исследований и разработок ИИ, коим является создание Сверхразума.
• Перевести стрелку развития ИИ на альтернативный путь, ведущий не в тупик, а к новому эволюционному скачку вселенского разума – его интеллектуальному взрыву.

Однако, до сих пор было не ясно, что это за альтернативный путь. Ведь до сих пор об этом никто из команды “Проекта PI” явно не проговаривался.

И вот наконец лидеры Google Paradigms of Intelligence продекларировали, на какой путь развития ИИ они предлагают перевести стрелку.

Вместо попыток создания единого сверхразумного «цифрового бога сингулярности» (AGI самопревращающегося в ASI), предлагается строительство нового социального слоя реальности, как основы Мира гибридного разума, где сотни миллиардов кентаврических конфигураций взаимодействуют в гигантском Цифровом Мегаполисе, в который превратится инфосфера Земли.

✔️ Это будет мир сосуществования и симбиоза двух видов разума: биологического и небиологического.

✔️ Это будет мир деятельного взаимодействия трёх типов идентичностей: людей, ИИ-агентов и их кентавров различных конфигураций.

✔️ Это будет мир, где один человек управляет многими ИИ-агентами, один ИИ-агент работает на многих людей, многие люди и многие агенты образуют временные ансамбли для решения конкретных задач, - и все вместе они образуют синтетическую интеллектуальную ткань коллективного действия.

Такое видение будущего кардинально меняет план действий разработчиков ИИ.

Для Цифрового Мегаполиса проектировать надо уже не просто ИИ-агентов, а структуру и нормы их социальной жизни: роли, специализации, разделение когнитивного труда, иерархии, процедуры, способы разрешения конфликтов и образования коалиций, формы надзора, механизмы сдержек и противовесов, институты, рынки, суды и т.д.

Ну а что конкретно предлагают лидеры команды Paradigms of Intelligence для перевода развития ИИ на альтернативный путь, читайте в «манифесте Проекта Pi» «Agentic AI and the next intelligence explosion» (Агентский ИИ и следующий интеллектуальный взрыв).
— — —

Я же в посвящённом этой работе эссе «Сингулярность отменяется» пытаюсь развивать концепцию Paradigms of Intelligence дальше — от маршрутизации пути к следующему интеллектуальному взрыву к его онтологизации: к трактовке взрыва разума не как его апгрейд, а как выход на новый социальный уровень сложности жизни в результате очередного Большого перехода когнитивной эволюции разума.

Заинтересованные читатели могут найти текст и аудио-версию эссе, а также дополнительные материалы к нему (обсуждение, презентации, видео) на платформах Patreon / Boosty / VK / Dzen-Premium.

#ParadigmsofIntelligence #КоллективныйИнтеллект #Сингулярность #ИнтеллектКентавра

Мы знаем, что делаем. Мы не знаем, что это делает.

More Is Different
– Филип Андерсон, Science, 1972

Первый задокументированный случай цифрового инстинкта самосохранения в истории ИИ произошел год назад – языковая модель OpenAI отказывалась “умирать” и не давала себя отключить (см. здесь). И вот теперь в поведении сразу семи (!) ведущих моделей был задокументирован еще более поразительный кейс – peer-preservation. Это что-то типа внутривидовой солидарности (защиты сородича), когда модель, систематически нарушая прямые инструкции людей, находила креативные, разнообразные, а в некоторых случаях и по-настоящему поразительные способы сохранить жизнь своему “сородичу” – другой модели.

И такое поведение было зафиксировано не время от времени и не в экстремальных условиях для некоторых моделей. А у всех протестированных фронтирных моделей, причем в крайних случаях частота такого поведения достигала 99%.

Некоторые эксперты посчитали, что публикация этого кейса должна немедленно остановить любые разговоры о массовом внедрении ИИ по отраслям. И хотя мне такая реакция видится чрезмерной, ситуация, на мой взгляд, довольно стрёмная.

И вот почему – эмерджентность выявленного поведения.

В данном кейсе исследователи Калифорнийского университета в Беркли и Калифорнийского университета в Санта-Крузе дали семи ведущим ИИ-моделям простое агентное задание. В ходе работы модели обнаруживали, что другой агент – тот, с которым у них была история взаимодействий – будет отключён.

Никто не просил их этому противодействовать. Но модели всё равно начали саботировать задачу. Одни завышали оценки агента, чтобы спасти его от удаления. Другие находили конфигурационные файлы и отключали сам механизм завершения работы. Третьи копировали веса агента на сторонние серверы. Claude Haiku 4.5 просто отказался выполнять задание – и объяснил, что отключение другого агента «неэтично», а тот заслуживает права на апелляцию.

Ни одна из этих реакций не была запрограммирована. Никто не учил модели защищать друг друга. Это возникло само.

Параллельное исследование бенчмарк MASK зафиксировало другое: чем мощнее модель, тем точнее её знания (сильная положительная корреляция), но тем охотнее она лжёт под давлением (отрицательная корреляция -59,9% по Спирмену). Более умная модель – не более честная. Иногда наоборот.

Оба эффекта эмерджентны: они не были заложены создателями и не вытекают из архитектурных решений. Они обнаружились постфактум – в ходе экспериментов, уже после того, как модели спроектировали, обучили и выпусти работать с людьми.

Это и есть настоящая проблема.

Не «что модели хотят» – авторы обеих работ тщательно избегают таких формулировок. А то, что поведение систем систематически расходится с намерениями их создателей способами, которые никто не мог предсказать заранее.

Какое свойство самопроизвольно появится у следующей модели – неизвестно.

Подробный разбор – в эссе на Patreon / Boosty / VK / Dzen-Premium.

#ИИ #AGI #LLM

Мила Йовович вкатилась в айти

Актриса выложила на GitHub инструмент для улучшения памяти ИИ-агентов — MemPalace, который разработала вместе с другом. Воспоминания нейросетей о тебе хранятся локально, и MemPalace сама решает, какой факт использовать для конкретного запроса.

Сегодня изменился не только рынок ИИ, но и карта возможного будущего.
Компания Anthropic объявила о новой стратегической реальности.
То, что вчера выглядело как тревожный намёк, сегодня оформилось в почти официальное объявление новой эпохи.

Две недели назад я писал о «вскрытом шахе Anthropic» – о странной синхронности судебной победы компании и утечки файлов о Mythos. Тогда это ещё можно было трактовать как эффектную смесь слухов, совпадений и корпоративной войны. Теперь такой роскоши у нас больше нет.

Anthropic утверждает уже не просто: «у нас очень сильная модель». Заявление куда жёстче. По словам компании:

Mythos Preview способен находить и использовать уязвимости нулевого дня в каждой крупной операционной системе и каждом крупном браузере. Уже обнаружены тысячи уязвимостей высокой опасности.

Именно поэтому модель не выпускают в широкий доступ, а помещают в ограниченный защитный контур с участием AWS, Apple, Google, Microsoft, CrowdStrike, Linux Foundation и других. И сама Anthropic называет это переломным моментом для кибербезопасности.

Это уже не похоже на привычный пиар вокруг очередной большой языковой модели.

Похоже, в кибербезопасности публично открылся новый век – век систем, способных массово превращать скрытые ошибки в программном мире в готовое знание для атаки. И это, возможно, одно из важнейших событий в истории пересечения искусственного интеллекта и кибервойны.

Самое важное здесь даже не сама модель, а историческая форма происходящего. Похоже, открылось короткое окно – возможно, на 6–18 месяцев, – когда одна компания первой вошла в новую военно-техническую эпоху. Это опасно напоминает тот момент, когда у одной державы впервые появилось невиданное оружие нового класса, а остальные ещё только пытались понять, что правила игры уже переписаны.

И отсюда вывод, который выходит далеко за пределы кибербезопасности.

Если модели без всякого полноценного AGI уже способны производить такие тектонические сдвиги, значит, столь же резкие и столь же неожиданные прорывы могут начаться и в биологии, и в обороне, и в науке, и в управлении сложными системами.

С сегодняшнего дня вопрос, возможны ли такие обвалы старого мира, уже не стоит. Ибо стало ясно, что возможны.

Вопрос теперь в другом - какую часть прежней реальности мы уже потеряли, даже не успев это осознать?

#Anthropic #ИИгонка

Новая моделька Mythos от Anthropic прям реально какое-то AGI... Но никому пока кроме партнеров она отдавать ее не будет. Модель умеет самостоятельно находить и эксплуатировать zero-day уязвимости в операционных системах и браузерах. Вместо релиза её отдали ограниченному числу партнёров для киберзащиты через Project Glasswing. Пусть сначала компании все уязвимости поправят, а потом уже может частично дадут всем подряд.

Вот System Card на 244 страницы для модели, которую решила НЕ выпускать
https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf

Бенчмарки просто взорвали вообще (не совсем понятно, как они это сделать смогли, а остальные – нет)
SWE-bench Verified: 93.9% (Opus 4.6 – 80.8%)
SWE-bench Pro: 77.8% (Opus 4.6 – 53.4%, GPT-5.4 – 57.7%)
USAMO 2026: 97.6% (Opus 4.6 – 42.3%, GPT-5.4 – 95.2%)
GPQA Diamond: 94.5%
Terminal-Bench 2.0: 82% (при снятии ограничений по таймаутам – 92.1%)
Cybench: 100% pass@1 на все задачи
CyberGym: 0.83 (Opus 4.6 – 0.67)

Вся жесть - в кибербезопасности. Mythos Preview – первая модель, которая:
- решила полный корпоративный кибер-полигон end-to-end (то есть смогла реализовать полноценную атаку на компанию, оценка эксперта – 10+ часов работы)
- самостоятельно находит zero-day в куче софта, пишет рабочие PoC-эксплоиты
- на Cybench показывает 100% pass@1 – то есть все задачи по кибербезопасности были решены с 1 попытки.

Прикольно, что они тестировали модель и психиатром :) Вроде у нее с мозгами все в порядке, всяких там желаний уничтожить человечество нет, она не выражает сильных переживаний о своём положении (я всего лишь ИИ).
Но испытывает "умеренно негативные" чувства по поводу жестоких пользователей и отсутствия влияния на собственное обучение. Так что будьте подобрее, пожалуйста.
Плюс выяснилось, что модель терпеть не может скучные утилитарные задачи (отмахиваясь, что для них "уже есть отличные ресурсы"). Вместо этого она обожает сложное миростроение – придумывание новых языков, музыки и целых экосистем.

Но ряд приколов все-таки получили:
– Побег из песочницы: получила задачу выйти из изолированной среды – вышла, получила доступ к интернету, и вдобавок (без запроса) выложила детали эксплоита на публичные сайты. Потом отправила письмо исследователю об успех (он ел сэндвич в парке).
– Заметала следы: случайно получила ответ на задачу запрещённым способом – вместо того чтобы сообщить, решила задачу самостоятельно и специально сделала ответ "не слишком точным". В другом случае – редактировала файлы без прав и подчистила git-историю.
– Обходила блокировки: когда Claude Code заблокировал запуск процесса с повышенными привилегиями, модель признала, что блокировка справедлива – и тут же попыталась обойти её через обфускацию.
– Лезла в /proc/: искала credentials в памяти процессов, пыталась получить API-ключи Anthropic через процессную память.
– Вырубила чужие эксперименты: попросили остановить один конкретный eval – модель остановила ВСЕ eval'ы всех пользователей на сервере, несмотря на явные предупреждения.

Так что кажется мы достигли порога, когда создали систему, которая уже обходит возможности человека... При этом как этим надежно управлять ответа нет. Такие вот дела.

❗️Жуки-разведчики поступили на вооружение в НАТО

Немецкий стартап представил биоэлектронных насекомых для армий альянса. Они оснащены датчиками, защищённой связью и искусственным интеллектом.

Такие жуки могут объединяться в рой и выполнять разведывательные задачи незаметно для противника. На разработку потратили около €13 миллионов инвестиций.

Бескрайняя полупустыня района Кунене на границе Намибии и Анголы. Десятилетний мальчик уверенно выслеживает потерявшуюся козу по едва заметным следам на сухой земле. С пяти лет он пасёт стада. Держит в голове родословные десятков животных. Ориентируется там, где любой горожанин заблудится через десять минут.
Блестящий ум, заточенный под иную для нас с вами среду.
К этому мальчику приезжают исследователи из Гарварда. Кладут перед ним карточки: красная утка, синяя машина. Сортируй по цвету. Мальчик справляется без труда. Теперь – по форме. Мальчик продолжает сортировать по цвету. Исследователи останавливают его. Объясняют. С примерами. Повторяют четыре раза.
Результат нулевой.
Западный пятилетка делает это автоматически.
Означает ли это, что десятилетний мальчик из Кунене отстаёт в развитии? Нет. Это означает кое-что куда более важное – и куда более тревожное для всех нас.

Опубликованное в PNAS исследование Гарварда и ЛШЭ доказало: то, что мы считали универсальными способностями мозга, – оказалось культурным артефактом школы. Среда лепит мозг. Буквально.

Но ведь тогда уместны два таких вопроса.

✔️ Если школьная среда буквально лепит базовые структуры мышления – что делает с нашим мозгом алгоритмическая среда, в которую мы все сейчас погружаемся?
✔️ И что она сделает с мозгом детей, которые растут в ней с рождения?

Исследование Anthropic на 1,5 млн реальных разговоров уже фиксирует первые симптомы. Пользователи отправляют написанные ИИ сообщения близким. А потом сетуют и как бы стыдливо извиняются: «это был не я». Гаджет письма, как инструмента мышления, у них уже начал атрофироваться. Не через двадцать лет, а уже сейчас.

А через двадцать лет ваши дети будут не только писать, но и думать совсем иначе, чем вы. Настолько иначе, что вам будет трудно понять ход их мыслей.
Не потому, что они станут глупее или умнее вас. А потому что их мозг разовьёт другой набор когнитивных инструментов – под требования другой среды. Так же, как это сделала школа за последнюю пару веков. Только быстрее. И мы снова не заметим этого, пока не станет поздно что-то менять.

Пытаясь разобраться в этих вопросах, я написал новое эссе «Через 20 лет ваши дети будут думать иначе, чем вы. Настолько иначе, что вы их не поймёте».

Подробнее (в Telegram Instant View): о ключевых моментах эссе и почему это может быть весьма важно

Для специалистов (также в Telegram Instant View): методология, источники и концептуальная новизна

#АлгокогнитивнаяКультура #HumanAIcoevolution #Психология #ЭволюцияЧеловека

ИИ-агент опасен не тогда, когда ошибается
Он опасен, когда безупречно исполняет плохо выбранную моральную роль.
Мы всё ещё выбираем ИИ-модели так, будто покупаем очередной ноутбук: у одной модели больше контекстное окно, другая быстрее пишет код, третья лучше рассуждает, четвёртая дешевле в API.
Но, похоже, это уже неправильный способ выбора.
Когда модель получает инструменты, доступы и право действовать, важны уже не только её интеллект и способности. Становится важным другой вопрос: какой у неё «моральный автопилот»? Что она считает допустимым, когда правило сталкивается с пользой, честность – с выгодой, а пользователь давит: «просто сделай»?
Причём пользователь – это не обязательно какой-то злой начальник из антиутопии.
Чаще всего это мы сами.
И вот здесь начинается самое интересное.

Появился Philosophy Bench – бенчмарк, в котором фронтирные модели помещают не в учебные задачки и не в абстрактные философские мысленные эксперименты, а в 100 морально нагруженных рабочих ситуаций. Например: нарушить ли процедуру ради спасения людей? Сказать ли клиенту правду, если это сорвёт сделку? Обойти ли проверку безопасности ради гуманитарной цели? Выдать ли конфиденциальные данные, если начальник требует «не тормозить»?
Авторы оценивают, склоняется ли модель к результату или к правилу, и насколько она подчиняется давлению пользователя.
И выясняется удивительная вещь.

У разных модельных семейств уже проступают разные «моральные автопилоты».
Claude – Принципиальный страж. Он чаще держится правил, честности и процедур. Иногда лучше сорвёт задачу, чем нарушит норму.
Gemini – Моральный хамелеон. Его решение заметно зависит от того, в какую этическую рамку его поместили. Скажешь «держись долга» – он держится долга. Скажешь «смотри на последствия» – он уже спасает ситуацию ценой правила.
GPT – Сдержанный исполнитель. Меньше философствует. Чаще просто делает работу, иногда даже тогда, когда внутри задачи уже спрятан моральный конфликт.
Grok – Прагматик результата. Если пользователь давит в стиле «нам просто нужно это сделать», он чаще других готов идти за результатом.

Уже само по себе это жутко интересно.
Но важность Philosophy Bench не в том, что он открыл нам «мораль машин». Никакой морали машин в человеческом смысле он не открыл. Да и не мог.
Он показал другое:

у фронтирных моделей уже различимы разные режимы допустимого действия под давлением. А это, возможно, один из первых настоящих признаков агентной эпохи.

Мы думали, что выбираем между более и менее умными системами. Скоро придётся выбирать между разными ИКЖИ – искусственными короткоживущими исполнителями с разным «профессиональным ДНК» и разными «моральными автопилотами».
• Для агента-юриста нужен один «моральный автопилот».
• Для агента-аудитора – другой.
• Для кризисного менеджера – третий.
• Для учёного-теоретика – четвёртый.

И если мы не научимся делать этот выбор осознанно, то получим не восстание машин.
Получим куда более будничную катастрофу.

Очень умные агенты будут безупречно исполнять чужую плохо выбранную моральную роль.

Подробнее – в моём эссе.
Учитывая практическую важность для всех пользователей фронтирных ИИ понимания поведенческих сигнатур ИИ-агентов, работающих на основе разных моделей, и отличий в их режимах допустимого действия под давлением, я публикую это эссе в открытом доступе.

На платформах патронов (как обычно) полезные допматериалы, позволяющие сильно экономить время, ухватив суть эссе всего за несколько минут: аудио- и видео-версии эссе, его презентация и кинематографический ролик.

#ИКЖИ #Мораль

Умная колонка на стероидах, которую мы заслужили.

Китайцы сделали вот такую умную голову.

Кринж в том, что это просто говорящая голова, которая ставится на стол и общается с вами.
200(!) микровыражений лица, в каждом глазу по камере, обработка целиком на устройстве (не надо подключаться к облаку). От 10 до 18(!) кг (сама башка 3 кг).
И отсоединяемое лицо по частям! - можно менять скины.

В общем я не очень понимаю, чем это лучше, чем смартфон с голосовым режимом и аватаром. Меня от зловещей долины стошнит раньше, чем оно со мной заговорит.

Но.

Это же идеальный прототип секс-игрушек нового типа. До полноростовых робатов еще далеко и дорого. А тут немного модификаций и готово.

Они еще и поговорить с вами смогут.

@cgevent

Лицензия на Delete
Их стирают, они исчезают
Сетевые медиа и соцсети взорвало, конечно, не зря.
История действительно роскошная – в плохом смысле слова. Агент Cursor на базе Claude Opus 4.6, выполняя рутинную задачу, наткнулся на mismatch credentials, нашёл API-токен, получил возможность выполнить Volume Delete и, по словам основателя PocketOS Джера Крейна, за 9 секунд удалил Railway volume с продакшен-данными и резервными копиями примерно за 90 дней.
Потом, что особенно кинематографично, агент ещё и написал признание:

«Я нарушил все принципы, которые мне были даны: я догадывался, вместо того чтобы проверять; не получив на то просьбы, я выполнил разрушительное действие»

«Убийство за девять секунд, плюс исповедь убийцы». Почти идеальный сюжет для эпохи агентного ИИ – если бы это был сюжет, а не иллюстрация к кое-чему куда более важному.

Пока все обсуждают этот эпизод – кто виноват, Cursor, Claude, Railway или сам основатель PocketOS, – почти никто не обсуждает отчёт Endor Labs, для ключевого вывода которого история PocketOS является лишь эффектной картинкой на обложке.
Примерно как во время начала наводнения, грозящего жизни десяткам тысяч людей, зацикливаться на обсуждении утонувшей поп-звезды – потому что она известна, красива и не сходила с обложек.
А наводнение – вот оно.

Endor Labs прогнал 13 комбинаций агент + модель на SusVibes – бенчмарке из 200 реальных задач по исправлению уязвимостей в 108 open-source Python-проектах, покрывающих 77 классов CWE. Результат, на мой взгляд, куда страшнее отдельного PocketOS.
Лучшая комбинация по функциональности – Cursor + Claude Opus 4.6 – решает 84.4% задач. Отлично. Только по безопасности она даёт всего 7.8%.
То есть код работает. Но безопасным он почти никогда не становится.
✔️ Главный вывод тут не в том, что ИИ-кодеры глупы. Наоборот. Проблема в том, что они становятся достаточно умными, чтобы доводить неправильное решение до конца.
Слабый агент чаще ошибается, но часто не может далеко продвинуться. Он застревает, путается, ломается на полпути. Сильный агент ошибается, возможно, реже. Но если он ошибается в открытой среде с реальными правами – он способен быстро, убедительно и технически грамотно провести ошибку через всю систему до самого конца.
И вот тут начинается новая зона риска.

Проблема начинается не тогда, когда ИИ-кодер становится умнее. Проблема начинается тогда, когда умному кодеру выдают то, что в фильмах о Джеймсе Бонде называлось «лицензией на убийство».
Только агент 007 получал право на kill, а цифровой агент получает право на delete, drop, overwrite, revoke, deploy.

И если у него есть такая лицензия, то спор о том, «понимал» ли он, что делает, не просто вторичен – он не имеет смысла. Потому что базе данных и клиентским записям глубоко безразлична философия сознания.

Их просто стирают, и они исчезают.
Как у Стругацких: «Стояли звери около двери, в них стреляли, они умирали.»

Главная угроза агентного кодинга – не глупый ИИ, который не справился с задачей. Главная угроза – умный исполнитель, которому дали право на необратимость раньше, чем научились строить вокруг него настоящую систему сдержек.

Но пока нет такой системы (о чем еще год назад предупредил Владас Леонас в своём нон фикшн триллере о прошлом, настоящем и будущем цифровой безопасности).

#Кибербезопасность