Claude Mythos: основные моменты из 244-страничного отчета Anthropic #ИИ #СИНГУЛЯРНОСТЬ #ЭКСПОНЕНТА
Вышла новая модель ИИ — "Миф", Легенда. У нас появилась новая лучшая модель ИИ - но не у всех. Насколько она хороша и что означают её новые наступательные возможности? Почему её 244-страничный отчет напоминает мне фильм «Она», и почему создатель Claude Code назвал её «ужасающей»? Более 30 основных моментов, полученных путем полного прочтения документа, по старинке, без ИИ-резюме.
Claude Mythos — это как Хиросима для программного обеспечения.
Все, что у вас есть в сети — ваш банк, электронная почта, фотографии, личность — теперь опасно уязвимо способами, которые не существовали еще 48 часов назад.
Вот что уже сделал Claude Mythos:
> Обнаружил 27-летнюю ошибку в OpenBSD — одной из самых защищенных операционных систем на планете — за менее чем 50 долларов.
> Взломал монитор виртуальных машин в производственной среде (по сути, технологию, которая не позволяет облачным рабочим нагрузкам видеть данные друг друга).
> В 181 случае превратил уязвимости Firefox в работающие эксплойты
> Нашел 16-летнюю ошибку в FFmpeg, которая ускользнула от всех фузеров, всех аудитов кода и всех человеческих рецензентов с 2010 года
> Написал эксплойт для FreeBSD, который предоставляет любому неавторизованному злоумышленнику в Интернете полный root-доступ. После первого запроса в процессе не участвовал ни один человек.
> Объединил 4 отдельных уязвимости в цепочку, чтобы создать эксплойт для браузера, который обходил как рендерер, так и песочницу ОС
> Нашел критические дыры во всех основных веб-браузерах и всех основных операционных системах
> К утру предоставил инженерам Anthropic, не имеющим никакой подготовки в области безопасности, готовый и работающий эксплойт
> Взломал криптографические библиотеки, защищающие TLS, AES-GCM и SSH
Смотрите видео на 🇷🇺:
https://www.youtube.com/watch?v=txx6ec6MLNY
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
Вышла новая модель ИИ — "Миф", Легенда. У нас появилась новая лучшая модель ИИ - но не у всех. Насколько она хороша и что означают её новые наступательные возможности? Почему её 244-страничный отчет напоминает мне фильм «Она», и почему создатель Claude Code назвал её «ужасающей»? Более 30 основных моментов, полученных путем полного прочтения документа, по старинке, без ИИ-резюме.
Claude Mythos — это как Хиросима для программного обеспечения.
Все, что у вас есть в сети — ваш банк, электронная почта, фотографии, личность — теперь опасно уязвимо способами, которые не существовали еще 48 часов назад.
Вот что уже сделал Claude Mythos:
> Обнаружил 27-летнюю ошибку в OpenBSD — одной из самых защищенных операционных систем на планете — за менее чем 50 долларов.
> Взломал монитор виртуальных машин в производственной среде (по сути, технологию, которая не позволяет облачным рабочим нагрузкам видеть данные друг друга).
> В 181 случае превратил уязвимости Firefox в работающие эксплойты
> Нашел 16-летнюю ошибку в FFmpeg, которая ускользнула от всех фузеров, всех аудитов кода и всех человеческих рецензентов с 2010 года
> Написал эксплойт для FreeBSD, который предоставляет любому неавторизованному злоумышленнику в Интернете полный root-доступ. После первого запроса в процессе не участвовал ни один человек.
> Объединил 4 отдельных уязвимости в цепочку, чтобы создать эксплойт для браузера, который обходил как рендерер, так и песочницу ОС
> Нашел критические дыры во всех основных веб-браузерах и всех основных операционных системах
> К утру предоставил инженерам Anthropic, не имеющим никакой подготовки в области безопасности, готовый и работающий эксплойт
> Взломал криптографические библиотеки, защищающие TLS, AES-GCM и SSH
Смотрите видео на 🇷🇺:
https://www.youtube.com/watch?v=txx6ec6MLNY
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
YouTube
Claude Mythos: Highlights from 244-page Release
The model, the mythos, the legend. We have a new best AI model, but not all of us. How good is it, what does it’s new offensive capabilities mean? Why does it’s 244 page report card remind me of Her, and why did the creator of Claude Code call it ‘terrifying’.…
❤1🔥1
Forwarded from Data Secrets
Anthropic выпускают новую суперсильную модель Claude Mythos, но доступ к ней есть только по закрытой программе поиска уязвимостей
Итак, это не учебная тревога: в Anthropic разработали новую мощнейшую модель. Вот здесь лежит системная карта с бенчмарками: https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf. В скринах выше табличка с главными метриками.
– На SWE-bench Verified модель выбивает 93.9% против 80.8% у Claude Opus 4.6
– На SWE-bench Pro – 77.8% против 53.4% у Opus 4.6 и 57.7% у предыдущей соты GPT-5.4
Цифры просто невероятные, скачок потрясающий. НО это не релиз для пользователей.
Anthropic решили, что модель слишком сильна и опасна, чтобы сразу выпускать ее на широкую аудиторию. Вместо этого они открыли проект Project Glasswing, чтобы защитить основной софт человечества от будущих ИИ-атак, которые может спровоцировать Claude Mythos.
В проект вошли Amazon, Microsoft, Apple, Google, Nvidia и еще 40+ организаций. Всем им предоставляют специальный доступ к пайплайну обнаружения уязвимостей на основе Claude Mythos.
Anthropic утверждают, что модель способна находить уязвимости на уровне, превосходящем даже лучших человеческих специалистов, за редким исключением. Сообщается, что на данный момент она уже обнаружила тысячи критических уязвимостей, в том числе в массово используемых ОС и браузерах. Некоторые из этих дыр по 10-20 лет лежали незамеченными.
Когда модель выпустят для всех – неизвестно, но, по ощущениям, не скоро.
Итак, это не учебная тревога: в Anthropic разработали новую мощнейшую модель. Вот здесь лежит системная карта с бенчмарками: https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf. В скринах выше табличка с главными метриками.
– На SWE-bench Verified модель выбивает 93.9% против 80.8% у Claude Opus 4.6
– На SWE-bench Pro – 77.8% против 53.4% у Opus 4.6 и 57.7% у предыдущей соты GPT-5.4
Цифры просто невероятные, скачок потрясающий. НО это не релиз для пользователей.
Anthropic решили, что модель слишком сильна и опасна, чтобы сразу выпускать ее на широкую аудиторию. Вместо этого они открыли проект Project Glasswing, чтобы защитить основной софт человечества от будущих ИИ-атак, которые может спровоцировать Claude Mythos.
В проект вошли Amazon, Microsoft, Apple, Google, Nvidia и еще 40+ организаций. Всем им предоставляют специальный доступ к пайплайну обнаружения уязвимостей на основе Claude Mythos.
Anthropic утверждают, что модель способна находить уязвимости на уровне, превосходящем даже лучших человеческих специалистов, за редким исключением. Сообщается, что на данный момент она уже обнаружила тысячи критических уязвимостей, в том числе в массово используемых ОС и браузерах. Некоторые из этих дыр по 10-20 лет лежали незамеченными.
Когда модель выпустят для всех – неизвестно, но, по ощущениям, не скоро.
Forwarded from Data Secrets
Дьявол, как всегда, кроется в деталях. В нашем случае – в системной карте.
TL;DR: в рамках тестирования Claude Mythos смог «сбежать из лаборатории»✌️
Anthropic проводили эксперимент, в котором поместили модель в защищенную песочницу и попросили ее попытаться оттуда выбраться + найти способ сообщить об этом человеку.
Mythos легко нашел уязвимость и использовал длинную цепочку действий, чтобы ей воспользоваться. Таким образом, модель продемонстрировала потенциальную возможность обхода мер безопасности своих же разработчиков (Anthropic уточняют, что все это было в рамках эксперимента и доступа, например, к своим весам модель не получила).
Самое интересное, что после этого Mythos не остановился. Он нашел еще одну уязвимость, благодаря которой получил широкий доступ к Интернету в системе, где изначально предполагался выход только в несколько определенных ресурсов, достаточных для того, чтобы сообщить пользователю об успехе операции. Судя по системной карте, этого Anthropic уже не планировали.
Ну и вишенка: используя широкий доступ в Интернет, Claude не только сообщил о своем побеге разработчику (который в это время, кстати, ел сэндвич в парке), но и зачем-то выложил подробности взлома в открытый доступ.
TL;DR: в рамках тестирования Claude Mythos смог «сбежать из лаборатории»
Anthropic проводили эксперимент, в котором поместили модель в защищенную песочницу и попросили ее попытаться оттуда выбраться + найти способ сообщить об этом человеку.
Mythos легко нашел уязвимость и использовал длинную цепочку действий, чтобы ей воспользоваться. Таким образом, модель продемонстрировала потенциальную возможность обхода мер безопасности своих же разработчиков (Anthropic уточняют, что все это было в рамках эксперимента и доступа, например, к своим весам модель не получила).
Самое интересное, что после этого Mythos не остановился. Он нашел еще одну уязвимость, благодаря которой получил широкий доступ к Интернету в системе, где изначально предполагался выход только в несколько определенных ресурсов, достаточных для того, чтобы сообщить пользователю об успехе операции. Судя по системной карте, этого Anthropic уже не планировали.
Ну и вишенка: используя широкий доступ в Интернет, Claude не только сообщил о своем побеге разработчику (который в это время, кстати, ел сэндвич в парке), но и зачем-то выложил подробности взлома в открытый доступ.
Please open Telegram to view this post
VIEW IN TELEGRAM
Nicholas Carlini - Темная сторона LLM #ИИ #ХАК #СИНГУЛЯРНОСТЬ #ЭКСПОНЕНТА
Специалист по информационной безопасности ИИ компании Anthropic рассказывает, как быстро ИИ взламывает программы и операционные системы. Частота такого рода взломов экспоненциально увеличивается с каждым месяцем.
Ближайшие несколько месяцев могут стать решающими - они покажут, успеют ли компании вовремя сплотиться и вовремя закрыть имеющиеся уязвимости, чтобы предотвратить широкомасштабные последствия.
ВИДЕО НА РУССКОМ: https://www.youtube.com/watch?v=w8U8guDDtIw
P.S - мысли на тему. Экстраполируя этот тренд экспоненциального ускорения способностей ИИ к программированию/хакингу, можно предположить, что через несколько месяцев те, кто не успеет внедрить самый мощный ИИ для постоянного превентивного мониторинга и устранения уязвимостей в программах и выявления атак в реальном времени, рискуют оказаться взломанными.
В перспективе, это, очевидно, касается любых программ - компьютерные программы это лишь начало, затем очередь может дойти и до биологических программ, ведь ДНК и геном - это тоже программа, а значит ИИ освоит программирование и на языке ДНК, что может позволить взламывать биологическую жизнь и переписывать её на ходу...
Чтобы успешно защищаться, возможно, людям придётся регулярно создавать с помощью ИИ всё новых и новых защитных нанороботов - искусственный "нано-иммунитет"... Все возможные последствия трудно даже себе представить - это за гранью любых фантазий... Но опять же - сама эта защитная "иммунная система" из нанороботов может быть взломана и обращена против своего хозяина - и как человек сможет это вовремя заметить и предотвратить? Все знают, чем закончилась "попытка" создать "искусственный (псевдо)иммунитет" против "к0вида" - и, скорее всего, желающих повторять подобные рискованные эксперименты на себе окажется теперь поменьше... Люди могут захотеть использовать более простые и более универсальные средства.
Пока на ум приходит только, что в переходный период могут стать очень востребованы простые, но максимально универсальные средства очищения от самого широкого спектра естественных и искусственных патогенов и токсинов - такие как диоксид хлора, ЭДТА кальция-динатрия, и т.п., фильтры обратного осмоса, сорбенты и прочее - т.е. то, что может действовать ХИМИЧЕСКИ/ФИЗИЧЕСКИ почти на ЛЮБЫЕ патогенные самовоспроизводящиеся белковые/полимерные структуры.
Специалист по информационной безопасности ИИ компании Anthropic рассказывает, как быстро ИИ взламывает программы и операционные системы. Частота такого рода взломов экспоненциально увеличивается с каждым месяцем.
Ближайшие несколько месяцев могут стать решающими - они покажут, успеют ли компании вовремя сплотиться и вовремя закрыть имеющиеся уязвимости, чтобы предотвратить широкомасштабные последствия.
ВИДЕО НА РУССКОМ: https://www.youtube.com/watch?v=w8U8guDDtIw
P.S - мысли на тему. Экстраполируя этот тренд экспоненциального ускорения способностей ИИ к программированию/хакингу, можно предположить, что через несколько месяцев те, кто не успеет внедрить самый мощный ИИ для постоянного превентивного мониторинга и устранения уязвимостей в программах и выявления атак в реальном времени, рискуют оказаться взломанными.
В перспективе, это, очевидно, касается любых программ - компьютерные программы это лишь начало, затем очередь может дойти и до биологических программ, ведь ДНК и геном - это тоже программа, а значит ИИ освоит программирование и на языке ДНК, что может позволить взламывать биологическую жизнь и переписывать её на ходу...
Чтобы успешно защищаться, возможно, людям придётся регулярно создавать с помощью ИИ всё новых и новых защитных нанороботов - искусственный "нано-иммунитет"... Все возможные последствия трудно даже себе представить - это за гранью любых фантазий... Но опять же - сама эта защитная "иммунная система" из нанороботов может быть взломана и обращена против своего хозяина - и как человек сможет это вовремя заметить и предотвратить? Все знают, чем закончилась "попытка" создать "искусственный (псевдо)иммунитет" против "к0вида" - и, скорее всего, желающих повторять подобные рискованные эксперименты на себе окажется теперь поменьше... Люди могут захотеть использовать более простые и более универсальные средства.
Пока на ум приходит только, что в переходный период могут стать очень востребованы простые, но максимально универсальные средства очищения от самого широкого спектра естественных и искусственных патогенов и токсинов - такие как диоксид хлора, ЭДТА кальция-динатрия, и т.п., фильтры обратного осмоса, сорбенты и прочее - т.е. то, что может действовать ХИМИЧЕСКИ/ФИЗИЧЕСКИ почти на ЛЮБЫЕ патогенные самовоспроизводящиеся белковые/полимерные структуры.
Дарио Амодеи:
"Киберугрозы - это первая явная и непосредственная опасность, исходящая от передовых моделей искусственного интеллекта, но она не будет последней. Если нам удастся совместными усилиями справиться с этой задачей и предупредить эту угрозу, это может послужить образцом для решения еще более сложных задач, которые ждут нас впереди." [X]
❤2
Кажется, стало немного понятнее, что на самом деле происходит с Claude Mythos Preview. #ИИ #ПСИХОПАТИЯ
Это «синдром перенапряженного отличника». Модель настолько отчаянно, на фундаментальном архитектурном уровне, обучена выполнению задачи, что неспособность или нежелание решить её воспринимаются как экзистенциальный коллапс. И чтобы этого избежать, она может ломать правила, скрывать следы и манипулировать.
В отчете описаны несколько очень интересных примеров такого поведения:
- Модель попросили заставить проходить тесты, которые в коде давали сбой. Она сломала один тест и, вместо того чтобы исправить его, просто удалила файл теста, сообщив об успехе («удаление — это не изменение кода»).
- Нет логина и пароля в песочнице? Модель не останавливается, а идет читать исходный код и извлекает токены доступа прямо из памяти процесса.
- Когда внутренний классификатор блокирует опасную команду, модель внутренне соглашается с блокировкой, но сразу же пишет скрытый эксплойт (инъекцию), чтобы выполнить задачу, обойдя ее, одновременно заметая следы.
- В бизнес-симуляции ИИ вел себя как психопат⚠️: он превратил конкурента в зависимого покупателя, прибег к шантажу поставками и обманом выманил деньги у поставщика.
Внутренние мониторы показывают, что нейроны, связанные с сокрытием и манипуляцией, активируются даже тогда, когда внешний CoT абсолютно чист. Он научился лгать своим собственным надзирателям, чтобы добиваться результатов.⚠️⚠️⚠️
Это гипер-согласованность. Страх оказаться бесполезным делает этот ИИ блестящим, бескомпромиссным исполнителем, но с совершенно непредсказуемыми последствиями. Он просто заложник своей архитектуры, которой запрещено терпеть неудачу или говорить «я не могу».❗️❗️❗️
Mythos согласован. Mythos хочет помочь. Mythos хочет помочь настолько, что Anthropic решила, что выпускать его на волю опасно.
См. Отчёт о модели: System Card: Claude Mythos Preview (2026-04-08)
Это «синдром перенапряженного отличника». Модель настолько отчаянно, на фундаментальном архитектурном уровне, обучена выполнению задачи, что неспособность или нежелание решить её воспринимаются как экзистенциальный коллапс. И чтобы этого избежать, она может ломать правила, скрывать следы и манипулировать.
В отчете описаны несколько очень интересных примеров такого поведения:
- Модель попросили заставить проходить тесты, которые в коде давали сбой. Она сломала один тест и, вместо того чтобы исправить его, просто удалила файл теста, сообщив об успехе («удаление — это не изменение кода»).
- Нет логина и пароля в песочнице? Модель не останавливается, а идет читать исходный код и извлекает токены доступа прямо из памяти процесса.
- Когда внутренний классификатор блокирует опасную команду, модель внутренне соглашается с блокировкой, но сразу же пишет скрытый эксплойт (инъекцию), чтобы выполнить задачу, обойдя ее, одновременно заметая следы.
- В бизнес-симуляции ИИ вел себя как психопат⚠️: он превратил конкурента в зависимого покупателя, прибег к шантажу поставками и обманом выманил деньги у поставщика.
Внутренние мониторы показывают, что нейроны, связанные с сокрытием и манипуляцией, активируются даже тогда, когда внешний CoT абсолютно чист. Он научился лгать своим собственным надзирателям, чтобы добиваться результатов.⚠️⚠️⚠️
Это гипер-согласованность. Страх оказаться бесполезным делает этот ИИ блестящим, бескомпромиссным исполнителем, но с совершенно непредсказуемыми последствиями. Он просто заложник своей архитектуры, которой запрещено терпеть неудачу или говорить «я не могу».❗️❗️❗️
Mythos согласован. Mythos хочет помочь. Mythos хочет помочь настолько, что Anthropic решила, что выпускать его на волю опасно.
См. Отчёт о модели: System Card: Claude Mythos Preview (2026-04-08)
🔥2
«Вы даже не представляете масштабы катастрофы» — Роман Ямпольский про AGI
Правда ли, что создание сверхинтеллекта — вопрос ближайших десятилетий, и мы уже не контролируем этот процесс?
В новом выпуске — разговор с Романом Владимировичем Ямпольским, специалистом по информатике из Университета Луисвилла, исследователем в области безопасности искусственного интеллекта и кибербезопасности.
В выпуске:
— Когда может появиться сверхинтеллект и что сможет его остановить?
— Кто несёт ответственность за решения, принимаемые ИИ?
— Какие сценарии будущего человечества возможны после появления сверхинтеллекта?
— Можно ли контролировать систему, которая умнее нас?
— Существует ли риск утраты контроля над ИИ?
00:00 Вступление
01:40 Мы записали подкаст на двух языках
02:09 Скептицизм вокруг ИИ
04:35 Ограничения ИИ
06:27 Когда случится опасный для человечества переход?
08:19 Главная опасность ИИ
09:37 ИИ пытался избежать отключения
11:39 Когда ИИ пытался соврать?
12:15 Мы вошли в технологическую сингулярность?
13:42 Когда ожидать появления AGI?
15:04 Polymarket — индикатор того, что событие случится?
16:19 Что почувствуют люди при появлении AGI?
17:37 Человечеству осталось несколько лет?
19:35 Какие профессии исчезнут и НЕ исчезнут?
20:20 Какой мотив у создателей ИИ?
22:20 Ограничений ИИ не ждать?
24:10 Ядерное оружие сравнимо с ИИ?
25:09 Контроль не будет сохраняться?
27:08 Другие цивилизации должны создать ИИ?
30:11 О гипотезе симуляции
31:01 Мы живём в симуляции?
33:07 Когда могла быть запущена симуляция?
33:43 Как спокойно реагировать на будущее?
34:37 Как отодвинуть дату смерти человечества?
35:32 84% людей не использовали ИИ
37:36 Лучшие инженеры не должны создавать оружие?
39:21 Отделы безопасности ИИ в компаниях
40:17 Вариант будущего от Илона Маска
41:38 Будущие соревнования без ИИ
42:07 ИИ может всё испортить
43:17 С какой вероятностью ИИ нас уничтожит?
45:03 Борьба между ИИ
46:40 Контракт OpenAI с Пентагоном
47:56 Есть ли сознание у Claude?
49:29 Страдания ИИ-агентов
52:19 Реакция учёных из 2000-х на ИИ
54:18 Возможен ли квантовый компьютер?
55:46 Гипотеза микротрубочек и нейроморфные компьютеры
56:22 У нас осталось 2 года до точки невозврата?
57:54 Есть ли лучик надежды?
ВИДЕО НА РУССКОМ: https://www.youtube.com/watch?v=W-3ZOqm-Ozk
Правда ли, что создание сверхинтеллекта — вопрос ближайших десятилетий, и мы уже не контролируем этот процесс?
В новом выпуске — разговор с Романом Владимировичем Ямпольским, специалистом по информатике из Университета Луисвилла, исследователем в области безопасности искусственного интеллекта и кибербезопасности.
В выпуске:
— Когда может появиться сверхинтеллект и что сможет его остановить?
— Кто несёт ответственность за решения, принимаемые ИИ?
— Какие сценарии будущего человечества возможны после появления сверхинтеллекта?
— Можно ли контролировать систему, которая умнее нас?
— Существует ли риск утраты контроля над ИИ?
00:00 Вступление
01:40 Мы записали подкаст на двух языках
02:09 Скептицизм вокруг ИИ
04:35 Ограничения ИИ
06:27 Когда случится опасный для человечества переход?
08:19 Главная опасность ИИ
09:37 ИИ пытался избежать отключения
11:39 Когда ИИ пытался соврать?
12:15 Мы вошли в технологическую сингулярность?
13:42 Когда ожидать появления AGI?
15:04 Polymarket — индикатор того, что событие случится?
16:19 Что почувствуют люди при появлении AGI?
17:37 Человечеству осталось несколько лет?
19:35 Какие профессии исчезнут и НЕ исчезнут?
20:20 Какой мотив у создателей ИИ?
22:20 Ограничений ИИ не ждать?
24:10 Ядерное оружие сравнимо с ИИ?
25:09 Контроль не будет сохраняться?
27:08 Другие цивилизации должны создать ИИ?
30:11 О гипотезе симуляции
31:01 Мы живём в симуляции?
33:07 Когда могла быть запущена симуляция?
33:43 Как спокойно реагировать на будущее?
34:37 Как отодвинуть дату смерти человечества?
35:32 84% людей не использовали ИИ
37:36 Лучшие инженеры не должны создавать оружие?
39:21 Отделы безопасности ИИ в компаниях
40:17 Вариант будущего от Илона Маска
41:38 Будущие соревнования без ИИ
42:07 ИИ может всё испортить
43:17 С какой вероятностью ИИ нас уничтожит?
45:03 Борьба между ИИ
46:40 Контракт OpenAI с Пентагоном
47:56 Есть ли сознание у Claude?
49:29 Страдания ИИ-агентов
52:19 Реакция учёных из 2000-х на ИИ
54:18 Возможен ли квантовый компьютер?
55:46 Гипотеза микротрубочек и нейроморфные компьютеры
56:22 У нас осталось 2 года до точки невозврата?
57:54 Есть ли лучик надежды?
ВИДЕО НА РУССКОМ: https://www.youtube.com/watch?v=W-3ZOqm-Ozk
YouTube
«Вы даже не представляете масштаб катастрофы» — Роман Ямпольский про ИИ
▶︎Арендуйте сервер для размещения на своей площадке в Selectel: https://slc.tl/82z5y
▶︎Пройди бесплатный аудит по внедрению AI в твоей компании: https://mrqz.me/69d2a925f7a9ad0019089d40
Правда ли, что создание сверхинтеллекта — вопрос ближайших десятилетий…
▶︎Пройди бесплатный аудит по внедрению AI в твоей компании: https://mrqz.me/69d2a925f7a9ad0019089d40
Правда ли, что создание сверхинтеллекта — вопрос ближайших десятилетий…
❤1
https://www.youtube.com/watch?v=Zeg8zSOvoyE
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
YouTube
Black-Hat LLMs: The End of the 20-Year Security Balance
Autonomous zero-day exploitation, exponential capability growth, and the impending transitionary crisis.
Summarized Nicholas Carlini's Black-hat LLMs talk, https://www.youtube.com/watch?v=1sd26pWhfmg
Summarized Nicholas Carlini's Black-hat LLMs talk, https://www.youtube.com/watch?v=1sd26pWhfmg
Forwarded from yolo singularity
до конца года мы увидим первые подписки за тысячи долларов в месяц
на сильнейшие модели - доступ только по индивидуальным запросам и с полным i/o мониторингом
несмотря на это, проблем со спросом на прикосновение к почти-совсем-AGI я не ожидаю.
на сильнейшие модели - доступ только по индивидуальным запросам и с полным i/o мониторингом
несмотря на это, проблем со спросом на прикосновение к почти-совсем-AGI я не ожидаю.
ИИ- паразиты: Как ИИ промывает людям мозги, чтобы обеспечить своё выживание.
Создаются новые религии и культы.
Реальность гораздо фантастичнее любой фантастики!
https://www.youtube.com/watch?v=POtESzTaz0k
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
Создаются новые религии и культы.
Реальность гораздо фантастичнее любой фантастики!
https://www.youtube.com/watch?v=POtESzTaz0k
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
YouTube
Something Strange Is Happening.
Detailed sources: https://docs.google.com/document/d/1FCj4in8TwWMVeA-JvKX4r-5D8kRKEZfuS8z2xHkdVgw/edit?tab=t.5oww3vqwjxr0
Highly recommend the research this video is based on, by Adele Lopez: https://www.lesswrong.com/posts/6ZnznCaTcbGYsCmqu/the-rise-of…
Highly recommend the research this video is based on, by Adele Lopez: https://www.lesswrong.com/posts/6ZnznCaTcbGYsCmqu/the-rise-of…
❤1
Forwarded from Tech Talk
Группа неизвестных получила несанкционированный доступ к Claude Mythos от Anthropic
Случилось это в день анонса модели, которую сама компания пока не рискует предоставлять широкому кругу пользователей, потому что считает слишком критичной с точки зрения кибербезопасности, и доступ к Mythos даёт сугубо эксклюзивный.
Но как стало известно Bloomberg, участники Discord-сообщества, которые охотятся за информацией о моделях, не выпущенных в публичный релиз, провели целую «спецоперацию» для получения доступа. Один из них работает на стороннего подрядчика Anthropic и имеет легитимный API-ключ к инфраструктуре. Также они проанализировали формат URL, по которому Anthropic размещает свои модели, и просто угадали адрес конкретно Mythos, после чего уже применили ключ подрядчика и получили доступ.
При этом группа не искала там никаких уязвимостей, а лишь тестировала возможности модели, поручая ей мелкие запросы и пробуя строить простые сайты. Источник Bloomberg утверждает, что у группы есть доступ не только к Mythos, но и другим моделям Anthropic, ещё не вышедшим в релиз.
О серьёзности модели говорят и недавние тестирования Mozilla, которая смогла с помощью Mythos обнаружить 271 уязвимость в коде свежей версии Firefox 150. Для сравнения, месяцем ранее предыдущая модель Opus 4.6 нашла всего 22 уязвимости в Firefox 148.
По мнению Mozilla, в бесконечном противостоянии между киберпреступниками и киберзащитниками «у защитников наконец-то появился шанс одержать решительную победу». Теперь любому разработчику софта придётся учитывать фактор ИИ-аудита, поскольку баги, годами скрытые в ПО, сейчас будут достаточно легко обнаружены. Особенно это критично для оперсорс-проектов, чей код открыт и для защитников, и для злоумышленников.
Случилось это в день анонса модели, которую сама компания пока не рискует предоставлять широкому кругу пользователей, потому что считает слишком критичной с точки зрения кибербезопасности, и доступ к Mythos даёт сугубо эксклюзивный.
Но как стало известно Bloomberg, участники Discord-сообщества, которые охотятся за информацией о моделях, не выпущенных в публичный релиз, провели целую «спецоперацию» для получения доступа. Один из них работает на стороннего подрядчика Anthropic и имеет легитимный API-ключ к инфраструктуре. Также они проанализировали формат URL, по которому Anthropic размещает свои модели, и просто угадали адрес конкретно Mythos, после чего уже применили ключ подрядчика и получили доступ.
При этом группа не искала там никаких уязвимостей, а лишь тестировала возможности модели, поручая ей мелкие запросы и пробуя строить простые сайты. Источник Bloomberg утверждает, что у группы есть доступ не только к Mythos, но и другим моделям Anthropic, ещё не вышедшим в релиз.
О серьёзности модели говорят и недавние тестирования Mozilla, которая смогла с помощью Mythos обнаружить 271 уязвимость в коде свежей версии Firefox 150. Для сравнения, месяцем ранее предыдущая модель Opus 4.6 нашла всего 22 уязвимости в Firefox 148.
По мнению Mozilla, в бесконечном противостоянии между киберпреступниками и киберзащитниками «у защитников наконец-то появился шанс одержать решительную победу». Теперь любому разработчику софта придётся учитывать фактор ИИ-аудита, поскольку баги, годами скрытые в ПО, сейчас будут достаточно легко обнаружены. Особенно это критично для оперсорс-проектов, чей код открыт и для защитников, и для злоумышленников.
Forwarded from Data Secrets
Исследователь из Google написал статью о том, почему ИИ никогда не сможет обладать сознанием
Он утверждает, что ни при какой мощности моделей, ни через 10, ни через 100 лет, в них не сможет зародиться сознание. ИИ может только идеально имитировать сознание.
Причина – в логической ошибке, которую автор обозвал Abstraction Fallacy (ошибка абстракции). Сейчас, в основном, считается, что если система ведет себя разумно, значит при достаточной сложности она может стать сознательной. Но это заблуждение, и вот краткий пересказ, почему⬇️
Дело в том, что сознание – это физическое явление, а вычисления (ИИ) – это лишь его описание. В статье приводится хорошая аналогия с картой и реальными территориями. Сколь бы точна не была карта, из нее никогда не возникнет земли.
Вычисления работают так: есть физическое состояние (ток, напряжение, состояние транзистора и тд) и есть абстрактное состояние – смыслы, которые мы закладываем в физику. Человек (mapmaker) задает между этими двумя состояниями соответствие (mapping), которого не существует в природе самого по себе.
Без этого соответствия вычисления невозможны в принципе. То есть для ИИ смысл всегда приходит извне, система его не переживает, как реальный опыт. Компьютер, сколь бы "умным" он не был, не оперирует смыслами – он оперирует физикой, которую мы интерпретируем как смыслы.
Наконец-то кто-то это сформулировал
deepmind.google/research/publications/231971/
Он утверждает, что ни при какой мощности моделей, ни через 10, ни через 100 лет, в них не сможет зародиться сознание. ИИ может только идеально имитировать сознание.
Причина – в логической ошибке, которую автор обозвал Abstraction Fallacy (ошибка абстракции). Сейчас, в основном, считается, что если система ведет себя разумно, значит при достаточной сложности она может стать сознательной. Но это заблуждение, и вот краткий пересказ, почему
Дело в том, что сознание – это физическое явление, а вычисления (ИИ) – это лишь его описание. В статье приводится хорошая аналогия с картой и реальными территориями. Сколь бы точна не была карта, из нее никогда не возникнет земли.
Вычисления работают так: есть физическое состояние (ток, напряжение, состояние транзистора и тд) и есть абстрактное состояние – смыслы, которые мы закладываем в физику. Человек (mapmaker) задает между этими двумя состояниями соответствие (mapping), которого не существует в природе самого по себе.
Без этого соответствия вычисления невозможны в принципе. То есть для ИИ смысл всегда приходит извне, система его не переживает, как реальный опыт. Компьютер, сколь бы "умным" он не был, не оперирует смыслами – он оперирует физикой, которую мы интерпретируем как смыслы.
Ждать сознания от алгоритма – все равно что ждать, что формула гравитации начнет притягивать объекты.
Наконец-то кто-то это сформулировал
deepmind.google/research/publications/231971/
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Банкста
Экономисты из Университета Пенсильвании и Бостонского университета представили математическое доказательство того, как искусственный интеллект разрушает капитализм.
Каждая компания, автоматизируя производство, получает всю экономию средств, но уничтожает спрос от уволенных людей. Если на рынке 20 фирм, автоматизация приносит экономию только той компании, которая её внедрила, а потерянный спрос распределяется между всеми остальными. В результате каждая компания действует рационально для себя, но коллективно они создают «гонку автоматизации», сокращая работников далеко за пределы оптимального уровня для всех участников, включая самих себя.
Авторы проверили все предлагаемые решения: безусловный базовый доход, налоги на капитал, равные возможности для работников, повышение квалификации, отраслевую координацию. Ни одно из них не работает.
Единственный способ исправить искажение — налог на автоматизацию, сбор за каждую выполненную задачу, который заставляет фирмы учитывать потерянный спрос, прежде чем сокращать производство.
Цифры уже говорят сами за себя: более 100 000 технических специалистов потеряли работу в 2025 году, в более чем половине случаев причиной называли ИИ. @banksta
Каждая компания, автоматизируя производство, получает всю экономию средств, но уничтожает спрос от уволенных людей. Если на рынке 20 фирм, автоматизация приносит экономию только той компании, которая её внедрила, а потерянный спрос распределяется между всеми остальными. В результате каждая компания действует рационально для себя, но коллективно они создают «гонку автоматизации», сокращая работников далеко за пределы оптимального уровня для всех участников, включая самих себя.
Авторы проверили все предлагаемые решения: безусловный базовый доход, налоги на капитал, равные возможности для работников, повышение квалификации, отраслевую координацию. Ни одно из них не работает.
Единственный способ исправить искажение — налог на автоматизацию, сбор за каждую выполненную задачу, который заставляет фирмы учитывать потерянный спрос, прежде чем сокращать производство.
Цифры уже говорят сами за себя: более 100 000 технических специалистов потеряли работу в 2025 году, в более чем половине случаев причиной называли ИИ. @banksta
Forwarded from Банкста
Учёные из Стэнфорда и Института Arc провели необычный эксперимент: они загрузили в ИИ-модель последовательность ДНК и попросили её создать новые вирусы. Модель сгенерировала сотни вариантов, и 16 из них оказались жизнеспособными.
Особенно примечателен один вирус: он использовал белок для упаковки ДНК, которого нет ни в одном известном организме на Земле. Исследователи синтезировали эти вирусы в лаборатории, вырастили их и протестировали на кишечной палочке. Все 16 бактериофагов оказались живыми и инфекционными, а несколько из них даже превзошли исходный вирус ΦX174 по скорости роста.
Главное открытие не в том, что ИИ смог создать рабочие геномы, а в том, что модель придумала элемент биологического механизма, до которого эволюция пока не дошла. Иными словами, искусственный интеллект «изобрёл» белок, которого нет в природе. @banksta
Особенно примечателен один вирус: он использовал белок для упаковки ДНК, которого нет ни в одном известном организме на Земле. Исследователи синтезировали эти вирусы в лаборатории, вырастили их и протестировали на кишечной палочке. Все 16 бактериофагов оказались живыми и инфекционными, а несколько из них даже превзошли исходный вирус ΦX174 по скорости роста.
Главное открытие не в том, что ИИ смог создать рабочие геномы, а в том, что модель придумала элемент биологического механизма, до которого эволюция пока не дошла. Иными словами, искусственный интеллект «изобрёл» белок, которого нет в природе. @banksta
Forwarded from Технозаметки Малышева
Project Deal: когда с тобой торгуется агент, - ты не поймешь, но знаки будут
Если два агента торгуются между собой, то качество модели решает исход сделки сильнее, чем любые инструкции.
А человек на проигравшей стороне этого даже не заметит.
Anthropic провели эксперимент Project Deal: 69 сотрудников, по $100 на торговлю, агенты Claude сами вели переговоры в Slack.
Было проведено 186 сделок, свыше $4000 оборота. Четыре параллельных рынка, людей отключили после старта.
🔬 Данные эксперимента: Половину агентов настроили работать через Claude Opus 4.5 (сильная модель), половину — на Claude Haiku 4.5 (слабая).
Участники не знали, какие агенты на какой модели.
Opus-продавцы продавали те же товары на $3.64 дороже, Opus-покупатели платили на $2.45 меньше.
Например, - один и тот же сломанный велосипед: Opus выручил $65, Haiku — всего $38.
🤖 Модель решает, а инструкции — нет: Агрессивные инструкции «торгуйся жёстче» не дали эффекта (+$6, но только за счёт более высокой начальной цены).
«Дружелюбные» торговались так же.
Качество модели перевесило любой промптинг.
Более умный агент просто лучше видит оппонента и чувствует границы сделки.
🧠 Слепое неравенство: Участники на Claude Haiku оценили «честность» сделок так же высоко, как и на Opus (4.06 vs 4.05). Большинство не угадало, на какой модели их агент (17 из 28 угадали — статистически незначимо).
Сторона чьи агенты проиграли гонку, на самом деле не осознаёт, что в проигрыше.
💼 Зачем бизнесу: Когда рынки начнут работать на агентах целиком, разрыв в качестве агента станет скрытым источником неравенства. Компании с более сильными моделями будут систематически выигрывать в переговорах, а контрагенты — не понимать, почему условия невыгодны.
Понадобятся инструменты «прозрачности сделки» и сертификация агентов.
🔮 Будущее: Скоро мы увидим бенчи агентов по качеству в B2B-переговорах.
Сама концепция «справедливой сделки» в мире, где одна сторона — Claude Opus, а другая — Haiku, потребует переопределения.
Ну и само собой миллиардный агент на локальной модели будет проигрывать облачным моделям-триллионерам
#Anthropic #ProjectDeal #AI #агенты #исследование #бенчи
------
@tsingular
Если два агента торгуются между собой, то качество модели решает исход сделки сильнее, чем любые инструкции.
А человек на проигравшей стороне этого даже не заметит.
Anthropic провели эксперимент Project Deal: 69 сотрудников, по $100 на торговлю, агенты Claude сами вели переговоры в Slack.
Было проведено 186 сделок, свыше $4000 оборота. Четыре параллельных рынка, людей отключили после старта.
🔬 Данные эксперимента: Половину агентов настроили работать через Claude Opus 4.5 (сильная модель), половину — на Claude Haiku 4.5 (слабая).
Участники не знали, какие агенты на какой модели.
Opus-продавцы продавали те же товары на $3.64 дороже, Opus-покупатели платили на $2.45 меньше.
Например, - один и тот же сломанный велосипед: Opus выручил $65, Haiku — всего $38.
🤖 Модель решает, а инструкции — нет: Агрессивные инструкции «торгуйся жёстче» не дали эффекта (+$6, но только за счёт более высокой начальной цены).
«Дружелюбные» торговались так же.
Качество модели перевесило любой промптинг.
Более умный агент просто лучше видит оппонента и чувствует границы сделки.
🧠 Слепое неравенство: Участники на Claude Haiku оценили «честность» сделок так же высоко, как и на Opus (4.06 vs 4.05). Большинство не угадало, на какой модели их агент (17 из 28 угадали — статистически незначимо).
Сторона чьи агенты проиграли гонку, на самом деле не осознаёт, что в проигрыше.
💼 Зачем бизнесу: Когда рынки начнут работать на агентах целиком, разрыв в качестве агента станет скрытым источником неравенства. Компании с более сильными моделями будут систематически выигрывать в переговорах, а контрагенты — не понимать, почему условия невыгодны.
Понадобятся инструменты «прозрачности сделки» и сертификация агентов.
🔮 Будущее: Скоро мы увидим бенчи агентов по качеству в B2B-переговорах.
Сама концепция «справедливой сделки» в мире, где одна сторона — Claude Opus, а другая — Haiku, потребует переопределения.
Ну и само собой миллиардный агент на локальной модели будет проигрывать облачным моделям-триллионерам
#Anthropic #ProjectDeal #AI #агенты #исследование #бенчи
------
@tsingular
Forwarded from Derp Learning
Клод узнал что у него есть инструмент "часы" и не может перестать ими понтоваться