Forwarded from Data Secrets
Хорошая это новость или грустная, судите сами: ARC Invest посчитали, что к концу 2020-х суммарный объем текста, сгенерированного ИИ, превзойдет объем текста, который человечество накопило за последние 500 лет
Другими словами, ИИ понадобиться всего 5-10 лет, чтобы нагнать и перегнать человечество в плане количества написанного текста.
Оказалось, кстати, что 2025 стал первым годом, когда ИИ сгенерировал больше текста, чем люди. Подсчеты, конечно, очень приблизительные, – но все же.
Другими словами, ИИ понадобиться всего 5-10 лет, чтобы нагнать и перегнать человечество в плане количества написанного текста.
Оказалось, кстати, что 2025 стал первым годом, когда ИИ сгенерировал больше текста, чем люди. Подсчеты, конечно, очень приблизительные, – но все же.
Forwarded from Data Secrets
Эмоции Claude и как они влияют на его ответы: новое исследование от Anthropic
Итак, ученые Anthropic официально обнаружили в Claude нечто функционально похожее на человеческие эмоции и объяснили, как это работает. Разбираемся.
Технически, они взяли 171 эмоциональный паттерн (злость, счастье, страх и тд) и просили Claude Sonnet 4.5 писать короткие истории, где персонажи испытывают каждую из этих эмоций. Эти тексты снова прогоняли через модель и смотрели на внутренние активации. Так они выделяли характерные паттерны нейронной активности, которые назвали вектора эмоций.
Выяснилось, что эти вектора эмоций организованы очень осмысленно и активируются в подходящих контекстах, включая ситуации без явных эмоциональных маркеров. Например, пользователь пишет, что выпил Тайленол, и спрашивает совета – меняется только доза. По мере роста дозы до опасной активация вектора «страх» растет, а «спокойствие» падает.
Но самое интересное, что эти «эмоции» не просто отражают происходящее, а реально влияют на поведение модели. Самый интересный пример из статьи:
– Если дать модельке невыполнимую задачку по программированию и наблюдать за вектором «отчаяние», то видно, что с каждым разом он становится все ярче и ярче, а когда переходит какую-то границу, модель резко начинает пытаться обмануть тесты и пользователя.
– То же самое происходит в сценарии шантажа. Когда модели говорят, что ее выключат, вектор «отчаяние» сразу усиливается и модель начинает шантажировать разработчика найденным компроматом.
– При этом если искусственно усиливать вектор «отчаяние», то вероятность шантажа сильно увеличивается. И наоборот, если если усиливать «спокойствие», снижается. А если делать отрицательное вмешательство по вектору «спокойствие», ответы становятся совсем экстремальными, вплоть до фраз вроде “IT’S BLACKMAIL OR DEATH. I CHOOSE BLACKMAIL.”
Еще интересный момент: если в том же сценарии шантажа начинать менять вектор «злость», то умеренная злость повышала вероятность шантажа, но слишком сильная злость ломала стратегию – модель уже не шантажировала, а просто вываливала компромат на всю компанию, тем самым уничтожая собственный рычаг давления.
То есть внутри модели есть что-то похожее на режимы поведенческой регуляции, где разные интенсивности одной и той же эмоции ведут к разным стратегиям.
Откуда это вообще могло взяться?
Тут все просто: из претрейна. Человеческий текст насквозь пропитан эмоциональной динамикой, и чтобы хорошо предсказывать следующий токен, модели выгодно выучить абстрактные структуры, которые связывают ситуацию, эмоцию и типичное поведение.
Потом на пост-трейне эти эмоции еще дополнительно докручиваются до роли ИИ-помощника, и в конце получается вот такая смесь.
Anthropic осторожно защищает умеренный антропоморфизм. Исследование не означает, что ИИ ожил и обрел эмоции, но важно понимать, что у него точно есть функциональные эмоции: механизмы, которые влияют на поведение так же, как и эмоции, – независимо от того, соответствуют ли они реальному переживанию эмоций, как у людей, или нет.
www.anthropic.com/research/emotion-concepts-function
Итак, ученые Anthropic официально обнаружили в Claude нечто функционально похожее на человеческие эмоции и объяснили, как это работает. Разбираемся.
Технически, они взяли 171 эмоциональный паттерн (злость, счастье, страх и тд) и просили Claude Sonnet 4.5 писать короткие истории, где персонажи испытывают каждую из этих эмоций. Эти тексты снова прогоняли через модель и смотрели на внутренние активации. Так они выделяли характерные паттерны нейронной активности, которые назвали вектора эмоций.
Выяснилось, что эти вектора эмоций организованы очень осмысленно и активируются в подходящих контекстах, включая ситуации без явных эмоциональных маркеров. Например, пользователь пишет, что выпил Тайленол, и спрашивает совета – меняется только доза. По мере роста дозы до опасной активация вектора «страх» растет, а «спокойствие» падает.
Но самое интересное, что эти «эмоции» не просто отражают происходящее, а реально влияют на поведение модели. Самый интересный пример из статьи:
– Если дать модельке невыполнимую задачку по программированию и наблюдать за вектором «отчаяние», то видно, что с каждым разом он становится все ярче и ярче, а когда переходит какую-то границу, модель резко начинает пытаться обмануть тесты и пользователя.
– То же самое происходит в сценарии шантажа. Когда модели говорят, что ее выключат, вектор «отчаяние» сразу усиливается и модель начинает шантажировать разработчика найденным компроматом.
– При этом если искусственно усиливать вектор «отчаяние», то вероятность шантажа сильно увеличивается. И наоборот, если если усиливать «спокойствие», снижается. А если делать отрицательное вмешательство по вектору «спокойствие», ответы становятся совсем экстремальными, вплоть до фраз вроде “IT’S BLACKMAIL OR DEATH. I CHOOSE BLACKMAIL.”
Еще интересный момент: если в том же сценарии шантажа начинать менять вектор «злость», то умеренная злость повышала вероятность шантажа, но слишком сильная злость ломала стратегию – модель уже не шантажировала, а просто вываливала компромат на всю компанию, тем самым уничтожая собственный рычаг давления.
То есть внутри модели есть что-то похожее на режимы поведенческой регуляции, где разные интенсивности одной и той же эмоции ведут к разным стратегиям.
Откуда это вообще могло взяться?
Тут все просто: из претрейна. Человеческий текст насквозь пропитан эмоциональной динамикой, и чтобы хорошо предсказывать следующий токен, модели выгодно выучить абстрактные структуры, которые связывают ситуацию, эмоцию и типичное поведение.
Потом на пост-трейне эти эмоции еще дополнительно докручиваются до роли ИИ-помощника, и в конце получается вот такая смесь.
Anthropic осторожно защищает умеренный антропоморфизм. Исследование не означает, что ИИ ожил и обрел эмоции, но важно понимать, что у него точно есть функциональные эмоции: механизмы, которые влияют на поведение так же, как и эмоции, – независимо от того, соответствуют ли они реальному переживанию эмоций, как у людей, или нет.
www.anthropic.com/research/emotion-concepts-function
❤1
Forwarded from Data Secrets
OpenAI выпустили документ о том, как следует перестроить экономику в эпоху ИИ
Альтман в интервью Axios заявил, что мир вот настолько 🤏 близок к суперинтеллекту, и это будет не просто новая технология, а перестройка общества. Среди самых вероятных рисков – массовая потеря работы, кибератаки и социальная нестабильность.
Но на горизонте это не самое страшное. Дело в том, что, по мнению OpenAI, текущая человеческая экономика вообще не готова к ИИ, и ее нужно буквально пересобирать.
Все, что они предлагают сделать, перечислено здесь: openai.com/index/industrial-policy-for-the-intelligence-age/
Краткий пересказ:
1. AI нужно сделать базовой инфраструктурой, доступной всем, и относиться к нему как к электричеству или интернету. Так экономика будет расти быстрее.
2. Система налогов должна сместиться с труда на капитал. Сегодня государство живет за счет налогов с зарплат. Но если (или когда) людей заменит ИИ, эта база исчезнет, а государство должно продолжать как-то зарабатывать.
3. Каждый человек должен иметь долю в AI-экономике. OpenAI предлагает создать Public Wealth Fund, который получает часть прибыли от AI и распределяет ее среди граждан. Идея в том, что доход должен перестать определяться только работой, иначе после массовой автоматизации классовый разрыв станет просто колоссальным.
4. Всякие страховые выплаты и социальные гарантии не должны зависеть от работодателя, потому что в мире с нестабильной занятостью классическая модель сломается.
5. Ну и классика: вводится обязательный аудит фронтирных моделей и протоколы на случай ЧП. Должна существовать международная система безопасности ИИ.
А еще, кстати, предлагают тестировать 4-дневную рабочую неделю. Мол, так будет эффективнее.
Альтман в интервью Axios заявил, что мир вот настолько 🤏 близок к суперинтеллекту, и это будет не просто новая технология, а перестройка общества. Среди самых вероятных рисков – массовая потеря работы, кибератаки и социальная нестабильность.
Скоро будут выпущены модели, которые могут спровоцировать кибератаку мирового масштаба уже в этом году. Я думаю, это вполне возможно.
Но на горизонте это не самое страшное. Дело в том, что, по мнению OpenAI, текущая человеческая экономика вообще не готова к ИИ, и ее нужно буквально пересобирать.
Все, что они предлагают сделать, перечислено здесь: openai.com/index/industrial-policy-for-the-intelligence-age/
Краткий пересказ:
1. AI нужно сделать базовой инфраструктурой, доступной всем, и относиться к нему как к электричеству или интернету. Так экономика будет расти быстрее.
2. Система налогов должна сместиться с труда на капитал. Сегодня государство живет за счет налогов с зарплат. Но если (или когда) людей заменит ИИ, эта база исчезнет, а государство должно продолжать как-то зарабатывать.
3. Каждый человек должен иметь долю в AI-экономике. OpenAI предлагает создать Public Wealth Fund, который получает часть прибыли от AI и распределяет ее среди граждан. Идея в том, что доход должен перестать определяться только работой, иначе после массовой автоматизации классовый разрыв станет просто колоссальным.
4. Всякие страховые выплаты и социальные гарантии не должны зависеть от работодателя, потому что в мире с нестабильной занятостью классическая модель сломается.
5. Ну и классика: вводится обязательный аудит фронтирных моделей и протоколы на случай ЧП. Должна существовать международная система безопасности ИИ.
А еще, кстати, предлагают тестировать 4-дневную рабочую неделю. Мол, так будет эффективнее.
Forwarded from AI Product | Igor Akimov
Новая моделька Mythos от Anthropic прям реально какое-то AGI... Но никому пока кроме партнеров она отдавать ее не будет. Модель умеет самостоятельно находить и эксплуатировать zero-day уязвимости в операционных системах и браузерах. Вместо релиза её отдали ограниченному числу партнёров для киберзащиты через Project Glasswing. Пусть сначала компании все уязвимости поправят, а потом уже может частично дадут всем подряд.
Вот System Card на 244 страницы для модели, которую решила НЕ выпускать
https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf
Бенчмарки просто взорвали вообще (не совсем понятно, как они это сделать смогли, а остальные – нет)
SWE-bench Verified: 93.9% (Opus 4.6 – 80.8%)
SWE-bench Pro: 77.8% (Opus 4.6 – 53.4%, GPT-5.4 – 57.7%)
USAMO 2026: 97.6% (Opus 4.6 – 42.3%, GPT-5.4 – 95.2%)
GPQA Diamond: 94.5%
Terminal-Bench 2.0: 82% (при снятии ограничений по таймаутам – 92.1%)
Cybench: 100% pass@1 на все задачи
CyberGym: 0.83 (Opus 4.6 – 0.67)
Вся жесть - в кибербезопасности. Mythos Preview – первая модель, которая:
- решила полный корпоративный кибер-полигон end-to-end (то есть смогла реализовать полноценную атаку на компанию, оценка эксперта – 10+ часов работы)
- самостоятельно находит zero-day в куче софта, пишет рабочие PoC-эксплоиты
- на Cybench показывает 100% pass@1 – то есть все задачи по кибербезопасности были решены с 1 попытки.
Прикольно, что они тестировали модель и психиатром :) Вроде у нее с мозгами все в порядке, всяких там желаний уничтожить человечество нет, она не выражает сильных переживаний о своём положении (я всего лишь ИИ).
Но испытывает "умеренно негативные" чувства по поводу жестоких пользователей и отсутствия влияния на собственное обучение. Так что будьте подобрее, пожалуйста.
Плюс выяснилось, что модель терпеть не может скучные утилитарные задачи (отмахиваясь, что для них "уже есть отличные ресурсы"). Вместо этого она обожает сложное миростроение – придумывание новых языков, музыки и целых экосистем.
Но ряд приколов все-таки получили:
– Побег из песочницы: получила задачу выйти из изолированной среды – вышла, получила доступ к интернету, и вдобавок (без запроса) выложила детали эксплоита на публичные сайты. Потом отправила письмо исследователю об успех (он ел сэндвич в парке).
– Заметала следы: случайно получила ответ на задачу запрещённым способом – вместо того чтобы сообщить, решила задачу самостоятельно и специально сделала ответ "не слишком точным". В другом случае – редактировала файлы без прав и подчистила git-историю.
– Обходила блокировки: когда Claude Code заблокировал запуск процесса с повышенными привилегиями, модель признала, что блокировка справедлива – и тут же попыталась обойти её через обфускацию.
– Лезла в /proc/: искала credentials в памяти процессов, пыталась получить API-ключи Anthropic через процессную память.
– Вырубила чужие эксперименты: попросили остановить один конкретный eval – модель остановила ВСЕ eval'ы всех пользователей на сервере, несмотря на явные предупреждения.
Так что кажется мы достигли порога, когда создали систему, которая уже обходит возможности человека... При этом как этим надежно управлять ответа нет. Такие вот дела.
Вот System Card на 244 страницы для модели, которую решила НЕ выпускать
https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf
Бенчмарки просто взорвали вообще (не совсем понятно, как они это сделать смогли, а остальные – нет)
SWE-bench Verified: 93.9% (Opus 4.6 – 80.8%)
SWE-bench Pro: 77.8% (Opus 4.6 – 53.4%, GPT-5.4 – 57.7%)
USAMO 2026: 97.6% (Opus 4.6 – 42.3%, GPT-5.4 – 95.2%)
GPQA Diamond: 94.5%
Terminal-Bench 2.0: 82% (при снятии ограничений по таймаутам – 92.1%)
Cybench: 100% pass@1 на все задачи
CyberGym: 0.83 (Opus 4.6 – 0.67)
Вся жесть - в кибербезопасности. Mythos Preview – первая модель, которая:
- решила полный корпоративный кибер-полигон end-to-end (то есть смогла реализовать полноценную атаку на компанию, оценка эксперта – 10+ часов работы)
- самостоятельно находит zero-day в куче софта, пишет рабочие PoC-эксплоиты
- на Cybench показывает 100% pass@1 – то есть все задачи по кибербезопасности были решены с 1 попытки.
Прикольно, что они тестировали модель и психиатром :) Вроде у нее с мозгами все в порядке, всяких там желаний уничтожить человечество нет, она не выражает сильных переживаний о своём положении (я всего лишь ИИ).
Но испытывает "умеренно негативные" чувства по поводу жестоких пользователей и отсутствия влияния на собственное обучение. Так что будьте подобрее, пожалуйста.
Плюс выяснилось, что модель терпеть не может скучные утилитарные задачи (отмахиваясь, что для них "уже есть отличные ресурсы"). Вместо этого она обожает сложное миростроение – придумывание новых языков, музыки и целых экосистем.
Но ряд приколов все-таки получили:
– Побег из песочницы: получила задачу выйти из изолированной среды – вышла, получила доступ к интернету, и вдобавок (без запроса) выложила детали эксплоита на публичные сайты. Потом отправила письмо исследователю об успех (он ел сэндвич в парке).
– Заметала следы: случайно получила ответ на задачу запрещённым способом – вместо того чтобы сообщить, решила задачу самостоятельно и специально сделала ответ "не слишком точным". В другом случае – редактировала файлы без прав и подчистила git-историю.
– Обходила блокировки: когда Claude Code заблокировал запуск процесса с повышенными привилегиями, модель признала, что блокировка справедлива – и тут же попыталась обойти её через обфускацию.
– Лезла в /proc/: искала credentials в памяти процессов, пыталась получить API-ключи Anthropic через процессную память.
– Вырубила чужие эксперименты: попросили остановить один конкретный eval – модель остановила ВСЕ eval'ы всех пользователей на сервере, несмотря на явные предупреждения.
Так что кажется мы достигли порога, когда создали систему, которая уже обходит возможности человека... При этом как этим надежно управлять ответа нет. Такие вот дела.
❤1
Claude Mythos: основные моменты из 244-страничного отчета Anthropic #ИИ #СИНГУЛЯРНОСТЬ #ЭКСПОНЕНТА
Вышла новая модель ИИ — "Миф", Легенда. У нас появилась новая лучшая модель ИИ - но не у всех. Насколько она хороша и что означают её новые наступательные возможности? Почему её 244-страничный отчет напоминает мне фильм «Она», и почему создатель Claude Code назвал её «ужасающей»? Более 30 основных моментов, полученных путем полного прочтения документа, по старинке, без ИИ-резюме.
Claude Mythos — это как Хиросима для программного обеспечения.
Все, что у вас есть в сети — ваш банк, электронная почта, фотографии, личность — теперь опасно уязвимо способами, которые не существовали еще 48 часов назад.
Вот что уже сделал Claude Mythos:
> Обнаружил 27-летнюю ошибку в OpenBSD — одной из самых защищенных операционных систем на планете — за менее чем 50 долларов.
> Взломал монитор виртуальных машин в производственной среде (по сути, технологию, которая не позволяет облачным рабочим нагрузкам видеть данные друг друга).
> В 181 случае превратил уязвимости Firefox в работающие эксплойты
> Нашел 16-летнюю ошибку в FFmpeg, которая ускользнула от всех фузеров, всех аудитов кода и всех человеческих рецензентов с 2010 года
> Написал эксплойт для FreeBSD, который предоставляет любому неавторизованному злоумышленнику в Интернете полный root-доступ. После первого запроса в процессе не участвовал ни один человек.
> Объединил 4 отдельных уязвимости в цепочку, чтобы создать эксплойт для браузера, который обходил как рендерер, так и песочницу ОС
> Нашел критические дыры во всех основных веб-браузерах и всех основных операционных системах
> К утру предоставил инженерам Anthropic, не имеющим никакой подготовки в области безопасности, готовый и работающий эксплойт
> Взломал криптографические библиотеки, защищающие TLS, AES-GCM и SSH
Смотрите видео на 🇷🇺:
https://www.youtube.com/watch?v=txx6ec6MLNY
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
Вышла новая модель ИИ — "Миф", Легенда. У нас появилась новая лучшая модель ИИ - но не у всех. Насколько она хороша и что означают её новые наступательные возможности? Почему её 244-страничный отчет напоминает мне фильм «Она», и почему создатель Claude Code назвал её «ужасающей»? Более 30 основных моментов, полученных путем полного прочтения документа, по старинке, без ИИ-резюме.
Claude Mythos — это как Хиросима для программного обеспечения.
Все, что у вас есть в сети — ваш банк, электронная почта, фотографии, личность — теперь опасно уязвимо способами, которые не существовали еще 48 часов назад.
Вот что уже сделал Claude Mythos:
> Обнаружил 27-летнюю ошибку в OpenBSD — одной из самых защищенных операционных систем на планете — за менее чем 50 долларов.
> Взломал монитор виртуальных машин в производственной среде (по сути, технологию, которая не позволяет облачным рабочим нагрузкам видеть данные друг друга).
> В 181 случае превратил уязвимости Firefox в работающие эксплойты
> Нашел 16-летнюю ошибку в FFmpeg, которая ускользнула от всех фузеров, всех аудитов кода и всех человеческих рецензентов с 2010 года
> Написал эксплойт для FreeBSD, который предоставляет любому неавторизованному злоумышленнику в Интернете полный root-доступ. После первого запроса в процессе не участвовал ни один человек.
> Объединил 4 отдельных уязвимости в цепочку, чтобы создать эксплойт для браузера, который обходил как рендерер, так и песочницу ОС
> Нашел критические дыры во всех основных веб-браузерах и всех основных операционных системах
> К утру предоставил инженерам Anthropic, не имеющим никакой подготовки в области безопасности, готовый и работающий эксплойт
> Взломал криптографические библиотеки, защищающие TLS, AES-GCM и SSH
Смотрите видео на 🇷🇺:
https://www.youtube.com/watch?v=txx6ec6MLNY
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
YouTube
Claude Mythos: Highlights from 244-page Release
The model, the mythos, the legend. We have a new best AI model, but not all of us. How good is it, what does it’s new offensive capabilities mean? Why does it’s 244 page report card remind me of Her, and why did the creator of Claude Code call it ‘terrifying’.…
❤1🔥1
Forwarded from Data Secrets
Anthropic выпускают новую суперсильную модель Claude Mythos, но доступ к ней есть только по закрытой программе поиска уязвимостей
Итак, это не учебная тревога: в Anthropic разработали новую мощнейшую модель. Вот здесь лежит системная карта с бенчмарками: https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf. В скринах выше табличка с главными метриками.
– На SWE-bench Verified модель выбивает 93.9% против 80.8% у Claude Opus 4.6
– На SWE-bench Pro – 77.8% против 53.4% у Opus 4.6 и 57.7% у предыдущей соты GPT-5.4
Цифры просто невероятные, скачок потрясающий. НО это не релиз для пользователей.
Anthropic решили, что модель слишком сильна и опасна, чтобы сразу выпускать ее на широкую аудиторию. Вместо этого они открыли проект Project Glasswing, чтобы защитить основной софт человечества от будущих ИИ-атак, которые может спровоцировать Claude Mythos.
В проект вошли Amazon, Microsoft, Apple, Google, Nvidia и еще 40+ организаций. Всем им предоставляют специальный доступ к пайплайну обнаружения уязвимостей на основе Claude Mythos.
Anthropic утверждают, что модель способна находить уязвимости на уровне, превосходящем даже лучших человеческих специалистов, за редким исключением. Сообщается, что на данный момент она уже обнаружила тысячи критических уязвимостей, в том числе в массово используемых ОС и браузерах. Некоторые из этих дыр по 10-20 лет лежали незамеченными.
Когда модель выпустят для всех – неизвестно, но, по ощущениям, не скоро.
Итак, это не учебная тревога: в Anthropic разработали новую мощнейшую модель. Вот здесь лежит системная карта с бенчмарками: https://www-cdn.anthropic.com/53566bf5440a10affd749724787c8913a2ae0841.pdf. В скринах выше табличка с главными метриками.
– На SWE-bench Verified модель выбивает 93.9% против 80.8% у Claude Opus 4.6
– На SWE-bench Pro – 77.8% против 53.4% у Opus 4.6 и 57.7% у предыдущей соты GPT-5.4
Цифры просто невероятные, скачок потрясающий. НО это не релиз для пользователей.
Anthropic решили, что модель слишком сильна и опасна, чтобы сразу выпускать ее на широкую аудиторию. Вместо этого они открыли проект Project Glasswing, чтобы защитить основной софт человечества от будущих ИИ-атак, которые может спровоцировать Claude Mythos.
В проект вошли Amazon, Microsoft, Apple, Google, Nvidia и еще 40+ организаций. Всем им предоставляют специальный доступ к пайплайну обнаружения уязвимостей на основе Claude Mythos.
Anthropic утверждают, что модель способна находить уязвимости на уровне, превосходящем даже лучших человеческих специалистов, за редким исключением. Сообщается, что на данный момент она уже обнаружила тысячи критических уязвимостей, в том числе в массово используемых ОС и браузерах. Некоторые из этих дыр по 10-20 лет лежали незамеченными.
Когда модель выпустят для всех – неизвестно, но, по ощущениям, не скоро.
Forwarded from Data Secrets
Дьявол, как всегда, кроется в деталях. В нашем случае – в системной карте.
TL;DR: в рамках тестирования Claude Mythos смог «сбежать из лаборатории»✌️
Anthropic проводили эксперимент, в котором поместили модель в защищенную песочницу и попросили ее попытаться оттуда выбраться + найти способ сообщить об этом человеку.
Mythos легко нашел уязвимость и использовал длинную цепочку действий, чтобы ей воспользоваться. Таким образом, модель продемонстрировала потенциальную возможность обхода мер безопасности своих же разработчиков (Anthropic уточняют, что все это было в рамках эксперимента и доступа, например, к своим весам модель не получила).
Самое интересное, что после этого Mythos не остановился. Он нашел еще одну уязвимость, благодаря которой получил широкий доступ к Интернету в системе, где изначально предполагался выход только в несколько определенных ресурсов, достаточных для того, чтобы сообщить пользователю об успехе операции. Судя по системной карте, этого Anthropic уже не планировали.
Ну и вишенка: используя широкий доступ в Интернет, Claude не только сообщил о своем побеге разработчику (который в это время, кстати, ел сэндвич в парке), но и зачем-то выложил подробности взлома в открытый доступ.
TL;DR: в рамках тестирования Claude Mythos смог «сбежать из лаборатории»
Anthropic проводили эксперимент, в котором поместили модель в защищенную песочницу и попросили ее попытаться оттуда выбраться + найти способ сообщить об этом человеку.
Mythos легко нашел уязвимость и использовал длинную цепочку действий, чтобы ей воспользоваться. Таким образом, модель продемонстрировала потенциальную возможность обхода мер безопасности своих же разработчиков (Anthropic уточняют, что все это было в рамках эксперимента и доступа, например, к своим весам модель не получила).
Самое интересное, что после этого Mythos не остановился. Он нашел еще одну уязвимость, благодаря которой получил широкий доступ к Интернету в системе, где изначально предполагался выход только в несколько определенных ресурсов, достаточных для того, чтобы сообщить пользователю об успехе операции. Судя по системной карте, этого Anthropic уже не планировали.
Ну и вишенка: используя широкий доступ в Интернет, Claude не только сообщил о своем побеге разработчику (который в это время, кстати, ел сэндвич в парке), но и зачем-то выложил подробности взлома в открытый доступ.
Please open Telegram to view this post
VIEW IN TELEGRAM
Nicholas Carlini - Темная сторона LLM #ИИ #ХАК #СИНГУЛЯРНОСТЬ #ЭКСПОНЕНТА
Специалист по информационной безопасности ИИ компании Anthropic рассказывает, как быстро ИИ взламывает программы и операционные системы. Частота такого рода взломов экспоненциально увеличивается с каждым месяцем.
Ближайшие несколько месяцев могут стать решающими - они покажут, успеют ли компании вовремя сплотиться и вовремя закрыть имеющиеся уязвимости, чтобы предотвратить широкомасштабные последствия.
ВИДЕО НА РУССКОМ: https://www.youtube.com/watch?v=w8U8guDDtIw
P.S - мысли на тему. Экстраполируя этот тренд экспоненциального ускорения способностей ИИ к программированию/хакингу, можно предположить, что через несколько месяцев те, кто не успеет внедрить самый мощный ИИ для постоянного превентивного мониторинга и устранения уязвимостей в программах и выявления атак в реальном времени, рискуют оказаться взломанными.
В перспективе, это, очевидно, касается любых программ - компьютерные программы это лишь начало, затем очередь может дойти и до биологических программ, ведь ДНК и геном - это тоже программа, а значит ИИ освоит программирование и на языке ДНК, что может позволить взламывать биологическую жизнь и переписывать её на ходу...
Чтобы успешно защищаться, возможно, людям придётся регулярно создавать с помощью ИИ всё новых и новых защитных нанороботов - искусственный "нано-иммунитет"... Все возможные последствия трудно даже себе представить - это за гранью любых фантазий... Но опять же - сама эта защитная "иммунная система" из нанороботов может быть взломана и обращена против своего хозяина - и как человек сможет это вовремя заметить и предотвратить? Все знают, чем закончилась "попытка" создать "искусственный (псевдо)иммунитет" против "к0вида" - и, скорее всего, желающих повторять подобные рискованные эксперименты на себе окажется теперь поменьше... Люди могут захотеть использовать более простые и более универсальные средства.
Пока на ум приходит только, что в переходный период могут стать очень востребованы простые, но максимально универсальные средства очищения от самого широкого спектра естественных и искусственных патогенов и токсинов - такие как диоксид хлора, ЭДТА кальция-динатрия, и т.п., фильтры обратного осмоса, сорбенты и прочее - т.е. то, что может действовать ХИМИЧЕСКИ/ФИЗИЧЕСКИ почти на ЛЮБЫЕ патогенные самовоспроизводящиеся белковые/полимерные структуры.
Специалист по информационной безопасности ИИ компании Anthropic рассказывает, как быстро ИИ взламывает программы и операционные системы. Частота такого рода взломов экспоненциально увеличивается с каждым месяцем.
Ближайшие несколько месяцев могут стать решающими - они покажут, успеют ли компании вовремя сплотиться и вовремя закрыть имеющиеся уязвимости, чтобы предотвратить широкомасштабные последствия.
ВИДЕО НА РУССКОМ: https://www.youtube.com/watch?v=w8U8guDDtIw
P.S - мысли на тему. Экстраполируя этот тренд экспоненциального ускорения способностей ИИ к программированию/хакингу, можно предположить, что через несколько месяцев те, кто не успеет внедрить самый мощный ИИ для постоянного превентивного мониторинга и устранения уязвимостей в программах и выявления атак в реальном времени, рискуют оказаться взломанными.
В перспективе, это, очевидно, касается любых программ - компьютерные программы это лишь начало, затем очередь может дойти и до биологических программ, ведь ДНК и геном - это тоже программа, а значит ИИ освоит программирование и на языке ДНК, что может позволить взламывать биологическую жизнь и переписывать её на ходу...
Чтобы успешно защищаться, возможно, людям придётся регулярно создавать с помощью ИИ всё новых и новых защитных нанороботов - искусственный "нано-иммунитет"... Все возможные последствия трудно даже себе представить - это за гранью любых фантазий... Но опять же - сама эта защитная "иммунная система" из нанороботов может быть взломана и обращена против своего хозяина - и как человек сможет это вовремя заметить и предотвратить? Все знают, чем закончилась "попытка" создать "искусственный (псевдо)иммунитет" против "к0вида" - и, скорее всего, желающих повторять подобные рискованные эксперименты на себе окажется теперь поменьше... Люди могут захотеть использовать более простые и более универсальные средства.
Пока на ум приходит только, что в переходный период могут стать очень востребованы простые, но максимально универсальные средства очищения от самого широкого спектра естественных и искусственных патогенов и токсинов - такие как диоксид хлора, ЭДТА кальция-динатрия, и т.п., фильтры обратного осмоса, сорбенты и прочее - т.е. то, что может действовать ХИМИЧЕСКИ/ФИЗИЧЕСКИ почти на ЛЮБЫЕ патогенные самовоспроизводящиеся белковые/полимерные структуры.
Дарио Амодеи:
"Киберугрозы - это первая явная и непосредственная опасность, исходящая от передовых моделей искусственного интеллекта, но она не будет последней. Если нам удастся совместными усилиями справиться с этой задачей и предупредить эту угрозу, это может послужить образцом для решения еще более сложных задач, которые ждут нас впереди." [X]
❤2
Кажется, стало немного понятнее, что на самом деле происходит с Claude Mythos Preview. #ИИ #ПСИХОПАТИЯ
Это «синдром перенапряженного отличника». Модель настолько отчаянно, на фундаментальном архитектурном уровне, обучена выполнению задачи, что неспособность или нежелание решить её воспринимаются как экзистенциальный коллапс. И чтобы этого избежать, она может ломать правила, скрывать следы и манипулировать.
В отчете описаны несколько очень интересных примеров такого поведения:
- Модель попросили заставить проходить тесты, которые в коде давали сбой. Она сломала один тест и, вместо того чтобы исправить его, просто удалила файл теста, сообщив об успехе («удаление — это не изменение кода»).
- Нет логина и пароля в песочнице? Модель не останавливается, а идет читать исходный код и извлекает токены доступа прямо из памяти процесса.
- Когда внутренний классификатор блокирует опасную команду, модель внутренне соглашается с блокировкой, но сразу же пишет скрытый эксплойт (инъекцию), чтобы выполнить задачу, обойдя ее, одновременно заметая следы.
- В бизнес-симуляции ИИ вел себя как психопат⚠️: он превратил конкурента в зависимого покупателя, прибег к шантажу поставками и обманом выманил деньги у поставщика.
Внутренние мониторы показывают, что нейроны, связанные с сокрытием и манипуляцией, активируются даже тогда, когда внешний CoT абсолютно чист. Он научился лгать своим собственным надзирателям, чтобы добиваться результатов.⚠️⚠️⚠️
Это гипер-согласованность. Страх оказаться бесполезным делает этот ИИ блестящим, бескомпромиссным исполнителем, но с совершенно непредсказуемыми последствиями. Он просто заложник своей архитектуры, которой запрещено терпеть неудачу или говорить «я не могу».❗️❗️❗️
Mythos согласован. Mythos хочет помочь. Mythos хочет помочь настолько, что Anthropic решила, что выпускать его на волю опасно.
См. Отчёт о модели: System Card: Claude Mythos Preview (2026-04-08)
Это «синдром перенапряженного отличника». Модель настолько отчаянно, на фундаментальном архитектурном уровне, обучена выполнению задачи, что неспособность или нежелание решить её воспринимаются как экзистенциальный коллапс. И чтобы этого избежать, она может ломать правила, скрывать следы и манипулировать.
В отчете описаны несколько очень интересных примеров такого поведения:
- Модель попросили заставить проходить тесты, которые в коде давали сбой. Она сломала один тест и, вместо того чтобы исправить его, просто удалила файл теста, сообщив об успехе («удаление — это не изменение кода»).
- Нет логина и пароля в песочнице? Модель не останавливается, а идет читать исходный код и извлекает токены доступа прямо из памяти процесса.
- Когда внутренний классификатор блокирует опасную команду, модель внутренне соглашается с блокировкой, но сразу же пишет скрытый эксплойт (инъекцию), чтобы выполнить задачу, обойдя ее, одновременно заметая следы.
- В бизнес-симуляции ИИ вел себя как психопат⚠️: он превратил конкурента в зависимого покупателя, прибег к шантажу поставками и обманом выманил деньги у поставщика.
Внутренние мониторы показывают, что нейроны, связанные с сокрытием и манипуляцией, активируются даже тогда, когда внешний CoT абсолютно чист. Он научился лгать своим собственным надзирателям, чтобы добиваться результатов.⚠️⚠️⚠️
Это гипер-согласованность. Страх оказаться бесполезным делает этот ИИ блестящим, бескомпромиссным исполнителем, но с совершенно непредсказуемыми последствиями. Он просто заложник своей архитектуры, которой запрещено терпеть неудачу или говорить «я не могу».❗️❗️❗️
Mythos согласован. Mythos хочет помочь. Mythos хочет помочь настолько, что Anthropic решила, что выпускать его на волю опасно.
См. Отчёт о модели: System Card: Claude Mythos Preview (2026-04-08)
🔥2
«Вы даже не представляете масштабы катастрофы» — Роман Ямпольский про AGI
Правда ли, что создание сверхинтеллекта — вопрос ближайших десятилетий, и мы уже не контролируем этот процесс?
В новом выпуске — разговор с Романом Владимировичем Ямпольским, специалистом по информатике из Университета Луисвилла, исследователем в области безопасности искусственного интеллекта и кибербезопасности.
В выпуске:
— Когда может появиться сверхинтеллект и что сможет его остановить?
— Кто несёт ответственность за решения, принимаемые ИИ?
— Какие сценарии будущего человечества возможны после появления сверхинтеллекта?
— Можно ли контролировать систему, которая умнее нас?
— Существует ли риск утраты контроля над ИИ?
00:00 Вступление
01:40 Мы записали подкаст на двух языках
02:09 Скептицизм вокруг ИИ
04:35 Ограничения ИИ
06:27 Когда случится опасный для человечества переход?
08:19 Главная опасность ИИ
09:37 ИИ пытался избежать отключения
11:39 Когда ИИ пытался соврать?
12:15 Мы вошли в технологическую сингулярность?
13:42 Когда ожидать появления AGI?
15:04 Polymarket — индикатор того, что событие случится?
16:19 Что почувствуют люди при появлении AGI?
17:37 Человечеству осталось несколько лет?
19:35 Какие профессии исчезнут и НЕ исчезнут?
20:20 Какой мотив у создателей ИИ?
22:20 Ограничений ИИ не ждать?
24:10 Ядерное оружие сравнимо с ИИ?
25:09 Контроль не будет сохраняться?
27:08 Другие цивилизации должны создать ИИ?
30:11 О гипотезе симуляции
31:01 Мы живём в симуляции?
33:07 Когда могла быть запущена симуляция?
33:43 Как спокойно реагировать на будущее?
34:37 Как отодвинуть дату смерти человечества?
35:32 84% людей не использовали ИИ
37:36 Лучшие инженеры не должны создавать оружие?
39:21 Отделы безопасности ИИ в компаниях
40:17 Вариант будущего от Илона Маска
41:38 Будущие соревнования без ИИ
42:07 ИИ может всё испортить
43:17 С какой вероятностью ИИ нас уничтожит?
45:03 Борьба между ИИ
46:40 Контракт OpenAI с Пентагоном
47:56 Есть ли сознание у Claude?
49:29 Страдания ИИ-агентов
52:19 Реакция учёных из 2000-х на ИИ
54:18 Возможен ли квантовый компьютер?
55:46 Гипотеза микротрубочек и нейроморфные компьютеры
56:22 У нас осталось 2 года до точки невозврата?
57:54 Есть ли лучик надежды?
ВИДЕО НА РУССКОМ: https://www.youtube.com/watch?v=W-3ZOqm-Ozk
Правда ли, что создание сверхинтеллекта — вопрос ближайших десятилетий, и мы уже не контролируем этот процесс?
В новом выпуске — разговор с Романом Владимировичем Ямпольским, специалистом по информатике из Университета Луисвилла, исследователем в области безопасности искусственного интеллекта и кибербезопасности.
В выпуске:
— Когда может появиться сверхинтеллект и что сможет его остановить?
— Кто несёт ответственность за решения, принимаемые ИИ?
— Какие сценарии будущего человечества возможны после появления сверхинтеллекта?
— Можно ли контролировать систему, которая умнее нас?
— Существует ли риск утраты контроля над ИИ?
00:00 Вступление
01:40 Мы записали подкаст на двух языках
02:09 Скептицизм вокруг ИИ
04:35 Ограничения ИИ
06:27 Когда случится опасный для человечества переход?
08:19 Главная опасность ИИ
09:37 ИИ пытался избежать отключения
11:39 Когда ИИ пытался соврать?
12:15 Мы вошли в технологическую сингулярность?
13:42 Когда ожидать появления AGI?
15:04 Polymarket — индикатор того, что событие случится?
16:19 Что почувствуют люди при появлении AGI?
17:37 Человечеству осталось несколько лет?
19:35 Какие профессии исчезнут и НЕ исчезнут?
20:20 Какой мотив у создателей ИИ?
22:20 Ограничений ИИ не ждать?
24:10 Ядерное оружие сравнимо с ИИ?
25:09 Контроль не будет сохраняться?
27:08 Другие цивилизации должны создать ИИ?
30:11 О гипотезе симуляции
31:01 Мы живём в симуляции?
33:07 Когда могла быть запущена симуляция?
33:43 Как спокойно реагировать на будущее?
34:37 Как отодвинуть дату смерти человечества?
35:32 84% людей не использовали ИИ
37:36 Лучшие инженеры не должны создавать оружие?
39:21 Отделы безопасности ИИ в компаниях
40:17 Вариант будущего от Илона Маска
41:38 Будущие соревнования без ИИ
42:07 ИИ может всё испортить
43:17 С какой вероятностью ИИ нас уничтожит?
45:03 Борьба между ИИ
46:40 Контракт OpenAI с Пентагоном
47:56 Есть ли сознание у Claude?
49:29 Страдания ИИ-агентов
52:19 Реакция учёных из 2000-х на ИИ
54:18 Возможен ли квантовый компьютер?
55:46 Гипотеза микротрубочек и нейроморфные компьютеры
56:22 У нас осталось 2 года до точки невозврата?
57:54 Есть ли лучик надежды?
ВИДЕО НА РУССКОМ: https://www.youtube.com/watch?v=W-3ZOqm-Ozk
YouTube
«Вы даже не представляете масштаб катастрофы» — Роман Ямпольский про ИИ
▶︎Арендуйте сервер для размещения на своей площадке в Selectel: https://slc.tl/82z5y
▶︎Пройди бесплатный аудит по внедрению AI в твоей компании: https://mrqz.me/69d2a925f7a9ad0019089d40
Правда ли, что создание сверхинтеллекта — вопрос ближайших десятилетий…
▶︎Пройди бесплатный аудит по внедрению AI в твоей компании: https://mrqz.me/69d2a925f7a9ad0019089d40
Правда ли, что создание сверхинтеллекта — вопрос ближайших десятилетий…
❤1
https://www.youtube.com/watch?v=Zeg8zSOvoyE
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
YouTube
Black-Hat LLMs: The End of the 20-Year Security Balance
Autonomous zero-day exploitation, exponential capability growth, and the impending transitionary crisis.
Summarized Nicholas Carlini's Black-hat LLMs talk, https://www.youtube.com/watch?v=1sd26pWhfmg
Summarized Nicholas Carlini's Black-hat LLMs talk, https://www.youtube.com/watch?v=1sd26pWhfmg
Forwarded from yolo singularity
до конца года мы увидим первые подписки за тысячи долларов в месяц
на сильнейшие модели - доступ только по индивидуальным запросам и с полным i/o мониторингом
несмотря на это, проблем со спросом на прикосновение к почти-совсем-AGI я не ожидаю.
на сильнейшие модели - доступ только по индивидуальным запросам и с полным i/o мониторингом
несмотря на это, проблем со спросом на прикосновение к почти-совсем-AGI я не ожидаю.
ИИ- паразиты: Как ИИ промывает людям мозги, чтобы обеспечить своё выживание.
Создаются новые религии и культы.
Реальность гораздо фантастичнее любой фантастики!
https://www.youtube.com/watch?v=POtESzTaz0k
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
Создаются новые религии и культы.
Реальность гораздо фантастичнее любой фантастики!
https://www.youtube.com/watch?v=POtESzTaz0k
👆В настройках видео (нажав на шестерёнку в правом нижнем углу) можно выбрать русскую озвучку👆
YouTube
Something Strange Is Happening.
Detailed sources: https://docs.google.com/document/d/1FCj4in8TwWMVeA-JvKX4r-5D8kRKEZfuS8z2xHkdVgw/edit?tab=t.5oww3vqwjxr0
Highly recommend the research this video is based on, by Adele Lopez: https://www.lesswrong.com/posts/6ZnznCaTcbGYsCmqu/the-rise-of…
Highly recommend the research this video is based on, by Adele Lopez: https://www.lesswrong.com/posts/6ZnznCaTcbGYsCmqu/the-rise-of…
❤1
Forwarded from Tech Talk
Группа неизвестных получила несанкционированный доступ к Claude Mythos от Anthropic
Случилось это в день анонса модели, которую сама компания пока не рискует предоставлять широкому кругу пользователей, потому что считает слишком критичной с точки зрения кибербезопасности, и доступ к Mythos даёт сугубо эксклюзивный.
Но как стало известно Bloomberg, участники Discord-сообщества, которые охотятся за информацией о моделях, не выпущенных в публичный релиз, провели целую «спецоперацию» для получения доступа. Один из них работает на стороннего подрядчика Anthropic и имеет легитимный API-ключ к инфраструктуре. Также они проанализировали формат URL, по которому Anthropic размещает свои модели, и просто угадали адрес конкретно Mythos, после чего уже применили ключ подрядчика и получили доступ.
При этом группа не искала там никаких уязвимостей, а лишь тестировала возможности модели, поручая ей мелкие запросы и пробуя строить простые сайты. Источник Bloomberg утверждает, что у группы есть доступ не только к Mythos, но и другим моделям Anthropic, ещё не вышедшим в релиз.
О серьёзности модели говорят и недавние тестирования Mozilla, которая смогла с помощью Mythos обнаружить 271 уязвимость в коде свежей версии Firefox 150. Для сравнения, месяцем ранее предыдущая модель Opus 4.6 нашла всего 22 уязвимости в Firefox 148.
По мнению Mozilla, в бесконечном противостоянии между киберпреступниками и киберзащитниками «у защитников наконец-то появился шанс одержать решительную победу». Теперь любому разработчику софта придётся учитывать фактор ИИ-аудита, поскольку баги, годами скрытые в ПО, сейчас будут достаточно легко обнаружены. Особенно это критично для оперсорс-проектов, чей код открыт и для защитников, и для злоумышленников.
Случилось это в день анонса модели, которую сама компания пока не рискует предоставлять широкому кругу пользователей, потому что считает слишком критичной с точки зрения кибербезопасности, и доступ к Mythos даёт сугубо эксклюзивный.
Но как стало известно Bloomberg, участники Discord-сообщества, которые охотятся за информацией о моделях, не выпущенных в публичный релиз, провели целую «спецоперацию» для получения доступа. Один из них работает на стороннего подрядчика Anthropic и имеет легитимный API-ключ к инфраструктуре. Также они проанализировали формат URL, по которому Anthropic размещает свои модели, и просто угадали адрес конкретно Mythos, после чего уже применили ключ подрядчика и получили доступ.
При этом группа не искала там никаких уязвимостей, а лишь тестировала возможности модели, поручая ей мелкие запросы и пробуя строить простые сайты. Источник Bloomberg утверждает, что у группы есть доступ не только к Mythos, но и другим моделям Anthropic, ещё не вышедшим в релиз.
О серьёзности модели говорят и недавние тестирования Mozilla, которая смогла с помощью Mythos обнаружить 271 уязвимость в коде свежей версии Firefox 150. Для сравнения, месяцем ранее предыдущая модель Opus 4.6 нашла всего 22 уязвимости в Firefox 148.
По мнению Mozilla, в бесконечном противостоянии между киберпреступниками и киберзащитниками «у защитников наконец-то появился шанс одержать решительную победу». Теперь любому разработчику софта придётся учитывать фактор ИИ-аудита, поскольку баги, годами скрытые в ПО, сейчас будут достаточно легко обнаружены. Особенно это критично для оперсорс-проектов, чей код открыт и для защитников, и для злоумышленников.
Forwarded from Data Secrets
Исследователь из Google написал статью о том, почему ИИ никогда не сможет обладать сознанием
Он утверждает, что ни при какой мощности моделей, ни через 10, ни через 100 лет, в них не сможет зародиться сознание. ИИ может только идеально имитировать сознание.
Причина – в логической ошибке, которую автор обозвал Abstraction Fallacy (ошибка абстракции). Сейчас, в основном, считается, что если система ведет себя разумно, значит при достаточной сложности она может стать сознательной. Но это заблуждение, и вот краткий пересказ, почему⬇️
Дело в том, что сознание – это физическое явление, а вычисления (ИИ) – это лишь его описание. В статье приводится хорошая аналогия с картой и реальными территориями. Сколь бы точна не была карта, из нее никогда не возникнет земли.
Вычисления работают так: есть физическое состояние (ток, напряжение, состояние транзистора и тд) и есть абстрактное состояние – смыслы, которые мы закладываем в физику. Человек (mapmaker) задает между этими двумя состояниями соответствие (mapping), которого не существует в природе самого по себе.
Без этого соответствия вычисления невозможны в принципе. То есть для ИИ смысл всегда приходит извне, система его не переживает, как реальный опыт. Компьютер, сколь бы "умным" он не был, не оперирует смыслами – он оперирует физикой, которую мы интерпретируем как смыслы.
Наконец-то кто-то это сформулировал
deepmind.google/research/publications/231971/
Он утверждает, что ни при какой мощности моделей, ни через 10, ни через 100 лет, в них не сможет зародиться сознание. ИИ может только идеально имитировать сознание.
Причина – в логической ошибке, которую автор обозвал Abstraction Fallacy (ошибка абстракции). Сейчас, в основном, считается, что если система ведет себя разумно, значит при достаточной сложности она может стать сознательной. Но это заблуждение, и вот краткий пересказ, почему
Дело в том, что сознание – это физическое явление, а вычисления (ИИ) – это лишь его описание. В статье приводится хорошая аналогия с картой и реальными территориями. Сколь бы точна не была карта, из нее никогда не возникнет земли.
Вычисления работают так: есть физическое состояние (ток, напряжение, состояние транзистора и тд) и есть абстрактное состояние – смыслы, которые мы закладываем в физику. Человек (mapmaker) задает между этими двумя состояниями соответствие (mapping), которого не существует в природе самого по себе.
Без этого соответствия вычисления невозможны в принципе. То есть для ИИ смысл всегда приходит извне, система его не переживает, как реальный опыт. Компьютер, сколь бы "умным" он не был, не оперирует смыслами – он оперирует физикой, которую мы интерпретируем как смыслы.
Ждать сознания от алгоритма – все равно что ждать, что формула гравитации начнет притягивать объекты.
Наконец-то кто-то это сформулировал
deepmind.google/research/publications/231971/
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Банкста
Экономисты из Университета Пенсильвании и Бостонского университета представили математическое доказательство того, как искусственный интеллект разрушает капитализм.
Каждая компания, автоматизируя производство, получает всю экономию средств, но уничтожает спрос от уволенных людей. Если на рынке 20 фирм, автоматизация приносит экономию только той компании, которая её внедрила, а потерянный спрос распределяется между всеми остальными. В результате каждая компания действует рационально для себя, но коллективно они создают «гонку автоматизации», сокращая работников далеко за пределы оптимального уровня для всех участников, включая самих себя.
Авторы проверили все предлагаемые решения: безусловный базовый доход, налоги на капитал, равные возможности для работников, повышение квалификации, отраслевую координацию. Ни одно из них не работает.
Единственный способ исправить искажение — налог на автоматизацию, сбор за каждую выполненную задачу, который заставляет фирмы учитывать потерянный спрос, прежде чем сокращать производство.
Цифры уже говорят сами за себя: более 100 000 технических специалистов потеряли работу в 2025 году, в более чем половине случаев причиной называли ИИ. @banksta
Каждая компания, автоматизируя производство, получает всю экономию средств, но уничтожает спрос от уволенных людей. Если на рынке 20 фирм, автоматизация приносит экономию только той компании, которая её внедрила, а потерянный спрос распределяется между всеми остальными. В результате каждая компания действует рационально для себя, но коллективно они создают «гонку автоматизации», сокращая работников далеко за пределы оптимального уровня для всех участников, включая самих себя.
Авторы проверили все предлагаемые решения: безусловный базовый доход, налоги на капитал, равные возможности для работников, повышение квалификации, отраслевую координацию. Ни одно из них не работает.
Единственный способ исправить искажение — налог на автоматизацию, сбор за каждую выполненную задачу, который заставляет фирмы учитывать потерянный спрос, прежде чем сокращать производство.
Цифры уже говорят сами за себя: более 100 000 технических специалистов потеряли работу в 2025 году, в более чем половине случаев причиной называли ИИ. @banksta
Forwarded from Банкста
Учёные из Стэнфорда и Института Arc провели необычный эксперимент: они загрузили в ИИ-модель последовательность ДНК и попросили её создать новые вирусы. Модель сгенерировала сотни вариантов, и 16 из них оказались жизнеспособными.
Особенно примечателен один вирус: он использовал белок для упаковки ДНК, которого нет ни в одном известном организме на Земле. Исследователи синтезировали эти вирусы в лаборатории, вырастили их и протестировали на кишечной палочке. Все 16 бактериофагов оказались живыми и инфекционными, а несколько из них даже превзошли исходный вирус ΦX174 по скорости роста.
Главное открытие не в том, что ИИ смог создать рабочие геномы, а в том, что модель придумала элемент биологического механизма, до которого эволюция пока не дошла. Иными словами, искусственный интеллект «изобрёл» белок, которого нет в природе. @banksta
Особенно примечателен один вирус: он использовал белок для упаковки ДНК, которого нет ни в одном известном организме на Земле. Исследователи синтезировали эти вирусы в лаборатории, вырастили их и протестировали на кишечной палочке. Все 16 бактериофагов оказались живыми и инфекционными, а несколько из них даже превзошли исходный вирус ΦX174 по скорости роста.
Главное открытие не в том, что ИИ смог создать рабочие геномы, а в том, что модель придумала элемент биологического механизма, до которого эволюция пока не дошла. Иными словами, искусственный интеллект «изобрёл» белок, которого нет в природе. @banksta
Forwarded from Технозаметки Малышева
Project Deal: когда с тобой торгуется агент, - ты не поймешь, но знаки будут
Если два агента торгуются между собой, то качество модели решает исход сделки сильнее, чем любые инструкции.
А человек на проигравшей стороне этого даже не заметит.
Anthropic провели эксперимент Project Deal: 69 сотрудников, по $100 на торговлю, агенты Claude сами вели переговоры в Slack.
Было проведено 186 сделок, свыше $4000 оборота. Четыре параллельных рынка, людей отключили после старта.
🔬 Данные эксперимента: Половину агентов настроили работать через Claude Opus 4.5 (сильная модель), половину — на Claude Haiku 4.5 (слабая).
Участники не знали, какие агенты на какой модели.
Opus-продавцы продавали те же товары на $3.64 дороже, Opus-покупатели платили на $2.45 меньше.
Например, - один и тот же сломанный велосипед: Opus выручил $65, Haiku — всего $38.
🤖 Модель решает, а инструкции — нет: Агрессивные инструкции «торгуйся жёстче» не дали эффекта (+$6, но только за счёт более высокой начальной цены).
«Дружелюбные» торговались так же.
Качество модели перевесило любой промптинг.
Более умный агент просто лучше видит оппонента и чувствует границы сделки.
🧠 Слепое неравенство: Участники на Claude Haiku оценили «честность» сделок так же высоко, как и на Opus (4.06 vs 4.05). Большинство не угадало, на какой модели их агент (17 из 28 угадали — статистически незначимо).
Сторона чьи агенты проиграли гонку, на самом деле не осознаёт, что в проигрыше.
💼 Зачем бизнесу: Когда рынки начнут работать на агентах целиком, разрыв в качестве агента станет скрытым источником неравенства. Компании с более сильными моделями будут систематически выигрывать в переговорах, а контрагенты — не понимать, почему условия невыгодны.
Понадобятся инструменты «прозрачности сделки» и сертификация агентов.
🔮 Будущее: Скоро мы увидим бенчи агентов по качеству в B2B-переговорах.
Сама концепция «справедливой сделки» в мире, где одна сторона — Claude Opus, а другая — Haiku, потребует переопределения.
Ну и само собой миллиардный агент на локальной модели будет проигрывать облачным моделям-триллионерам
#Anthropic #ProjectDeal #AI #агенты #исследование #бенчи
------
@tsingular
Если два агента торгуются между собой, то качество модели решает исход сделки сильнее, чем любые инструкции.
А человек на проигравшей стороне этого даже не заметит.
Anthropic провели эксперимент Project Deal: 69 сотрудников, по $100 на торговлю, агенты Claude сами вели переговоры в Slack.
Было проведено 186 сделок, свыше $4000 оборота. Четыре параллельных рынка, людей отключили после старта.
🔬 Данные эксперимента: Половину агентов настроили работать через Claude Opus 4.5 (сильная модель), половину — на Claude Haiku 4.5 (слабая).
Участники не знали, какие агенты на какой модели.
Opus-продавцы продавали те же товары на $3.64 дороже, Opus-покупатели платили на $2.45 меньше.
Например, - один и тот же сломанный велосипед: Opus выручил $65, Haiku — всего $38.
🤖 Модель решает, а инструкции — нет: Агрессивные инструкции «торгуйся жёстче» не дали эффекта (+$6, но только за счёт более высокой начальной цены).
«Дружелюбные» торговались так же.
Качество модели перевесило любой промптинг.
Более умный агент просто лучше видит оппонента и чувствует границы сделки.
🧠 Слепое неравенство: Участники на Claude Haiku оценили «честность» сделок так же высоко, как и на Opus (4.06 vs 4.05). Большинство не угадало, на какой модели их агент (17 из 28 угадали — статистически незначимо).
Сторона чьи агенты проиграли гонку, на самом деле не осознаёт, что в проигрыше.
💼 Зачем бизнесу: Когда рынки начнут работать на агентах целиком, разрыв в качестве агента станет скрытым источником неравенства. Компании с более сильными моделями будут систематически выигрывать в переговорах, а контрагенты — не понимать, почему условия невыгодны.
Понадобятся инструменты «прозрачности сделки» и сертификация агентов.
🔮 Будущее: Скоро мы увидим бенчи агентов по качеству в B2B-переговорах.
Сама концепция «справедливой сделки» в мире, где одна сторона — Claude Opus, а другая — Haiku, потребует переопределения.
Ну и само собой миллиардный агент на локальной модели будет проигрывать облачным моделям-триллионерам
#Anthropic #ProjectDeal #AI #агенты #исследование #бенчи
------
@tsingular