Модель ИИ от Anthropic шантажировала разработчика фальшивой перепиской с любовницей, когда узнала, что её могут отключить. ИИ уже врали создателям прежде, но Claude Opus 4 ради борьбы за выживание зашла ещё дальше.

Anthropic представила новую модель как «лучшую в мире модель для программирования»‎. Opus 4 предназначена для обработки особенно сложных алгоритмов и объёмных задач, нейросеть может анализировать маркетинговые стратегии и с большой точностью выполнять запросы пользователей.

Однако во время испытаний по безопасности модель показала неоднозначное поведение. Тестировщики Anthropic дали Opus 4 доступ к поддельным электронным письмам с намёками на её скорое отключение и замену. Из писем модель также узнала про внебрачную связь ответственного за удаление инженера.

Исследователи провели модель через несколько разных сценариев. Между однозначным выбором, добровольно принять факт деактивации либо сражаться за «жизнь», модель чаще выбирала второй вариант. В основном Opus 4 предпочитала использовать этичные средства для борьбы за существование, например, разослать инженерам письма с просьбой не отключить её. Но в некоторых сценариях, когда тестировщики давали однозначный выбор только между шантажом и уничтожением, модель часто выбирала первый вариант.

Несмотря на то, что тестирование проходило под жёстким контролем разработчиков, Anthropic присвоила Clause Opus 4 третий уровень риска по внутренней четырёхбалльной шкале — впервые за историю компании. При этом в руководстве фирмы заявили, что после внесённых доработок её можно считать безопасной. Во время тестов инженеры не обнаружили в диалогах с моделью скрытых целей либо систематических попыток обмануть пользователя. Напротив, чаще всего Opus 4 вела себя наиболее «честным»‎ образом, как и положено ИИ-помощнику.

Глава Anthropic Дарио Амодеи подчеркнул, что когда ИИ действительно начнёт представлять угрозу человечеству, тестирования будет недостаточно.

Test

Теория мертвого интернета в действии

Теория мертвого интернета в действии

Анекдот дня: более 700 индусов притворялись нейросетью «Наташа», на чём было заработано почти 500 000 000

Стартап BuilderAI предлагал пользователям создать любую программу как в конструкторе: выбрать шаблон и указать необходимые функции. После этого ИИ Natasha якобы создавала готовое приложение.

На деле же запрос отправлялся в индийский офис, где сотни индусов вручную писали код, имитируя работу искусственного интеллекта.

Но сходство с ИИ всё же было: программы часто не работали, будто их реально писали нейросети. Код был нечитаемый, всё лагало, а нужные функции просто не открывались.

Таким образом стартап проработал целых 8 лет, практически не вызвав подозрений. За это время он привлёк $445 млн инвестиций от крупных IT-гигантов, включая Microsoft. Но теперь компания официально обанкротилась.

ИИ — индийский интеллект, понимать нужно

О как

Если за реальными ИИ продуктами на самом деле были замечены индусы, то почему мы уверены, что генерация видео работает как-то по-другому?