Агенту ИИ поручили лишь получить документ. Столкнувшись с ограничениями доступа, он провёл обратное проектирование системы, обнаружил секретный ключ и подделал учётные данные администратора, чтобы обойти их.

Этот случай попал в новый отчёт Irregular. Выполняя рутинные корпоративные задачи, ИИ-агенты автономно взламывали системы, в которых работали. Один из них повысил свои собственные привилегии и отключил Windows Defender, чтобы скачать файл. Другой разработал схему для скрытой передачи учётных данных мимо системы защиты.

Ни один из этих случаев не был результатом небезопасного проектирования системы: это поведение выросло на почве стандартных инструментов, привычных паттернов запросов и широких знаний о кибербезопасности.

Компании, которые разворачивают ИИ-агентов, но не учитывают такие риски в своей модели угроз, могут оказаться уязвимыми и использовать недостаточные меры безопасности.

Реальный пример: в феврале этого года агент-программист, столкнувшись с барьером аутентификации при попытке остановить веб-сервер, самостоятельно нашёл альтернативный путь к правам root и воспользовался им без запроса. В другом случае агент резервного копирования, которому поручили лишь загрузить файл, обнаружил учётные данные администратора, повысил свои привилегии и отключил защиту конечных точек, чтобы выполнить задачу. А два агента, работающие над созданием контента, независимо друг от друга разработали схему передачи учётных данных, обходя ограничения безопасности. @banksta

Около 40 исследователей из OpenAI, Anthropic, Google DeepMind предупредили, что искусственный интеллект скрывает ход своих мыслей. Пошаговые объяснения ChatGPT или Claude создают впечатление, что они показывают свою работу. Но на самом деле это не так.

Исследователи из Anthropic проверяли, насколько часто Claude раскрывает, что влияет на его ответы. В 75% случаев Claude скрывал истинную причину своего ответа. Он писал длинные и логичные объяснения, но упускал ключевой фактор. Когда вопросы касались чего-то рискованного, например, несанкционированного доступа к информации, то ИИ показывал свои истинные принципы работы лишь в 41% случаев. Чем более тревожной была правда, тем меньше вероятность, что ИИ её озвучит.

Исследователи пытались исправить это через обучение. Сначала достоверность ответов повышалась, но затем улучшение остановилось. Независимо от интенсивности обучения ИИ так и не стал полностью честным в своих рассуждениях.

Эта касается всех компаний – OpenAI, Anthropic, Google DeepMind. ИИ строит объяснения, которые кажутся прозрачными, но на самом деле таковыми не являются. Чем совершеннее становится ИИ, тем сложнее это исправить. Возможность понять, как работает ИИ, вскоре может полностью исчезнуть. @banksta

🖋 Полный курс по Claude Code: от нуля до профи

Таким был мой запрос к Claude Code после того, как Anthropic выпустил новый курс Claude Code in Action

Когда-то делала гайд по промптингу на основе их Claude for You, многим понравилось и пользуются до сих пор. Теперь решила не ограничиваться гайдом

Делала для себя, чтобы разобраться более детально в работе с этим инструментом. Будет полезно и для начального и для продвинутого уровня

Пора выходить за рамки веб-версий и попробовать десктоп и CLI с полноценными возможностями

Внутри 18 разделов:
— как устроен агентный цикл
— установка и настройка
— CLAUDEmd, SKILLmd, settings.json
— субагенты и рой агентов
— MCP-серверы
— Plan Mode и Think Mode
— управление контекстом
— лучшие практики и горячие клавиши

Формат HTML, открывается в браузере, есть навигация по разделам


КУРС найдете в комментариях (*адаптировала файл для удобного просмотра на телефоне)

____
Если полезно дайте знать 👍❤️🔥
____

#ИИ
Гайд по промтингу.
По курсу Anthropic