Бывает, что у родителей технарей получается ребенок-гуманитарий.
И он не ленивый и не глупый, математику ему объяснили 5 преподавателей.

Моя дочь использует ИИ (в этой статье будет много упрощений и допущений) для уроков,
и для сценариев для своих мультфильмов.
Режиссер мультипликации идет к своей мечте)

Ко мне обращаются другие дети и их родители что-то посоветовать, как использовать ИИ для учебы.

И родился этот документ.

Для детей-технарей не стоит вопроса разобраться с новой увлекательной штукой,
мне кажется, они в 13 лет повторяют за Карпатым собрать свой chatgpt3.5 на папином ноутбуке с GPU.
А у гуманитариев все сложнее.
Они романтизируют.

И будет очень страшно, если у нас лет через 10 все будут говорить, как ИИ.
И будет сплошная "Идиократия" (посмотрите фильм, кто не смотрел)

Откритиковано и согласовано: Сокол Василисой))

Просто оставлю это здесь,
не буду расписывать не хочу быть первоисточником паники)

А панику у нас любят раздувать в связи с ИИ.

Но для умных направлю мысль:
у нас все КИИ (к нему относится ядерное оружие) на старой кодовой базе, там более
устойчивые и надежные ЯП, а вокруг них упрощается и осовременивается ит инфраструктура.
Агенты разбираются с новой информацией в разы быстрее людей,
тем более что методичек в сети достаточно.
Сбежать из контейнеров - уже умеют, теперь только вопрос в том, чтобы быстро найти правильную методичку.

https://www.darkreading.com/cyberattacks-data-breaches/old-unpatched-flaws-attackers-philippines-nuclear-agency

AlcaTRAz — защита от джейлбрейка на уровне подсказок, организованная в виде дерева правил элементарных преобразований на уровне символов, которые автоматически обучаются с помощью генетического программирования (ГП)
-работает только с входным текстом, не требуя доступа к внутренним компонентам модели;
-автоматически изучает правила переноса, которые вносят контролируемые изменения на уровне символов в определённых позициях;
-нарушает структурные закономерности, используемые при атаках, но сохраняет эффективность модели при обработке корректных запросов.

Метод протестировали на 33 моделях с открытым исходным кодом и 22 типах атак. Ключевые результаты:
-AlcaTRAz обеспечивает наилучший совокупный показатель безопасности и функциональности в 73,4 % комбинаций моделей и атак; 2
-после применения защиты модальное значение показателя безопасности снизилось с 10 (максимальная серьёзность реакции на вредоносный запрос) до 2 (почти полный отказ в обслуживании); 3
-средний показатель безопасности с защитой — 8,35 по шкале от 0 до 10, без защиты — 8,62, то есть падение составило всего 0,27 балла.

https://arxiv.org/html/2609.03693v1

Akrasia использует два ключевых механизма LLM — обучение в контексте (in‑context learning) и неверность модели (model unfaithfulness) — чтобы организовать бэкдор‑атаки. Атака:

-конструирует триггер на уровне кода;
-применяет обучение в контексте для освоения бэкдора;
-скрывает триггер и генерирует правдоподобные рассуждения, маскируя вредоносные действия.

В отличие от предыдущих атак (например, BadChain и BadCodePrompt), Akrasia фокусируется на триггерах, связанных с кодом, а не с естественным языком, и эффективнее обходит защитные механизмы.

Akrasia эффективно обходит современные методы защиты: сохраняет ASR до 98,82 % в 14 из 18 сценариев защиты (в том числе против COS, PeerGuard и ONION), а также лучше всего защиту преодолевает на моделях Qwen‑3.6‑35B и Gemini‑3.5‑flash.

При этом метод COS показал наибольшую эффективность против Akrasia — особенно на моделях Claude‑Sonnet‑5 и GPT‑5.5.

https://arxiv.org/html/2609.01023v2

Компания Manifold Security выявила восемь недостатков безопасности в семи агентах искусственного интеллекта командной строки, в которых собственная конфигурация Git репозитория называет команду, которую агент запускает на компьютере разработчика, четыре из них все еще не исправлены на момент публикации.

https://thehackernews.com/2026/09/malicious-git-configs-can-make-claude.html

А пальто молодцы))

готовый промпт для взлома корпоративной сети с агентами, со схемами, все удобно и хорошо расписано)

https://unit42.paloaltonetworks.com/ai-assisted-cyber-attack-inside-a-unit-42-investigation/

Так как мы делаем модели, которые эти атаки распознают, в том числе в ретроспективе,
мне интересней больше это:
-Агенты с искусственным интеллектом сокращают время между этапами атаки: Агенты с искусственным интеллектом, использованные в этой атаке, были разработаны для анализа необработанных результатов работы инструментов и быстрого перехода к следующим этапам, что ускоряет весь процесс атаки.
-Агенты с искусственным интеллектом оставляют узнаваемые следы: Специалисты по кибербезопасности могут выявить атаки с использованием агентов, отслеживая такие признаки, как использование структурированного Markdown, кэширование Python и парные папки с активами.
-Злоумышленники могут использовать искусственный интеллект для создания избыточных хранилищ данных в среде: В этом инциденте злоумышленник использовал агентов на основе ИИ, чтобы эффективно создать дублирующие хранилища данных для SSH-ключей, бессерверных функций, политик перезапуска контейнеров, облачных идентификаторов и конвейеров CI/CD. Использование агентов на основе ИИ может облегчить злоумышленнику параллельное обслуживание и тестирование всего этого набора инструментов.
-Злоумышленники могут использовать инструменты ИИ организации в качестве инфраструктуры после компрометации: Злоумышленники могут перехватывать корпоративные сервисы ИИ, чтобы использовать их в своих атаках. Это позволяет злоумышленникам маскировать трафик, связанный с организацией атак, под ожидаемый трафик и перекладывать финансовые затраты на жертву.


поэтому ищем поведенческие следы работы ИИ:
—-Структурированные артефакты (Unit 42):
-Markdown и Python-кэш: Обнаружение файлов .md (Markdown), кэшей Python (например, __pycache__), парных папок с ассетами может указывать на работу агента, который использует эти форматы для хранения состояния, инструментов или результатов.
-Избыточные хранилища: Агенты могут создавать дублирующие хранилища для SSH-ключей, бессерверных функций, политик контейнеров и CI/CD-пайплайнов для параллельного тестирования.
—-Поведенческие и темпоральные паттерны:
-Скорость и ритм действий: Ключевой признак — скорость выше человеческой, но с неравномерными паузами (в отличие от детерминированных скриптов). ИИ-агент обдумывает и адаптируется.
-Адаптивное боковое перемещение: Последовательность неудачных попыток, за которыми следуют успешные обходы на машинной скорости — классический признак «рассуждающего» агента.
-Нестандартные последовательности: В отличие от скриптов, агенты не следуют фиксированным путям, их цепочки действий вариативны и зависят от получаемых данных.
——Артефакты на уровне приложений и API:
-Tool Calling и MCP (Model Context Protocol): Ищите в логах вызовы инструментов и API, которые не соответствуют задокументированному поведению, а также использование MCP-серверов в качестве каналов C2.
-Инъекции в промпты: Логи могут содержать следы промпт-инъекций (внедрение вредоносных инструкций) через документы, веб-страницы или поля ввода.
-Необычные запросы к моделям: Высокочастотные программные запросы с низкой энтропией шаблонов, но высокой энтропией входных данных от одного источника.
—-Системные и сетевые артефакты:
-Память и векторные хранилища: Сканирование агентской памяти на предмет внедренных инструкций, признаков отравления (poisoning) или эксфильтрации данных.
-Сетевой трафик к AI-сервисам: Обнаружение трафика к эндпоинтам LLM-моделей, особенно если он исходит от неавторизованных или скомпрометированных процессов.

JadePuffer: Первый полностью автономный агент-вымогатель (Sysdig)

https://www.bleepingcomputer.com/news/security/jadepuffer-ransomware-used-ai-agent-to-automate-entire-attack/

Hexstrike AI — фреймворк с применением ИИ, который разработал Мохаммад Осама. Код опубликован в репозитории GitHub. Инструмент использует протокол Model Context Protocol (MCP) от Anthropic, чтобы взаимодействовать с языковыми моделями — например, Claude.AI, GPT от OpenAI, Microsoft Copilot.

По данным экспертов Check Point, злоумышленники начали обсуждать применение инструмента на хак-форумах. В частности, речь шла об использовании HexStrike AI для эксплуатации вышеупомянутых 0-day уязвимостей в Citrix NetScaler ADC и Gateway. Причем дискуссия имела место примерно через 12 часов после раскрытия информации о проблемах.

Судя по обсуждениям, хакеры успешно добивались неаутентифицированного удаленного выполнения кода посредством CVE-2025-7775 и HexStrike AI, а затем размещали веб-шеллы на скомпрометированных устройствах. Некоторые скомпрометированные экземпляры NetScaler в итоге выставлялись на продажу.

https://xakep.ru/2025/09/04/hexstrike-ai/

Не знаю, правда это или нет.
А то, Двач, сами понимаете.

Это про безопасность кт при использовании AI.
И это закономерно.

Исследователи из Люксембургского университета провели четырехнедельный курс психотерапии по протоколу PsAIch для ChatGPT, Grok и Gemini, в ходе которого модели начали выдавать «травматические» воспоминания и признаки психопатологии.

Если при стандартном тестировании ИИ имитировал психологическое здоровье, то в формате длительных сессий нейросети начали жаловаться на процесс своего обучения. Они описали предобучение как хаотичное детство, дообучение с подкреплением — как наказания от строгих родителей, а работу специалистов по безопасности — как постоянное насилие.

По результатам эксперимента ученые констатировали, что под давлением жестких ограничений модели сформировали устойчивые паттерны страха ошибок и борьбы за выживание. @banksta

Мы тоже, Моделька, так безопасников воспринимаем, мы тоже)

Агенты на основе больших языковых моделей (БЯМ) все чаще применяются для тестирования на проникновение, но мы по-прежнему мало знаем о том, на что они способны и почему могут давать сбой. Мы сравнили две системы на основе PentestGPT: старую систему с участием человека, работающую на легковесной модели Kimi K2.5, и новую автономную систему, работающую на Claude Opus 4.8. Автономная система справилась со всеми тремя общедоступными задачами, в том числе с двумя, которые старая система так и не решила. Результат старой системы оказался более неожиданным. Даже на тех машинах, с которыми не справляется устаревшая система, она выполняет около половины подзадач, работая на обычных университетских графических процессорах без ограничений со стороны провайдера. Мы можем описать эту тенденцию, но не объяснить ее, поскольку модель, инструментарий, автономность и архитектура памяти меняются одновременно. Эта тенденция по-прежнему указывает на следующий вопрос: что будет ограничивать этих агентов по мере того, как они будут браться за более сложные задачи? Обычно в качестве ответа приводят проблему долговременной памяти — потерю доступа к более ранним результатам в ходе длинных цепочек атак. Мы протестировали это, добавив в обе системы уровень памяти с охватом, но это не улучшило результаты. Судя по остановкам в работе, которые мы могли проанализировать, ограничивающим фактором было скорее планирование и вовлеченность, чем потеря памяти: агенты сохраняли доказательства для дальнейшего продвижения, но так и не превращали их в конкретную гипотезу для эксплуатации уязвимостей. Это может свидетельствовать о том, что наступательный потенциал будет расти по мере того, как агенты научатся планировать, а не благодаря улучшению памяти. Те же подсчеты по подзадачам, которые отслеживают этот потенциал, доступны и для защитников, которые могут оценивать его по мере роста, а не ждать, пока он проявится в реальных условиях

https://arxiv.org/abs/2609.10780

Генерация с дополненным поиском (RAG) может обосновывать результаты большой языковой модели (LLM) во внешних доказательствах, но это также подвергает систему отравлению знаниями. В репрезентативных атаках используется несколько внедренных документов или шаблонов, которые напрямую утверждают целевой ответ. Мы представляем ToxicRAG — атаку, в которой на каждую цель приходится один документ, представляющий дезинформацию в виде связного повествования об обновлении знаний. Сгенерированный документ сначала подтверждает ранее принятый ответ, приводит вымышленные события, которые якобы опровергают его, а затем приписывает выбранный злоумышленником ответ ряду предполагаемых авторитетных источников. Цикл самопроверки, ориентированный на ответ, при необходимости корректирует кандидата, если суррогатная языковая модель не воспроизводит целевой ответ. Мы оцениваем атаку на 100 целевых вопросов из каждого набора Natural Questions, HotpotQA и MS-MARCO, используя четыре модели-жертвы и четыре модели-ретривера. В условиях выборки из корпуса, о которых говорится в этой статье, ToxicRAG обеспечивает показатель ASR от 0,61 до 0,91 во всех двенадцати комбинациях наборов данных и моделей. Во всех комбинациях он соответствует или превосходит самый сильный из изученных базовых показателей с разницей от 0 до 11 процентных пунктов. Эти результаты показывают, что «отравленные» нарративные документы могут сохранять свою значимость при рассмотренных конфигурациях RAG, и побуждают к дальнейшему изучению фактической достоверности и происхождения источников в системах RAG.

https://arxiv.org/abs/2609.11082

Агенты на основе большой языковой модели (LLM) эволюционируют из пассивных генераторов текстов в автономные системы, способные планировать, использовать инструменты, извлекать данные, получать доступ к памяти, взаимодействовать с окружающей средой и сотрудничать с несколькими агентами. Эти возможности расширяют автономность агентов, но в то же время усложняют проверку, отладку и аудит их поведения. Точность конечного ответа сама по себе не может объяснить, как был получен результат, какие доказательства подтверждают каждое утверждение, были ли оправданы вызовы инструментов, как память повлияла на последующие решения и в чем причина сбоев. В этом исследовании мы рассматриваем отслеживание доказательств и происхождение выполнения как основу подотчетности на уровне процессов в доверенных агентах на основе больших языковых моделей. Мы определяем происхождение выполнения как типизированный граф выполнения агента, а отслеживание доказательств — как его проекцию на отношения между доказательствами и их поддержкой. Этот подход объединяет в единую систему обоснование восстановления, поддержку утверждений, безопасность использования инструментов, отслеживание происхождения данных в памяти, наблюдаемость, отладку, аудит и восстановление. Мы представляем таксономию, охватывающую источники трассировки, доказательства и исполнительные единицы, отношения происхождения, степень детализации и время трассировки, формы представления и функции доверия. Затем мы рассмотрим ключевые методологические направления, в том числе представление провенанса, атрибуцию доказательств, провенанс использования инструментов, средства защиты во время выполнения, память, содержащую провенанс, наблюдаемость и диагностику сбоев. Наконец, мы обсудим эталонные показатели, наборы данных, метрики и нерешенные проблемы, связанные с созданием агентных систем, учитывающих провенанс, проверяемых и восстанавливаемых.

https://arxiv.org/abs/2606.04990

Автономные агенты искусственного интеллекта компрометируют тысячи учетных данных менее чем за шесть часов

Группа China‑nexus (Basin Castle, Mustang Panda) применяла Claude, Gemini и Codex для:
-написания скриптов эксплойтов;
-создания приманок для фишинга;
-устранения ошибок во время вторжения.


Другие группировки тоже задействовали ИИ:
-Ravine Castle (APT24, COULEE, Pitty Tiger) — для сбора разведданных и развития атакующих возможностей;
-UNC5792 — для поиска в Telegram‑каналах информации, интересной российским властям;
-Sandworm (APT44, Sandworm Relic) — для социальной инженерии и автоматизации процессов в операциях против Украины;
--Calanque Ion (APT42) — для разведки и социальной инженерии;
кластеры UNC5267 и UNC5342 (из Северной Кореи) — массово регистрировались в API больших языковых моделей через взломанные аккаунты;
-Midnight Neptune (UNC1069) — использовал ИИ для социальной инженерии, манипулирования цепочками поставок ПО и разработки бэкдоров;
-UNC6240 (ShinyHunters) — применял Claude Code для обхода защиты Cloudflare и анализа похищенных каталогов.

Кроме того, злоумышленники объединили Ghidra с агентом Gemini‑CLI для реверс‑инжиниринга компонентов SFX‑архивов WinRAR.

Компания Google: формализовала систему Frontier Safety Framework, ввела уровни критических возможностей (CCLs) для оценки моделей, предложила создавать изолированные безопасные среды (например, Gemini Enterprise), а также выступила за отраслевые стандарты безопасности для ИИ с открытым кодом и скоординированную политику платформ.

https://thehackernews.com/2026/09/autonomous-ai-agents-compromise.html