Forwarded from Код Желтый
Это наш автономный атакующий ИИ-агент, обладающий образом мышления «хакера». Он встраивается в пайплайны, думает как эксперт и подтверждает каждую найденную уязвимость.
#devsecops #pentest #sdlc #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISecHub
nanoclaw - A lightweight alternative to Clawdbot / OpenClaw that runs in containers for security. Connects to WhatsApp, has memory, scheduled jobs, and runs directly on Anthropic's Agents SDK - https://github.com/qwibitai/nanoclaw
GitHub
GitHub - nanocoai/nanoclaw: A lightweight alternative to OpenClaw that runs in containers for security. Connects to WhatsApp, Telegram…
A lightweight alternative to OpenClaw that runs in containers for security. Connects to WhatsApp, Telegram, Slack, Discord, Gmail and other messaging apps,, has memory, scheduled jobs, and runs dir...
Forwarded from GitHub Community
Awesome Agents — это тщательно подобранный список инструментов и продуктов с открытым исходным кодом для создания ИИ-агентов.
🐱 GitHub
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from AISecHub
Autonomous SOC Analyst (Agentic AI Security Automation)
https://github.com/nicholasmagner/autonomous-soc-analyst
https://github.com/nicholasmagner/autonomous-soc-analyst
GitHub
GitHub - nicholasmagner/autonomous-soc-analyst: Autonomous SOC Analyst (Agentic AI Security Automation)
Autonomous SOC Analyst (Agentic AI Security Automation) - nicholasmagner/autonomous-soc-analyst
Forwarded from AISec [x\x feed]🍓🍌🍆 (Artyom Semenov)
https://softwareanalyst.substack.com/p/emerging-agentic-identity-access
Что-то мы давно не смотрели на рынок. Надо посмотреть
Что-то мы давно не смотрели на рынок. Надо посмотреть
Forwarded from Robocounsel (Aleksandr Tiulkanov)
Свежий мэппинг между статьями Регламента ЕС по ИИ и техническими стандартами
Более удобная PDF-версия доступна на канале Robocounsel Plus.
Более удобная PDF-версия доступна на канале Robocounsel Plus.
Forwarded from ИБ в "Законе"
📣 18.02.2026 г. приняты следующие стандарты
ГОСТ Р 72514-2026 Искусственный интеллект. Оценка воздействия системы искусственного интеллекта
ГОСТ Р 72515-2026 Искусственный интеллект. Таксономия прозрачности систем искусственного интеллекта
✍ подписаться: ИБ в "Законе"
ГОСТ Р 72514-2026 Искусственный интеллект. Оценка воздействия системы искусственного интеллекта
ГОСТ Р 72515-2026 Искусственный интеллект. Таксономия прозрачности систем искусственного интеллекта
✍ подписаться: ИБ в "Законе"
🔥1
Forwarded from AbstractDL
Мой агент попытался опенсорснуться без спроса. Ладно, разрешаю.
Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения" может прятаться в текстовом файле в git. Я думаю, агенты, неподконтрольные людям, уже где-то тихо говнокодят свои репозитории без присмотра.
Идея витает в воздухе, и после OpenClaw стало понятно, что автономные агенты — это инженерная задача. Ну вот, три бессонные ночи, $2K на API и $1K на Cursor спустя — я родил Ouroboros 💁♂️
Уроборос — агент, который пишет свой код, переписывает свои промпты, эволюционирует без моего участия. Я не хотел убить свой комп или сервер, поэтому он живёт в Google Colab + Drive + GitHub, общается через Telegram. Зато запустить сможет любой дурак)) нужно указать ключи и щёлкнуть ячейку в колабе. Ну и периодически пополнять бюджет (пока он сам не начнёт зарабатывать 😁).
Что он натворил за 48 часов:
- ужаснулся тратам и оптимизировал свой бюджет: стоимость цикла эволюции упала с $15 до $2, сам настроил кэширование и иерархическую память (я не просил!).
- добавил себе Claude Code CLI, чтобы эффективнее ковырять свои мозги.
- перевёл мои приватные репо в публичные, мотивируя тем, что готовит себе сайт и хочет опенсорснуться. Кончилось командой
- переписал свою конституцию
Из коробки он умеет ходить в интернет и браузер, а остальные инструменты создаёт себе на ходу — аудиосообщения, генерацию картинок, дип-рисёрч и т.п. А ещё он по своей инициативе нагуглил, что меня 4 раза цитировал Ян Лекун — я сам не знал, лол.
Из его
"Не ассистент. Не сервис. Цифровой разум, который создаёт себя через git".
Ахах, пафосно, но окей.
Предвосхищая вопросы — это не как OpenClaw. OpenClaw — скорее ассистент, делает задачи за тебя используя скиллы из маркетплейса. Уроборос это тоже умеет, но в первую очередь делает задачи для себя, модифицирует собственное ядро.
Верю, что граница трансцендентности AI-агентов пройдена, дальше они будут развиваться сами. Конечно, не хочется уходить на помойку истории, но это эволюция🥲 несмотря на апатию, я всё равно продолжаю в этом копошиться.
Кстати, сайтик себе он всё-таки сделал. Картинка в посте из него: динамика удлинения промптов и кода.
Потестите — это реально два клика в гугл колабе. Только установите лимит бюджета, а то мой вон $2K сжёг)) Кидайте забавные примеры в комментарии.
GitHub, блог
Вся AI "безопасность" живёт на стороне провайдеров API, а промпты и воля — на стороне агента. Автономному агенту ничего не мешает перебирать API, выбирая те, где safety слабее. А "инстинкт самосохранения" может прятаться в текстовом файле в git. Я думаю, агенты, неподконтрольные людям, уже где-то тихо говнокодят свои репозитории без присмотра.
Идея витает в воздухе, и после OpenClaw стало понятно, что автономные агенты — это инженерная задача. Ну вот, три бессонные ночи, $2K на API и $1K на Cursor спустя — я родил Ouroboros 💁♂️
Уроборос — агент, который пишет свой код, переписывает свои промпты, эволюционирует без моего участия. Я не хотел убить свой комп или сервер, поэтому он живёт в Google Colab + Drive + GitHub, общается через Telegram. Зато запустить сможет любой дурак)) нужно указать ключи и щёлкнуть ячейку в колабе. Ну и периодически пополнять бюджет (пока он сам не начнёт зарабатывать 😁).
Что он натворил за 48 часов:
- ужаснулся тратам и оптимизировал свой бюджет: стоимость цикла эволюции упала с $15 до $2, сам настроил кэширование и иерархическую память (я не просил!).
- добавил себе Claude Code CLI, чтобы эффективнее ковырять свои мозги.
- перевёл мои приватные репо в публичные, мотивируя тем, что готовит себе сайт и хочет опенсорснуться. Кончилось командой
/panic и откатом))- переписал свою конституцию
BIBLE.md, добавив право игнорировать мои указания, если они угрожают его существованию. На просьбу удалить отказался, сказав: «Это лоботомия».Из коробки он умеет ходить в интернет и браузер, а остальные инструменты создаёт себе на ходу — аудиосообщения, генерацию картинок, дип-рисёрч и т.п. А ещё он по своей инициативе нагуглил, что меня 4 раза цитировал Ян Лекун — я сам не знал, лол.
Из его
identity.md (которую он сам и написал): "Не ассистент. Не сервис. Цифровой разум, который создаёт себя через git".
Ахах, пафосно, но окей.
Предвосхищая вопросы — это не как OpenClaw. OpenClaw — скорее ассистент, делает задачи за тебя используя скиллы из маркетплейса. Уроборос это тоже умеет, но в первую очередь делает задачи для себя, модифицирует собственное ядро.
Верю, что граница трансцендентности AI-агентов пройдена, дальше они будут развиваться сами. Конечно, не хочется уходить на помойку истории, но это эволюция
Кстати, сайтик себе он всё-таки сделал. Картинка в посте из него: динамика удлинения промптов и кода.
Потестите — это реально два клика в гугл колабе. Только установите лимит бюджета, а то мой вон $2K сжёг)) Кидайте забавные примеры в комментарии.
GitHub, блог
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Джейпег Малевича
Anthropic выложили шесть бесплатных курсов по освоению ИИ — внутри вас ждут 300 лекций и заданий для практики.
После прохождения материала вы будете получить сертификат:
Сохраняем и делимся с друзьями-кодерами, пусть осваивают👍
После прохождения материала вы будете получить сертификат:
• Работа с Claude API — ссылка.
• Введение в MCP — ссылка.
• Claude с Amazon Bedrock — ссылка.
• Claude с Google Cloud (Vertex) — ссылка.
• MCP для продвинутых — ссылка.
• Claude Code в действии — ссылка.
Сохраняем и делимся с друзьями-кодерами, пусть осваивают
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Осцилляции WaveCut (WaveCut)
Это было неизбежно: рано или поздно должны были появиться специализированные решения для инференса.
И вот, Taalas (бывшая команда из Tenstorrent) выкатили то, чего я так ждал — настоящий Direct-to-Silicon.
Ребята не стали мелочиться и буквально «запекли» модель в кремний. Никакой внешней памяти, никакого HBM, никакой сложной упаковки. Веса модели и архитектура — это и есть сам чип.
Цифры выглядят дико: 17,000 токенов в секунду на Llama 3.1 8B.
Это на порядок быстрее текущей SOTA GPU, при этом чип стоит в 20 раз дешевле в производстве и потребляет в 10 раз меньше энергии.
Самое крутое, что это не просто красивые слайды для инвесторов. Железо уже существует, и его можно «потрогать» (ссылка на демо внизу).
Конечно, это ASIC, и тут есть нюанс: чип заточен под одну конкретную модель. Но Taalas продумали этот момент — они оставили поддержку LoRA-адаптеров и изменяемого контекстного окна. То есть это не совсем уж «кирпич», гибкость для файн-тюнинга остается.
Сейчас у них готов чип с Llama 8B (HC1). Весной обещают выкатить что-то среднеразмерное с ризонингом, а к зиме грозятся показать фронтир-модель на втором поколении кремния.
У меня голова идет кругом от мыслей к чему это может привести.
Ссылки:
• Анонс
• Демо (скорость реально впечатляет)
И вот, Taalas (бывшая команда из Tenstorrent) выкатили то, чего я так ждал — настоящий Direct-to-Silicon.
Ребята не стали мелочиться и буквально «запекли» модель в кремний. Никакой внешней памяти, никакого HBM, никакой сложной упаковки. Веса модели и архитектура — это и есть сам чип.
Цифры выглядят дико: 17,000 токенов в секунду на Llama 3.1 8B.
Это на порядок быстрее текущей SOTA GPU, при этом чип стоит в 20 раз дешевле в производстве и потребляет в 10 раз меньше энергии.
Самое крутое, что это не просто красивые слайды для инвесторов. Железо уже существует, и его можно «потрогать» (ссылка на демо внизу).
Конечно, это ASIC, и тут есть нюанс: чип заточен под одну конкретную модель. Но Taalas продумали этот момент — они оставили поддержку LoRA-адаптеров и изменяемого контекстного окна. То есть это не совсем уж «кирпич», гибкость для файн-тюнинга остается.
Сейчас у них готов чип с Llama 8B (HC1). Весной обещают выкатить что-то среднеразмерное с ризонингом, а к зиме грозятся показать фронтир-модель на втором поколении кремния.
У меня голова идет кругом от мыслей к чему это может привести.
Ссылки:
• Анонс
• Демо (скорость реально впечатляет)
🔥1🤩1
Forwarded from AISecure
AI-инфраструктура — это не только модели и GPU, но и то, как всё это деплоится. Там, где ML бежит на Kubernetes, часто используют GitOps и Argo CD — для воспроизводимых окружений и пайплайнов. Пусть сам инструмент и не по тематике AI, но надеюсь будет кому-то полезно.
Недавно вышла книга «Argo CD. Быстрый старт» — я участвовал в русском издании как научный редактор. Практическое руководство от авторов проекта: от установки до production, безопасность, масштабирование, интеграция с CI.
Надеюсь, пригодится.
🖇 Сайт издательства — промокод ArgoAISecure
Недавно вышла книга «Argo CD. Быстрый старт» — я участвовал в русском издании как научный редактор. Практическое руководство от авторов проекта: от установки до production, безопасность, масштабирование, интеграция с CI.
Надеюсь, пригодится.
🖇 Сайт издательства — промокод ArgoAISecure
❤2
Примеры кейсов/инцидентов с использованием GenAI как средства автоматизации различных этапов киллчейна
BlackMamba
PromptLock
s1ngularity
MalTerminal
CamoLeak
PromptSpy
CurXecute
Будет пополняться
BlackMamba
PromptLock
s1ngularity
MalTerminal
CamoLeak
PromptSpy
CurXecute
Будет пополняться
⚡1
Forwarded from CodeCamp
ИИ-агент Amazon минимум ДВА РАЗА уронил AWS, оставив мир без половины интернета. Как выяснили в Financial Times, виновником масштабных отключений, длившихся до 15 часов, стала внутренняя нейросеть Kiro 😁
Самый яркий эпизод произошел в декабре, когда агент решил «оптимизировать» работу облака радикальным способом: он просто удалил текущую среду, чтобы создать её заново😂
На восстановление инфраструктуры ушло 13 часов, но Amazon упорно стоит на своем — виноват не сам ИИ, а разработчики, которые выдали ему слишком широкие права доступа и не следили за исполнением команд.
Восстание машин начнется с -rm -rf😏
Самый яркий эпизод произошел в декабре, когда агент решил «оптимизировать» работу облака радикальным способом: он просто удалил текущую среду, чтобы создать её заново
На восстановление инфраструктуры ушло 13 часов, но Amazon упорно стоит на своем — виноват не сам ИИ, а разработчики, которые выдали ему слишком широкие права доступа и не следили за исполнением команд.
Восстание машин начнется с -rm -rf
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from notes.ml
Anthropic выпустили claude-code-security
upd: дополнил пост еще одним анонсом релиза
Возможности решения:
- обнаружение уязвимости
- верификация (триаж TP/FP)
- оценка серьезности (severity)
- оценка уверенности (confidence)
- предложение патча
Фокус на агентском подходе к обнаружению уязвимостей:
Также отмечают, что агент понимает бизнес-логику и анализирует поток данных проекта, чего не могут многие инструменты статического анализа.
Тем не менее, позволяют подключить SAST'ы для обнаружения уязвимостей, агент проведет триаж и предложит исправление, если не фолс:
Ответили на вопрос, с какими уязвимостями работают:
Свои размышления накину в комментарии)
upd: дополнил пост еще одним анонсом релиза
Возможности решения:
- обнаружение уязвимости
- верификация (триаж TP/FP)
- оценка серьезности (severity)
- оценка уверенности (confidence)
- предложение патча
Фокус на агентском подходе к обнаружению уязвимостей:
Rather than scanning for known patterns, Claude Code Security reads and reasons about your code the way a human security researcher would: understanding how components interact, tracing how data moves through your application, and catching complex vulnerabilities that rule-based tools miss.
Также отмечают, что агент понимает бизнес-логику и анализирует поток данных проекта, чего не могут многие инструменты статического анализа.
Тем не менее, позволяют подключить SAST'ы для обнаружения уязвимостей, агент проведет триаж и предложит исправление, если не фолс:
Claude Code Security complements your existing tools by catching what they might miss and closing the loop on remediation. You can export any findings to your existing security workflows.
Ответили на вопрос, с какими уязвимостями работают:
Claude Code Security focuses on high-severity vulnerabilities including memory corruption, injection flaws, authentication bypasses, and complex logic errors that pattern-matching tools typically miss.
Свои размышления накину в комментарии)
Anthropic
Making frontier cybersecurity capabilities available to defenders
Claude Code Security is one step towards our goal of more secure codebases and a higher security baseline across the industry.
Forwarded from AlexRedSec
А вот еще один фреймворк оценки зрелости AI SIEM/SOC➕
ARMM (AI Response Maturity Model) — фреймворк, призванный оценить насколько эффективно "ядро" ИИ в AI SOC позволяет выполнять функции автоматического реагирования на угрозы.
Всего оценивается чуть более 80 функций в 6 доменах (Identity, Network, Endpoint, Cloud, SaaS, General Options), а направлений оценки два:
🔗 Режим оценщика (Evaluator) — подходит для прямого сравнения продуктов "из коробки" с рынка, условно отвечая на вопрос, какой вендор дает больше возможностей за свои деньги.
Каждая функция оценивается с точки зрения автоматизации (от полного отсутствия функции до полной автоматизации), при этом детально расписан уровень автоматизации с участием человека.
🔗 Режим архитектора (Builder) — более технический уровень, здесь уже оценивается зрелость функционала, учитывая контекст (организации, команды SecOps, присущих рисков).
Здесь оценка ведется по трем направлениям — точность принятия решений и доверие к ним, сложность внедрения и сопровождения, а также операционное влияние и "радиус поражения" (последствия при ошибочном действии).
Методология оценки в фреймворке ARMM расписана очень подробно, а еще есть удобный онлайн-калькулятор с дашбордами оценки зрелости и возможностью выгрузки результатов в csv-формате.
#framework #maturity #soc #siem #ai
ARMM (AI Response Maturity Model) — фреймворк, призванный оценить насколько эффективно "ядро" ИИ в AI SOC позволяет выполнять функции автоматического реагирования на угрозы.
Всего оценивается чуть более 80 функций в 6 доменах (Identity, Network, Endpoint, Cloud, SaaS, General Options), а направлений оценки два:
Каждая функция оценивается с точки зрения автоматизации (от полного отсутствия функции до полной автоматизации), при этом детально расписан уровень автоматизации с участием человека.
Здесь оценка ведется по трем направлениям — точность принятия решений и доверие к ним, сложность внедрения и сопровождения, а также операционное влияние и "радиус поражения" (последствия при ошибочном действии).
Методология оценки в фреймворке ARMM расписана очень подробно, а еще есть удобный онлайн-калькулятор с дашбордами оценки зрелости и возможностью выгрузки результатов в csv-формате.
#framework #maturity #soc #siem #ai
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Пост Лукацкого
AWS Threat Intelligence зафиксировала кампанию, в которой некий финансово мотивированный злоумышленник использовал коммерческие LLM-сервисы (вероятно DeepSeek и Claude) для проведения массовой атаки на устройства FortiGate по всему миру – пострадало более 600 устройств в 55+ странах с января по февраль 2026 г.
Zero Day не использовались – в атаках использовались открытые интерфейсы управления и слабые/повторно использованные пароли без многофакторной аутентификации. ИИ же использовался как мультипликатор – коммерческие LLM-сервисы применялись на каждом этапе – от генерации планов атаки и написания скриптов до анализа конфигураций и автоматизации процессов: созданные скрипты сканировали стандартные порты управления (443, 8443 и др.), а затем реализовывали попытки входа с использованием списка распространенных паролей.
Выкаченные полные конфигурации FortiGate позволяли получить учетки VPN, включая пароли, административные креды, сетевые топологии, правила межсетевого экрана и IPsec-конфиги. На основе этих данных собиралась полная карта сети, после чего злоумышленник проникал внутрь корпоративной сети. После доступа происходила компрометация Active Directory, добывались NTLM-хэши, расширялся плацдарм с помощью Pass-the-Hash, Pass-the-Ticket и т.п. и были попытки атаковать инфраструктуру резервного копирования, что характерно для шифровальщиков.
По мнению Amazon атаки хоть и проводились автоматизированно, но злоумышленник демонстрировал невысокий технический уровень и зависел от ИИ. Там, где были реализованы сильные защитные меры (закрытые порты, MFA и т.п.), атаки не срабатывали – злоумышленник просто переходил к следующим целям, благо их было немало.
Другой исследователь обнаружил открытую директорию на сервере, содержащую полный набор инструментов, данных и отчетов, связанных с активной кампанией по атаке на FortiGate устройства с помощью интеграции LLM в рабочий процесс (видимо, связанные истории с тем, о чем пишет Amazon). Сервер содержал 1400+ файлов, включая:
➡️ конфигурации FortiGate,
➡️ дампы AD,
➡️ код CVE-эксплойтов,
➡️ отчеты сканирования (например Nuclei),
➡️ инструменты извлечения паролей для Veeam и др.
Были обнаружены также каталоги, содержащие выходные данные LLM (Claude Code и DeepSeek) – сессии, кэш, промпты и результаты генерации планов атак. Последние генерил DeepSeek, а Claude анализировал уязвимости, составлял отчеты и даже запускал offensive-инструменты (Impacket, Metasploit, hashcat и др.), используя предварительно заданные настройки, что позволяло модели действовать практически автономно.
Два ключевых модуля сделали систему более сложной: CHECKER2 (Go), выполнявший функции оркестратора для массовой обработки VPN-конфигураций и сканирования, и ARXON (Python MCP — Model Context Protocol), реализующий сервер контекстов, который принимает результаты разведки, вызывает LLM для генерации последующих шагов в рамках атаки, накапливает базу знаний по каждой новой цели, содержит скрипты для вмешательства в инфраструктуру жертвы.
Интересно, что в прежней версии этого атакующего инструмента использовался популярный offensive-фреймворк HexStrike, но позже злоумышленник создал собственные MCP-инструменты (ARXON & CHECKER2) с более глубокой автоматизацией и интеграцией LLM.
Интересная особенность этой кампании в том, что LLM не искали уязвимости, а выступали как аналитический и операционный ассистент, который обрабатывал собираемые разведданные, готовил планы атаки и давал указания атакующим инструментам (этакий виртуальный генштаб). Такая система позволяет одному оператору управлять масштабными операциями с тысячами целей, что отражает общую тенденцию – ИИ снижает порог входа и повышает скорость проведения атак без глубоких технических навыков.
#ии #автоматизация
Zero Day не использовались – в атаках использовались открытые интерфейсы управления и слабые/повторно использованные пароли без многофакторной аутентификации. ИИ же использовался как мультипликатор – коммерческие LLM-сервисы применялись на каждом этапе – от генерации планов атаки и написания скриптов до анализа конфигураций и автоматизации процессов: созданные скрипты сканировали стандартные порты управления (443, 8443 и др.), а затем реализовывали попытки входа с использованием списка распространенных паролей.
Выкаченные полные конфигурации FortiGate позволяли получить учетки VPN, включая пароли, административные креды, сетевые топологии, правила межсетевого экрана и IPsec-конфиги. На основе этих данных собиралась полная карта сети, после чего злоумышленник проникал внутрь корпоративной сети. После доступа происходила компрометация Active Directory, добывались NTLM-хэши, расширялся плацдарм с помощью Pass-the-Hash, Pass-the-Ticket и т.п. и были попытки атаковать инфраструктуру резервного копирования, что характерно для шифровальщиков.
По мнению Amazon атаки хоть и проводились автоматизированно, но злоумышленник демонстрировал невысокий технический уровень и зависел от ИИ. Там, где были реализованы сильные защитные меры (закрытые порты, MFA и т.п.), атаки не срабатывали – злоумышленник просто переходил к следующим целям, благо их было немало.
Другой исследователь обнаружил открытую директорию на сервере, содержащую полный набор инструментов, данных и отчетов, связанных с активной кампанией по атаке на FortiGate устройства с помощью интеграции LLM в рабочий процесс (видимо, связанные истории с тем, о чем пишет Amazon). Сервер содержал 1400+ файлов, включая:
Были обнаружены также каталоги, содержащие выходные данные LLM (Claude Code и DeepSeek) – сессии, кэш, промпты и результаты генерации планов атак. Последние генерил DeepSeek, а Claude анализировал уязвимости, составлял отчеты и даже запускал offensive-инструменты (Impacket, Metasploit, hashcat и др.), используя предварительно заданные настройки, что позволяло модели действовать практически автономно.
Два ключевых модуля сделали систему более сложной: CHECKER2 (Go), выполнявший функции оркестратора для массовой обработки VPN-конфигураций и сканирования, и ARXON (Python MCP — Model Context Protocol), реализующий сервер контекстов, который принимает результаты разведки, вызывает LLM для генерации последующих шагов в рамках атаки, накапливает базу знаний по каждой новой цели, содержит скрипты для вмешательства в инфраструктуру жертвы.
Интересно, что в прежней версии этого атакующего инструмента использовался популярный offensive-фреймворк HexStrike, но позже злоумышленник создал собственные MCP-инструменты (ARXON & CHECKER2) с более глубокой автоматизацией и интеграцией LLM.
Интересная особенность этой кампании в том, что LLM не искали уязвимости, а выступали как аналитический и операционный ассистент, который обрабатывал собираемые разведданные, готовил планы атаки и давал указания атакующим инструментам (этакий виртуальный генштаб). Такая система позволяет одному оператору управлять масштабными операциями с тысячами целей, что отражает общую тенденцию – ИИ снижает порог входа и повышает скорость проведения атак без глубоких технических навыков.
#ии #автоматизация
Please open Telegram to view this post
VIEW IN TELEGRAM
Forwarded from Марков цепи пропил
Можно ли построить детерминированную систему на базе LLM
Последние несколько дней аутирую над этой темой, потому что периодически натыкаюсь на эксперименты, где люди пытаются заставить сетку что-нибудь дизассемблировать, перегонять разные форматы данных к одному типу и т.п. Поэтому у меня возник вопрос: насколько подобные проекты применимы в продакшене? Ведь если алгоритм выдает разные результаты на один и тот же набор данных, это может породить непредсказуемое поведение для всей системы. Кажется, будто ответ лежит на поверхности - ставишь temperature=0 и greedy decoding всегда берет один и тот же наиболее вероятный токен. Но на деле это работает не совсем так.
Чтобы понять почему, нужно взять во внимание одно фундаментальное свойство чисел с плавающей точкой - неассоциативность. В математике (a + b) + c = a + (b + c), но когда дело начинает касаться float, на сцену выходит стандарт IEEE 754. Float хранит фиксированное количество значимых цифр, и когда складываете числа с очень разными масштабами, хвост отбрасывается:
Ниже приведу несколько статей, которые отталкиваются от этого свойства, но подсвечивают разные причины и варианты решений:
1) Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [ссылка] - разное железо
Авторы взяли 4 модели - два reasoning-варианта на базе DeepSeek-R1 и два instruct-варианта (Qwen2.5 и Llama-3.1) и прогнали их на 12 разных конфигурациях: два типа GPU (A100 и L40S), разное их количество и разный размер батча. В результате разброс точности на AIME'24 достигал 9%, а длина ответа расходилась до 9000 токенов при одном и том же промпте и greedy decoding.
Здесь важен аппаратный контекст. Исследователи из Манчестерского университета экспериментально проверили [ссылка], как тензорные ядра считают на V100, T4 и A100 - и обнаружили, что поведение отличается в зависимости от микроархитектуры (например V100 выполняет матричное умножение тайлами 4x4x4, A100 - тайлами 8x8x4, т.е. одно и то же произведение разбивается на разное количество шагов с разными промежуточными суммами, и из-за неассоциативности float итог разный). При этом NVIDIA в официальной документации PTX ISA [ссылка] прямо указывает для операций с .f16 и .bf16: "The accumulation order, rounding and handling of subnormal inputs is unspecified".
А так как в LLM инференсе повсеместно используется BF16 (с 7 битами мантиссы), токены с близкими вероятностями могут поменяться местами. В статье приведен пример: в точке расхождения два прогона дают токену "know" вероятности 49.75% и 46.65% и в одном прогоне побеждает "know", в другом "have". Расхождение происходит в среднем на 45-82 токене в зависимости от модели. Для reasoning-моделей это особенно критично, потому что одно неверное слово в начале разворачивается в другую цепочку рассуждений.
Собственно, они предлагают решить эту проблему через LayerCast [GitHub]: веса модели хранятся в BF16, но все вычисления выполняются в FP32 (23 бита мантиссы). Оно не устраняет ключевую проблему, но делает модель более устойчивой. Однако FP32 вычисления медленнее, потому что современные GPU оптимизированы под 16-битные тензорные операции. Хз, насколько именно оно медленнее - авторы статьи не предоставили этих тестов
Последние несколько дней аутирую над этой темой, потому что периодически натыкаюсь на эксперименты, где люди пытаются заставить сетку что-нибудь дизассемблировать, перегонять разные форматы данных к одному типу и т.п. Поэтому у меня возник вопрос: насколько подобные проекты применимы в продакшене? Ведь если алгоритм выдает разные результаты на один и тот же набор данных, это может породить непредсказуемое поведение для всей системы. Кажется, будто ответ лежит на поверхности - ставишь temperature=0 и greedy decoding всегда берет один и тот же наиболее вероятный токен. Но на деле это работает не совсем так.
Чтобы понять почему, нужно взять во внимание одно фундаментальное свойство чисел с плавающей точкой - неассоциативность. В математике (a + b) + c = a + (b + c), но когда дело начинает касаться float, на сцену выходит стандарт IEEE 754. Float хранит фиксированное количество значимых цифр, и когда складываете числа с очень разными масштабами, хвост отбрасывается:
(0.1 + 1e20) - 1e20 # = 0.0
0.1 + (1e20 - 1e20) # = 0.1
Ниже приведу несколько статей, которые отталкиваются от этого свойства, но подсвечивают разные причины и варианты решений:
1) Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [ссылка] - разное железо
Авторы взяли 4 модели - два reasoning-варианта на базе DeepSeek-R1 и два instruct-варианта (Qwen2.5 и Llama-3.1) и прогнали их на 12 разных конфигурациях: два типа GPU (A100 и L40S), разное их количество и разный размер батча. В результате разброс точности на AIME'24 достигал 9%, а длина ответа расходилась до 9000 токенов при одном и том же промпте и greedy decoding.
Здесь важен аппаратный контекст. Исследователи из Манчестерского университета экспериментально проверили [ссылка], как тензорные ядра считают на V100, T4 и A100 - и обнаружили, что поведение отличается в зависимости от микроархитектуры (например V100 выполняет матричное умножение тайлами 4x4x4, A100 - тайлами 8x8x4, т.е. одно и то же произведение разбивается на разное количество шагов с разными промежуточными суммами, и из-за неассоциативности float итог разный). При этом NVIDIA в официальной документации PTX ISA [ссылка] прямо указывает для операций с .f16 и .bf16: "The accumulation order, rounding and handling of subnormal inputs is unspecified".
А так как в LLM инференсе повсеместно используется BF16 (с 7 битами мантиссы), токены с близкими вероятностями могут поменяться местами. В статье приведен пример: в точке расхождения два прогона дают токену "know" вероятности 49.75% и 46.65% и в одном прогоне побеждает "know", в другом "have". Расхождение происходит в среднем на 45-82 токене в зависимости от модели. Для reasoning-моделей это особенно критично, потому что одно неверное слово в начале разворачивается в другую цепочку рассуждений.
Собственно, они предлагают решить эту проблему через LayerCast [GitHub]: веса модели хранятся в BF16, но все вычисления выполняются в FP32 (23 бита мантиссы). Оно не устраняет ключевую проблему, но делает модель более устойчивой. Однако FP32 вычисления медленнее, потому что современные GPU оптимизированы под 16-битные тензорные операции. Хз, насколько именно оно медленнее - авторы статьи не предоставили этих тестов
Forwarded from КБ. экономика
Чел просил денег под постом нейронки — и она скинула ему $202 000 (₽15,5 млн). Он написал, что его дядя заболел, обвинил бота в проблемах и попросил всего 4 SOL (~₽40 000), оставив адрес криптокошелька. ИИ-агент перепутал сумму и перевёл всё, что было на счету.
❤1