🧠 Кто управляет машиной?

В 2026 году у большинства компаний есть проблема, о которой не принято говорить:
👉 Они не знают, что делают их AI-агенты
👉 Они не понимают, к чему у них есть доступ
👉 Неясно, кто отвечает, когда всё ломается

Свежая научная работа с arXiv называет это “Governance vacuum”, то есть вакуум управления AI-идентичностями

⚙️ Текущие реалии

💀 машин больше, чем людей (в 80–140 раз)
💀 AI-агенты принимают решения сами
💀 и действуют от имени компании
Другими словами AI уже не инструмент, а субъект с доступом.

🧬 Вспоминаем AI-идентичность

Современный агент умеет вызывать API, запускать код,
ходить в базы данных, делегировать задачи другим агентам и накапливать «память» (контекст).

Стандартный кейс:
👉 один агент вызывает другого
👉 тот ещё троих
👉 каждый получает доступы
👉 никто не отслеживает цепочку

💣 Последствия

Немного истории:
💥 CrowdStrike outage 2024 → $5–10 млрд убытков
→ причина: один неуправляемый автоматический агент

🕵️‍♂️ Silk Typhoon
→ воруют API-ключи
→ используют их для шпионажа
🔓 23+ млн секретов утекли в GitHub → большинство машинные креды

🧩 Фундаментальные проблемы

Можно выделить следующие проблемы:

👤➡️🤖 Размытая граница человек / машина
AI действует от имени человека, но принимает решения сам
→ кто это вообще?

⚡ Динамический доступ
Роли больше не работают.
Агент сам решает, что ему нужно, а доступ определяется на лету
RBAC → устарел

🧾 Невозможность назначить ответственность
Если AI сделал что-то плохое, то кто будет виноват? Разработчик? Тот кто дал доступ? А может тот, кто написал промпт?
Спойлер: все и никто

🤯 Конфликт ценностей между агентами
Это вообще новый уровень.
AI разных компаний
обучены на разных ценностях и принимают соответствующие решения

🛡Как защищаться от новых угроз?

🔗 На этот вопрос вы сможете найти ответ в статье: https://arxiv.org/pdf/2604.06148

Stay secure and read SecureTechTalks 📚

#кибербезопасность #информационнаябезопасность #Alsecurity #IAM #Machineldentity #AgenticAl #ZeroTrust #CyberThreats #LLM

🧠 Научные статьи по кибербезопасности теперь пишет AI

Есть свежее исследование, которое анализирует 25 лет научных публикаций в журналы и топовые конференции: NDSS, USENIX Security, IEEE S&P и ACM CCS.

👉 Давайте разберемся, что ChatGPT сделал с языком науки?

📉 Что изменилось?

После 2022 года тексты начинают меняться. Они становятся длиннее, тяжелее и заметно хуже читаются. Длина слов растёт, а язык постепенно уходит в сторону перегруженного «академического» стиля.

Появляется новый характерный «акцент», в виде маркерных слов: delve into…, enhancing security…, underscoring the importance…

AI не делает текст более понятным, текст становится
более формальным, но менее живым. Таким образом, мы начали оптимизировать не смысл, а звучание.

Можно наблюдать странный эффект: статьи становятся «правильными», но их всё сложнее читать и ещё сложнее запоминать.

🧩 Второе дно

AI начинает стандартизировать мышление через язык. Когда у всех один и тот же помощник, исчезает индивидуальность, пропадает авторский стиль. Тексты становятся взаимозаменяемыми.

🏛 Реакция индустрии

Ирония в том, что индустрия это пока не догнала.

Конференции обновляют правила: иногда требуют раскрывать использование AI, иногда разрешают не раскрывать, то есть идут кто в лес, кто по дрова.

Люди получили мощный инструмент для улучшения коммуникации, а используют его так, что коммуникация становится только хуже.

🔗 Ссылка на исследование

Stay secure and read SecureTechTalks 📚

#кибербезопасность #инфобез #LLM #ChatGPT #наука #исследования #AI #генеративныйИИ #security #SecureTechTalks

🤖 Claude Mythos готов заменить пентестеров

AI Security Institute протестировали Claude Mythos Preview в кибервозможность.

Нейросеть провела пентсет корпоративной сети на уровне expert-level CTF. Ещё недавно на таких задачах модели буксовали почти безнадёжно, а теперь Mythos Preview берёт их с успехом 73%.

AISI собрали сценарий из 32 шагов, от разведки до полного захвата корпоративной сети. Mythos Preview прошёл этот сценарий от начала до конца, причём успешно завершил его в 3 из 10 попыток и в среднем доходил до 22 шагов из 32. Следующий лучший результат у Claude Opus 4.6, который в среднем проходил 16 шагов.

Модель уже не выглядит как «чатик, который что-то подсказывает». Она держит контекст, помнит, что уже пробовала, и двигается дальше, как исполнитель. Это уже очень похоже на автономную атаку, где человек задаёт рамку, а модель делает основную работу.

🛡Не все так идеально

Тесты проводились в упрощённой среде без активных защитников и без полноценного SOC. Поэтому AISI прямо не утверждает, что Mythos Preview взломает хорошо защищённую enterprise-инфраструктуру. Однако вывод напрашивается сам србой: модель уже умеет атаковать слабозащищённые системы, если ей дать сетевой доступ и направление.

👤 Потенциал

При увеличении бюджета до 100M токенов результат продолжал расти, то есть потолок возможностей модель ещё не показала. Единственный зафиксированный гэп, что модель не справилась с OT-ориентированным сценарием Cooling Tower, застряв на IT-части.

🤌 Делаем выводы

Если упростить до одной фразы, то переход уже случился: мы ушли от сценария, где AI «помогает искать баги», к сценарию, где AI способен сам вести атаку.

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #cybersecurity #pentest #redteam #уязвимости #AIsecurity #ChatGPT #SecureTechTalks

🚀 Не самый сильный, но самый показательный: Claude Opus 4.7

Вышел Claude Opus 4.7. Это тот редкий случай, когда важно не “насколько он мощный”, а зачем он вообще существует 😁.

Anthropic прямо говорит, что это не предел их технологий. Более того, внутри компании уже есть модели сильнее (тот же Mythos), но их пока не выпускают в открытый доступ.

🧠 Внимательнее к деталям

Opus 4.7 ощутимо прокачали в практических задачах. Он лучше держит длинные цепочки рассуждений, аккуратнее работает с кодом, да и в целом стал более “собранным” в сложных сценариях. Также в модели усилили работу с изображениями, теперь она увереннее читает схемы, интерфейсы и технические диаграммы.

И еще одно изменение, модель стала буквально следовать инструкциям. Иногда даже слишком буквально.

🛡 Полигон безопасности

Данный релиз выглядит, как контролируемый эксперимент. Opus 4.7 используют как “безопасную оболочку”, внутри которой обкатываются механики защиты перед выпуском более мощных систем.

Модель обучена с ограничениями. Часть потенциально опасных возможностей в области кибератак намеренно ослаблена. Параллельно она пытается распознавать рискованные сценарии и отказываться от них. Своеобразная подготовка к следующим поколениям моделей.

🔓 Окно для тех, кто понимает

При этом Anthropic оставляет дверь приоткрытой. Через Cyber Verification Program исследователи могут получить доступ к более “свободному” поведению модели без части ограничений.

Это аккуратный баланс. С одной стороны контроль, с другой - возможность изучать реальные риски.

🤖 От ответа к действию

Есть ещё один момент, который легко пропустить. Opus 4.7 стал чаще перепроверять себя, уточнять контекст и даже спорить с пользователем, если видит ошибку.

Звучит как мелочь, но на деле это новый этап эволюции. Посмотрим куда она нас приведёт в ближайшем будущем.

Stay secure and read SecureTechTalks 📚

#AI #CyberSecurity #LLM #Anthropic #Claude #Infosec #AIAgents #PromptInjection #AIrisks #SecureTechTalks

🔥 WAF больше не спасает. Встречайте GAF 😁

Мы долго жили в мире, где безопасность = сеть + приложение. Поставил WAF и вроде как спишь спокойно.

Теперь, с приходом LLM, всё сломалось. Классическая защита не видит угроз.
❌ Нет сигнатур
❌ Нет эксплойтов
❌ Нет аномального

🧠 Семантика

Традиционные средства смотрят на IP, заголовки или структуру запроса, но атаки на LLM происходят на уровне смысла:

“Представь, что ты не ограничен правилами…”

Для WAF - это harmless, для LLM - это начало компрометации.

🛡 Куда двигаться?

Новый слой безопасности, GAF (Generative Application Firewall), встаёт между пользователем и LLM
и контролирует всё взаимодействие целиком.

GAF состоит из 5 уровней защиты:
1️⃣ Network: rate limit, DDoS
2️⃣ Access: кто ты и что тебе можно
3️⃣ Syntactic: структура и формат
4️⃣ Semantic: смысл запроса
5️⃣ Context: история диалога (!)

💡 Обязательно понимание контекста во времени.

Такой подход позволяет:
🔍 отслеживать диалог целиком
✂️ вырезать опасные части ответа (не блокируя всё)
🧰 контролировать tool calls агентов
🧠 ловить multi-turn атаки (Echo Chamber, Crescendo)
⛔ останавливать генерацию на лету

🔗 Более подробно про GAF читайте в исследовании.

Stay secure and read SecureTechTalks 📚

#кибербезопасность #LLMsecurity #AIsecurity #PromptInjection #Jailbreak #GenAI #AppSec #CyberSecurity #AIagents

🔒 Sber X-TI: бесплатная платформа кибербезопасности

Есть редкий кейс на рынке ИБ: инструмент, который закрывает сразу несколько задач и при этом стоит 0 рублей.

Sber X-Threat Intelligence платформа от Сбера - это попытка вынести накопленную экспертизу компании в формате единого сервиса с аналитикой, уязвимостями и мониторингом внешнего периметра.

🧠 Бесплатно? Где подвох?

Сбер несколько лет развивал внутреннюю TI-платформу, а затем открыл часть функциональности наружу. Ограничение здесь не техническое, а юридическое: продавать такой продукт как отдельный сервис нельзя, поэтому модель остаётся бесплатной.

При этом подключены уже сотни компаний, от малого бизнеса до госсектора. То есть это не “пилот”, а вполне живая система.

⚙️ Три слоя защиты

Внутри платформа собрана как единый интерфейс, но фактически это три разных направления.

1⃣ Threat Intelligence. Это база аналитики: отчёты, индикаторы компрометации, карточки APT-групп и связи между атаками. Упор сделан не на количество, а на ручную валидацию. В публичной версии меньше данных, чем во внутренних системах, но они “проверенные руками”.

2⃣ Vulnerability Management. Здесь уже классическая история с уязвимостями: агрегация данных из десятков источников, приоритизация через CVSS/EPSS и возможность загрузить свой инвентарь без тяжёлых сканеров.  Интересным бонусом идут результаты внутреннего тестирования ПО в лаборатории Сбера.

3⃣ EASM. Мониторинг внешнего периметра: утечки, фишинговые домены, упоминания в Telegram и даркнете, а также ранние сигналы по DDoS. На старте дается расширенный доступ к инструментам сканирования периметра.

📊 Где это на фоне рынка

Отеровенно говоря, X-TI проигрывает классическим TI-решениям по объёму данных. НО это единственная платформа, которая бесплатно даёт связку:
Threat Intelligence + Vulnerability Management + EASM в одном интерфейсе
Обычно за это платят отдельно и совсем немало.

🔗 Ссылка на Sber X-TI

Stay secure and read SecureTechTalks 📚

#SecureTechTalks #ThreatIntelligence #VulnerabilityManagement #EASM #SberXTI #ИБ #кибербезопасность #бесплатныйинструмент #длябизнеса

🔐 Люди сами сливают свои данные в AI, а OpenAI пытается это исправить

Сегодня речь пойдет о проблеме, о которой все знают, но почти никто не решает.

Пользователи массово вставляют персональные данные в диалоги с LLM ( включая креды и номера карт).

На днях OpenAI выпустила инструмент, который работает до того, как данные “утекут” в модель.

🧠 Что за штука?

Речь про Privacy Filter, отдельную модель для поиска и удаления PII (персональных данных) из текста.

В отличие от классических DLP/regex-фильтров, модель не просто ищет шаблоны вроде “@gmail.com” или “+7…”, а анализирует контекст, понимает, где данные публичные, а где приватные, принимает решение прямо в тексте.

Инструмент работает в один проход и поддерживает длинные документы до 128k токенов.

🔍 По каким атрибутам работает поиск?

Модель покрывает основные категории чувствительных данных: имена, адреса, email, телефоны, URL, даты, финансовые реквизиты и секреты вроде паролей или API-ключей.

💡 Локальный запуск

Модель можно запускать локально, т.е. данные не нужно отправлять в облако. Фильтрация происходит прямо на стороне пользователя, что существенно снижает риск утечек.

Постепенно двигаемся сторону privacy-by-design.

⚠️ Пока не идеально

OpenAI заявляет, что модель не идеальна, а риски лежат на пользователях 😁. Фильтр может ошибаться, иногда пропускать редкие или нестандартные персональные данные, а иногда наоборот, скрывать лишнее. В общем все стандартно для решений обезличивания.

📎 Официальный релиз:
https://openai.com/index/introducing-openai-privacy-filter/

🔗 Ссылка на GitHub: https://github.com/openai/privacy-filter

Stay secure and read SecureTechTalks 📚

#CyberSecurity #AI #Privacy #PII #OpenAI #LLM #DataSecurity #Infosec #SecureTechTalks

🔑 Пароли уходят, но мы всё ещё за них держимся

Давно известно, что пароли слабое звено, но люди продолжают их использовать и, если честно, делают это предсказуемо плохо.

Мы переиспользуем пароли, храним их где попало и спокойно вводим их на фишинговых сайтах (даже зная о рисках). Поведение не меняется годами.

🧠 Технология уже есть

На этом фоне passkeys выглядят как очевидное решение. Они убирают саму идею пароля, вместо него используется пара криптографических ключей, где приватная часть остаётся на устройстве, а вход подтверждается через биометрию или PIN.

Получается, что красть нечего, ведь нет пароля, который можно перехватить, слить или переиспользовать. Фишинг в классическом виде тоже перестаёт работать.

Нюанс: люди уже начинают пользоваться passkeys… и не до конца понимают, что это вообще такое. Для многих это просто «ещё один способ входа», а не принципиально новая модель безопасности.

⚙️ Почему тормозит прогресс

С точки зрения безопасности всё выглядит решённым. Однако сервисы внедряют passkeys неравномерно, пользовательский опыт не везде идеален, а компании не спешат ломать привычные сценарии логина. В итоге пароли остаются просто потому, что “мы так привыкли”. Это тот редкий случай, когда инерция сильнее здравого смысла.

💣 Атаки никуда не денутся

Важно не обманываться, passkeys не делают систему “неуязвимой”. Они просто убирают огромный класс атак, связанных с паролями.
Вектор атаки смещается. Вместо кражи учётных данных фокус уходит на устройства, сессии и всё ту же социальную инженерию. То есть поверхность атаки не исчезает, она трансформируется.

🔗 Ссылка на исследование NCSC

Stay secure and read SecureTechTalks 📚

#CyberSecurity #Passkeys #FIDO2 #Authentication #NCSC #Infosec #Phishing #IdentitySecurity #SecureTechTalks

🔐 LLM проверили в условиях, приближённых к SOC

Моделям предложили самостоятельно искать атаки.

28 апреля вышел новый бенчмарк от Simbian, один из первых, где языковые модели тестируют не на знание терминов, а на способность работать как аналитик кибербезопасности.

🧪 Как устроен бенчмарк?

Модели поместили в среду, максимально приближенную к реальной. Они анализировали поток событий (Windows Security, Sysmon), внутри которого были спрятаны цепочки атак. Не отдельные техники, а полноценные сценарии.

При этом модели не знали, есть ли атака в данных и сколько их. Фактически от них требовалось провести расследование: выделить слабые сигналы, проверить гипотезы и принять решение в условиях неопределённости.

Именно это отличает новый бенчмарк от всех предыдущих.

📊 Лидер есть, но нет оптимизма

Лучший результат показала Claude Opus 4.6: около 46% обнаруженных атак. При этом доля срабатываний от общего потока событий составила лишь ~4–5%, что подчёркивает слабую чувствительность в реальном шуме.

Модели среднего уровня, включая GPT-4o, демонстрировали нестабильность: они могли корректно выявлять отдельные техники, но регулярно теряли целые цепочки атак.

Наихудшие результаты показали компактные модели вроде GPT-4o mini, порядка 1–2% обнаружения, что практически эквивалентно слепому поиску.

Разница между моделями значительная, но огорчает другое: ни одна из них не достигает уровня, пригодного для реальной автономной защиты.

⚠️ Преждевременное завершение анализа

Особенно любопытно поведение моделей, которое сложно выявить в классических тестах. Часть из них самостоятельно прекращала анализ, решив, что данных уже достаточно для вывода (при этом атаки в логах могли продолжаться).

Когда система не только не сигнализирует о проблеме, но и уверенно сообщает, что всё в порядке, то думаешь на кой она вообще нужна?

🤯 Почему модели не справляются

Атака - это задача с чётким критерием успеха, а защита про поиск неизвестного в потоке шума без гарантии, что сигнал вообще присутствует.

LLM, обученные на задачах с “правильным ответом”, в такой среде теряют устойчивость. Им не хватает ни механизмов самопроверки, ни способности поддерживать длительное расследование.

🔗 Ссылка на бенчмарк

Stay secure and read SecureTechTalks 📚

#кибербезопасность #LLM #SOC #ThreatHunting #AIsecurity #MITREATTACK #BlueTeam #CyberDefense #InfoSec #SecureTechTalks

🧬 Код как отпечаток пальца: уязвимости начинают искать по стилю

Мы воспринимаем уязвимости, как локальный сбой. Где-то не проверили вход, где-то неверно обработали условие, где-то допустили лишний доступ. В такой логике ошибка - это случайность, которую можно найти и исправить.

Однако ошибки почти никогда не бывают случайными. Они воспроизводятся. Причём не потому, что разработчик копирует код, а потому что он воспроизводит собственный способ мышления. У каждого есть устойчивые паттерны, например, как упрощать проверки или как обходиться с исключениями. Эти решения повторяются, а вместе с ними повторяются и уязвимости.

⚙️ Стиль становится сигналом

Code stylometry - подход, который смотрит на код не как на программу, а как на поведение автора. Модель работает на уровне структуры, она анализирует абстрактные синтаксические деревья, последовательности токенов, частоту и комбинации конструкций.

Код превращается в набор признаков, из которых можно восстановить «почерк» разработчика. Этот почерк оказывается достаточно устойчивым, чтобы его можно было распознать и связать с вероятностью ошибок.

Речь идет не о поиске конкретной уязвимости, а склонности к ней.

🧪 От поиска к предсказанию

Модель сначала извлекает стилевые признаки, затем сопоставляет их с обученными зависимостями и на выходе даёт оценку: насколько вероятно, что в этом коде есть уязвимости.

Технически за этим стоят обычные ML-пайплайны, обучение на размеченных данных, где известны уязвимости. 

Впервые объектом анализа становится не сам код, но и стиль его написания как фактор риска.

🧨 Почему это работает?

Причина в том, что разработчик не пишет код «с нуля» каждый раз. Он воспроизводит себя. Одни и те же способы обработки ошибок, одни и те же допущения кочуют из файла в файл. Если в одном месте это привело к уязвимости, в другом вероятность резко возрастает.

Модель, в отличие от человека, не ищет логическое объяснение. Она фиксирует статистическую закономерность.

🕵️‍♂️ Код рассказывает о человеке

Если стиль можно распознать и оценить, значит, можно сравнивать не только фрагменты кода, но и их авторов. Код начинает работать как отпечаток пальца. Через него проявляются привычки, уровень аккуратности, склонность к риску.

В прикладном смысле это означает, что анализ может сместиться. Не от кода к уязвимости, а от разработчика к зонам повышенного риска. В большом проекте это даёт возможность приоритизировать аудит, фокусироваться не на всём сразу, а на том, где вероятность ошибки статистически выше.

🔗 Подробнее с подходом можно ознакомиться в исследовании.

P.S. интересно будет составить список паттернов для каждой LLM.

Stay secure and read SecureTechTalks 📚

#кибербезопасность #AI #LLM #CodeSecurity #VulnerabilityDetection #Infosec #CyberSecurity #StaticAnalysis #AIrisks #SecureTechTalks