ИИсторИИ / Глава вторая

Следующая глава ИИсторий — о LLM-файроволле.

Старая логика защиты данных была простой: данные куда-то уходят — мы это видим и останавливаем. Файл отправлен, ссылка открыта, документ прикреплён. Есть событие, есть след, есть точка контроля.

С промптами этой точки нет. Данные никуда не «уходят» в привычном смысле. Они просто читаются. Моделью. Где-то в облаке. И что с ними происходит дальше — в логах обучения, в инфраструктуре поставщика, в кэше сессий — не знает никто, включая самого поставщика, если читать его условия использования внимательно.

LLM-firewall — это попытка починить эту сломанную логику. Поставить пограничника там, где раньше пограничника не требовалось.

История о том, как одна компания внедряла.

На очередной встрече директор по цифровой трансформации радостно сообщил, что компания «перешла к управляемому использованию генеративного ИИ». Служба безопасности сказала, что риски «существенно снижены». Бизнес сказал, что продуктивность «потенциально выросла». Юристы сказали, что нужно обновить политику обработки данных. HR предложил провести обучение.

Ранее:
Глава 1. Человек из будущего

@gostev_future #ИИстории

Часто ли вы слышите заявления официальных лиц, в которых они не осуждают кибератаки, не сообщают о расследовании, а фактически выступают свидетелями?

Десять (восемь) лет назад Айсен Николаев съездил в Израиль. Тогда он ещё не был главой Якутии, но, судя по свежему рассказу на ПМЭФ, уже получил самый убедительный тренинг по кибербезопасности в истории госуправления.

«Наши израильские коллеги показали мне, что они могут сделать, просто хакнув системы безопасности в Америке и у нас, в республике. Прямо на моих глазах взломали несколько наших компаний».

Глава региона фактически говорит: «я в Израиле присутствовал при взломе чужих систем. Причём не только наших компаний, но и американских».

То есть это уже не просто байка о том, как чиновник проникся кибербезопасностью. Это публичный рассказ человека, который оказался свидетелем действий, способных заинтересовать в другой юрисдикции не только специалистов по информационной безопасности.

Впрочем, с педагогической точки зрения метод действительно мощный. Есть тренинги, после которых руководитель кивает, забирает папку и забывает всё к обеду. А есть тренинги, после которых он десять лет помнит: кибербезопасность — это важно, потому что однажды при тебе уже взломали Америку, Якутию и несколько компаний, а ты просто приехал посмотреть, как работает израильская алмазная биржа.

@gostev_future

Неделю назад одна запрещенная социальная сеть на букву М, а точнее ее дочерний проект на букву И, изрядно насмешил буквально всех, тем что прикрутил ИИ-бота. Сначала выяснилось, что бота можно было уговорить привязать к чужому аккаунту новый email. После этого злоумышленник сбрасывал пароль и забирал аккаунт.

Детали уже много раз были описаны тут, тут, тут и даже тут.

Конечно же, сеть на букву М моментально кинулась все исправлять и исправила.

"This issue has been resolved and we are securing impacted accounts."
Andy Stone, communications head

Но ведь современные проблемы требуют современных решений? Именно так все и исправили – в стиле вайбкодинга.

Убрав ссылку на ИИ-бот с страницы.

А API к боту осталось.

Ведь если никто не видит его в интерфейсе, значит никто и не использует.

Ведь так? Да?

@gostev_future

Сегодня выходной, а значит — время рубрики «Гостев из прошлого».
А ещё сегодня день рождения Пушкина, так что с него и начнём.

Пушкин мне, конечно, не прадед. Но генеалогическая программа, если её долго мучать, всё равно найдёт способ сделать его родственником.

Александр Сергеевич дотягивается до меня через очень дальнюю боковую брачную цепочку: через восьмикратную пра-тётю, её племянника, его жену, её двоюродную родственницу, её мужа и ещё несколько боковых переходов, в которых затесались даже Тютчевы. По-русски это выговорить нельзя, а по-английски — скрин выше.

И это отличная иллюстрация того, насколько все мы переплетены даже на сравнительно коротком историческом отрезке.

Вот, например, ещё один забавный факт: прямые предки Евгения Валентиновича™ в 17 веке жили всего-то в 30 километрах от предков ещё одного топ-менеджера Лаборатории. То есть буквально: выйти из деревни, пройти через лес, перейти реку, повернуть направо — и здравствуйте, будущая корпоративная история. Ну а ещё чуть подальше, километрах в пятидесяти, уже обитали одни из моих — козловские полковые казаки Трегубовы.

А к XXI веку нас всех занесло в одно офисное здание.

Или вот Наталья Ивановна Касперская, чья генеалогия идёт через известную архангельскую династию Штуцеров.

По одной версии, первым Штуцером на Руси был Якоб — прусский купец, которого занесло на службу в Архангельск.
По другой версии, в середине XVII века в Белом море, во время сильной бури, неподалёку от Архангельска затонуло «ганзейское» судно. Корабль выбросило на камни недалеко от берега. Над водой остались только мачты, и на них спаслись два человека. Одним из них был юнга Иоган Штуцер.
В Архангельске тогда уже существовала немецкая колония, где этот юнга и остался. Возможно, именно он и был отцом Якоба.

Но самое интересное начинается дальше. Штуцеры в Архангельске XVIII века служили при таможне и переводчиками. А это значит, что тут уже вполне можно осторожно пофантазировать на тему знакомства с Ломоносовым.

Отец учёного, Василий Дорофеевич, владел крупным парусным судном, на котором возил товары через государственные таможенные посты. В архивных записях Архангельской таможни обнаружены сведения, что 13-летний Михайло Ломоносов расписывался в таможенных книгах вместо отца и приказчиков.

Я совсем не исключаю, что где-то в тех же книгах рядом с подписью будущего Ломоносова может обнаружиться и подпись кого-нибудь из потомков Якоба Штуцера, оформлявшего Ломоносову накладную на импорт.

История — это не бронзовые памятники, стоящие отдельно друг от друга. Это одна большая адресная книга, в которой все рано или поздно оказываются на соседних страницах.

@gostev_future

Возить на ПМЭФ неваляшек становится какой-то навязчивой идеей?
В прошлом году Киберневаляшек притащил Сайберус, в этом году ПСБ/А7.

Но раз уж попались мне на глаза, то я вспомнил и про замечательное АО Настоящее (не путать с АО Будущее aka F6). В январе я задавался вопросом – может ему тоже уготовано что-то большее?

Ага, большие, нет не так, – БОЛЬШИЕ убытки были ему уготованы. Рубрика «считаем чужие деньги»

Связь с «Сайберусом» видна не только смыслово, но и юридически-бытовым образом. АО «Настоящее» зарегистрировано по адресу Москва, 2-я Звенигородская, 12, стр. 23. По тому же адресу находятся или фигурируют связанные с этой экосистемой структуры: АО «Сайберус», АО «Кибердом», АО «Кибер Квартал», АО «Кибериспытание» и другие. То есть это не одинокая фирма-разработчик, а часть плотного кластера юрлиц вокруг «Сайберуса» и «Кибердома».

В положении премии “Киберпризнание” написано, что соорганизатор — Фонд Сайберус в лице АО “Настоящее”, которое оказывает организационную, финансовую, информационную и иную поддержку конкурса.

Формально основной вид деятельности — разработка ПО. Но по отчетности за 2024–2025 годы картина другая: выручка — ноль, себестоимость — ноль, зато расходы огромные. В 2025 году компания получила 918 млн рублей чистого убытка, а убыток от продаж превысил 1 млрд рублей. То есть клиентских денег нет вообще, но операционная машина уже работает и активно тратит.

Откуда деньги? Не из бизнеса. Главный источник — собственники. За два года в компанию внесли около 1,66 млрд рублей денежных вкладов. Накопленный убыток уже достиг 920 млн рублей, но чистые активы всё ещё положительные — около 715 млн рублей.

Куда тратят? В 2025 году текущие платежи составили около 960 млн рублей. Из них 658 млн ушло поставщикам и подрядчикам, 210 млн — на оплату труда, остальное — налоги, взносы, проценты и прочие платежи. За два года текущая деятельность съела почти 975 млн рублей.  Явный рост фонда оплаты труда или выплат, связанных с персоналом — 13 сотрудников.

В 2025 году 345 млн рублей ушло на долговые бумаги, права требования или займы другим лицам, а на балансе осталась дебиторка 280 млн рублей. При нулевой выручке это явно не обычные долги покупателей.

Новых неваляшек на ПМЭФ не привезли. Домен киберневаляшки скоро истечет. Продуктов нет. Миллиард сожгли.
Вот такой прикольный бизнес.

@gostev_future

На прошлой неделе падал не только американский рынок. В российском сегменте в тартарары полетели акции Астры. Падение началось ровно 1 июня и продолжается до сих пор пор – c 280 до 215.

На первый взгляд, новостей, которые бы могли к этому привести – не было. Квартальный отчет вышел чуть ранее, был он так себе, но в целом ничего фатального. Выручка минус 15% год к году, 2,7 млрд рублей, а вместо прибыли 184 млн получился убыток 752 млн.

А 1 июня кто-то начал сливать громадные лоты, наторговав аж на 3 млрд рублей за день.
Частные инвесторы впали в кому, менеджмент компании выпустил пресс-релиз, заявив что они свои акции не продавали.

Еще в январе я сказал что в этом году Астра даст еще много инфоповодов

Инфоповоды пошли потом пачками – Астра покупает/не покупает МойОфис, Астра ищет стратегического инвестора, Астра заложила акции в Совкомбанк, 1С может войти в капитал Астры, Фролов планирует продать 10-15% акций группе Т1 … по рынку пошли разговоры о поглощении в пользу ВТБ.

В общем, какая-то ясность насчет обвала  случилась сейчас. Вышли публикации существенных фактов:

29.05.2026 Дочка «РусБИТех-Астра» увеличила займ дочке «Астра Облако» с 300 млн до 2 млрд. Внутренний перевод денег. Срок до конца 2027 года. Сделка с заинтересованностью — обе стороны под контролем одних и тех же лиц.

02.06.2026 Астра лично поручилась перед ВТБ за долги дочки «РусБИТех-Астра» на 5 млрд. Процентная ставка плавающая, максимум — ключевая ставка плюс 4%. (то есть почти 19% годовых). Это 47,76% стоимости активов Астры. Совет директоров одобрил 16 апреля, акционеры — 21 мая.

04.06.2026 Сбербанк увеличил долю в Астре с 4,44% до 5,23%. Приобретение совершено через Сбербанк КИБ ещё 4 мая 2026 года. Раскрыто с задержкой в месяц.

05.06.2026 Сбербанк КИБ продал почти всю позицию в Астре — с 5,27% до 1,05%. Продажа совершена 1 июня 2026 года, в день обвала. Раскрыто с задержкой в 4 дня.

Все сделки с заинтересованностью, все раскрыты с задержкой.

Я не настоящий аналитик, так что выводы и инсайды делать пока не буду. Но, глядя на то как с момента IPO Астра сложилась в три раза, как Позитив сложился в три раза с хаев и торгуется сейчас на уровне своего размещения в 2021 году, а Диасофт вообще упал в 6 раз – я вижу логику в желании F6 выйти на биржу в этом году, пока не стало совсем поздно.

Но я не вижу логики в том, чтобы кто-то решился покупать сейчас такие истории. Даже после обвала Астра торгуется по P/E 9x, что выглядит совсем не дешево.

@gostev_future

Вайбкодеры Цукерберга это теперь еженедельный источник здорового смеха для всего ИБ.
На прошлой неделе они отдавали аккаунты кому попало, правили ошибку убирая кнопку в интерфейсе, забыв про API.

Но когда вы махом увольняете 8000 человек, заменяя их на ИИ – то проблемы будут не единичные.

Функция восстановления пароля разглашала все привязанные к аккаунту почты и телефоны.
👏🏻👏🏻👏🏻

@gostev_future

Вот написал про Астру, когда была 215, а уже по 190 дают. Минус 13% за день.

И как бы бог с теми с теми кто купил на 215 и получил второе дно в подарок.

Просто у Астры очень много акций в залоге у банков. Тот же Совкомбанк брал по 290, вроде как.

И какие там ковенанты я, конечно, не знаю. Но такими темпами владелец компании может смениться гораздо быстрее. И не по своей воле.

@gostev_future

Инсайдеры с проходящей WWDC конфы сообщают, что Mythos выйдет в паблик релиз уже сегодня, в крайнем случае завтра.

Антропик, конечно, выпустит не полноценный Mythos — не тот, который доступен избранным в рамках проекта Glasswing. Публичная версия будет иметь урезанные кибервозможности, но - поскольку делается это при помощи guardrails, то несомненно последуют и взломы и обходы.

🍿

@gostev_future

Ну что, как и предсказывалось, урезанный Mythos, он же Fable, вышел. Все играются.

А вот те, кто поигрался чуть раньше — и с полноценным, — кажется, творят какую-то дичь.

Про испортившийся Microsoft, который угрожает исследователям, банит аккаунты в GitHub и шлёт массовые письма всем, кто собирается выступать на конференциях, уже многие писали. Ещё одним симптомом проблем стала демонстрация импотентности Microsoft Defender в каких-то там тестах.

Но теперь с ума сошли ещё и в Google — начав увольнять людей из Mandiant и GTIG. Причём не каких-то там джунов, а вполне себе ветеранов с опытом 15+ лет, расследовавших SolarWinds, Log4Shell и прочее, прочее.

За коллег по индустрии я не волнуюсь: их завтра же с радостью примут в Anthropic или OpenAI. А вот за столпы ИТ — Microsoft и Google — можно начинать волноваться. Точнее, за всех тех, кто ими пользуется.

@gostev_future

Исследователи обнаружили любопытную деталь в новой кампании Mini Shai-Hulud, Miasma и Hades. Авторы вредоносного кода начали добавлять в свои пакеты текстовые блоки про биологическое и ядерное оружие. Не потому, что они внезапно заинтересовались массовым поражением человечества.

Цель намного современнее.

Если файл попадёт на анализ к системе, использующей LLM, есть шанс, что модель увидит чувствительный контент, решит, что перед ней опасный запрос, и откажется проводить анализ. Проще говоря, вредоносная программа пыталась спрятаться за собственным safety-фильтром искусственного интеллекта.

Десятилетиями вредоносный код писался для компьютеров и маскировался от компьютеров. Потом появились методы, рассчитанные на обман исследователей. Теперь появился новый класс техник, рассчитанных на обман ИИ.

Фактически мы наблюдаем первые признаки того, что злоумышленники начали воспринимать большие языковые модели как полноценную часть защитной инфраструктуры. Если раньше нужно было обходить сигнатуры антивируса или эвристики песочницы, то теперь появляется ещё одна поверхность атаки — поведение модели.

Последние несколько лет крупнейшие разработчики моделей соревновались в том, кто лучше научит ИИ отказываться отвечать на опасные запросы. Но любой механизм отказа можно превратить в механизм уклонения. Если защитная система автоматически отдаёт подозрительный файл модели на анализ, злоумышленник рано или поздно попробует заставить эту модель замолчать.

Собственно, это и произошло.

Нельзя просто взять LLM, поставить её в центр процесса анализа и надеяться, что всё будет хорошо. Потому что как только модель становится частью защитного контура, она автоматически становится целью атакующих.

Мы только начинаем видеть первые эксперименты в этом направлении.

@gostev_future

Басня (fable)

Басня — это короткая вымышленная история, призванная преподать моральный урок.

@gostev_future

10 июня — CEO Антропика, Dario Аmodei публикует эссе «Policy on the AI Exponential»: призывает выйти за рамки прозрачности к серьёзному и обязательному регулированию ИИ по аналогии с FAA — чтобы государство могло блокировать выпуск опасных моделей.

Буквально просит «регулируй меня, регулируй меня полностью».

В тот же день — запуск Fable 5.

11 июня — я участвую в сьемках подкаста одного ооооочень популярного автора (следите за анонсами), и на вопрос «чего я опасаюсь в плане новых технологий?» — отвечаю, что больше всего я боюсь того, что государства начнут их ограничивать. Имея в виду, конечно же не VPN.

Сегодня — Министр торговли США направил письмо Дарио Амодею: Fable 5 и Mythos подпадают под экспортный контроль для всех иностранных граждан — как за пределами США, так и внутри страны, включая сотрудников Anthropic.

Реакция Anthropic: «Компания считает произошедшее «недоразумением» и работает над скорейшим восстановлением доступа»

«Если вы описываете свой продукт как боеприпас в каждом пресс-релизе, рано или поздно правительство верит вам на слово».

Натурально, современная байка про унтер-офицерскую вдову, которая сама себя выпорола. Гоголь, «Ревизор».

@gostev_future

Гуманоидный робот Pemba — модифицированный Unitree G1 весом 35 кг — поднялся на вершину эквадорского вулкана Чимборасо (6 263 м). Вероятно, абсолютный рекорд высоты для робота-альпиниста. С оговорками: на участках с уклоном до 30° Pemba шёл сам, на крутых — его несли на руках. Всё восхождение заняло 16 часов.

Это первый этап проекта «Тройная корона»: Чимборасо (самая удалённая от центра Земли точка), Мауна-Кеа и Эверест.
Следующая цель — Эверест, но разрешения ещё нет: в Непале не существует закона о роботах. Попытку перенесли на октябрь 2026-го.

О том, как роботы полезут на Эверест, я писал 2 марта. История с Пембой красиво иллюстрирует сразу несколько пунктов:

Батарея — уже проблема на 6 200 м. Поставили кастомную систему термоменеджмента, но насколько она работает при −50°C на 8 000+ — вопрос открытый.
И шерпы с батарейками — это уже не шутка, это буквально происходящее: на крутых участках Pemba несли на руках. Пока что сам робот и есть «батарея», которую тащат.

Pemba — китайская платформа, но проект американский (Geologic Dome) и идти они хотят через Непал. Вероятно, именно потому, что с Севера маршрут сложнее — там Вторая ступень, это просто стена.
И, видимо, ещё проблема в том, что проект американский (хоть робот и китайский). Отдавать американцам первенство китайцы не захотят, так что я жду ускоренного включения в гонку за вершину новых команд уже совсем скоро.

@gostev_future

CrowdStrike анонсировал Continuous Identity for AI Agents — новую функцию в составе Falcon Next-Gen Identity Security (да, у меня тоже от этих терминов глаз дергается).

Суть: вместо статичных политик и постоянных привилегий — непрерывная авторизация каждого действия агента в реальном времени, на основе того, кто владеет агентом, кто его вызывает, и какой риск-профиль у устройства вызывающего. Логика простая: разрешение, выданное при логине, может быть уже неактуальным через секунду, если агент скомпрометирован или изменился контекст.
Falcon AI Detection and Response непрерывно анализирует промпты и намерения агента, выявляя злоупотребление правами или попытки манипулировать LLM за пределами разрешённого, и в этом случае Continuous Identity отзывает доступ до того, как нанесён ущерб. Доступ динамически выдаётся, запрещается и отзывается на основе риска в реальном времени, полностью убирая постоянные привилегии.

Каждому агенту присваивается криптографически верифицируемая идентичность на основе открытого стандарта SPIFFE — это заменяет статичные права доступа. Помимо SPIFFE для идентичности, упомянут Shared Signals Framework (SSF) для передачи риск-сигналов между системами в реальном времени.

Как работает контекстная авторизация: агент с правами на чтение и запись, действующий от имени пользователя с правом только на чтение, сможет только читать; тот же самый агент, но действующий от имени другого человека с более широкими правами, даст другой результат. То есть полномочия агента — это не фиксированное свойство самого агента, а функция от того, кто стоит за ним прямо сейчас.

Цепочки агентов: отдельно прописан кейс делегирования: когда агент передаёт задачу субагенту, идентичность и права исходного человека сохраняются по цепочке. Это закрывает классическую дыру — субагент не может внезапно получить более широкие права, чем были у человека на старте цепочки.

Что считается «риском», который запускает отзыв доступа: если контекст меняется — например, обнаружена новая уязвимость или у человека изменился статус в HR-системе — доступ отзывается немедленно. Второй пример — увольнение — особенно показателен: то есть агент может потерять доступ не из-за собственного поведения, а просто потому, что человек, от имени которого он действовал, уже не сотрудник.

Решение построено на технологии, полученной CrowdStrike через приобретение стартапа SGNL в январе этого года.

У Microsoft есть Entra Agent ID — фреймворк идентичности и безопасности, который расширяет возможности Entra на ИИ-агентов. Принципиальное отличие: агентные идентичности не имеют собственных credentials — они получают токены через так называемый blueprint идентичности агента, то есть архитектурно похоже на SPIFFE-подход CrowdStrike, но завязано целиком на экосистему Microsoft. Но, у CrowdStrike авторизация агента опирается не только на identity-граф, но и на телеметрию с эндпоинтов и Falcon AIDR (анализ намерений в промптах). А вот у Microsoft это все без столь глубокой интеграции с endpoint/threat detection.
 
@gostev_future

Прогнозы о будущем от CEO глобальных компаний — это всегда интересно. Вот намедни глава Qualcomm Кристиано Амон выдал на гора много инсайтов:

На Computex 2026 он назвал 2026 год "годом агентов" — ИИ-агенты фундаментально изменят отношения человечества с технологиями, а телефон, который сегодня является центром цифровой жизни, со временем уступит место агенту, доступному с любого подключённого устройства — наушников, очков, смартфона или ноутбука.

Амон привёл пример агента, который мгновенно достаёт детали банковской транзакции, избавляя пользователя от необходимости открывать приложение и искать информацию вручную. Его формулировка: приложения "не мертвы", но они изменятся — агенты станут новым слоем интерфейса.

Сдвиг в типах устройств может открыть дверь для совершенно новых компаний на рынке потребительской электроники. Пример, который привёл сам Амон — в прошлом году OpenAI купила io, хардверный стартап основателя легендарного дизайна Apple Джони Айва, заходя на рынок потребительских устройств. Логика по словам Амона: все носимые устройства становятся точками входа для агентов, и ИИ-компании понимают, что им нужно выиграть борьбу за эти точки входа. Это объясняет, почему в гаджеты внезапно лезут компании, которые раньше железом вообще не занимались.

Зачем им это — данные. Эти устройства будут собирать данные в масштабе, экспоненциально превышающем объём данных, использованных для обучения самих ИИ-моделей. То есть носимые устройства — это не просто интерфейс к агенту, а новый канал сбора датасетов для следующего поколения моделей, которые этими же агентами и будут управлять.

Главный кандидат на роль преемника смартфона — умные очки, из-за близости к глазам, ушам и рту, идеальной точки для агентных сценариев. Параллель, которую он проводит: сегодняшние смарт-очки похожи на ранние смартфоны с десятком приложений — экосистема будет расти так же, как выросла с сотен до тысяч приложений, только здесь вместо приложений будут агенты. Релиз очков Амон обещает в этом году.

Qualcomm работает над более чем 40 дизайнами новых ИИ-устройств. К 2028 году значимая часть рабочих нагрузок сместится с телефонов на новые гаджеты. В течение пяти лет такие устройства станут доминирующими, обслуживая сотни миллионов людей по всему миру. Ставка Амона на форм-факторы — очки, часы, кулоны, украшения.

Как следствие — чипы должны меняться под всё более компактные гаджеты где ограничения по питанию и теплу куда жёстче, чем в телефоне.
 
@gostev_future

Ждем, ждем

@gostev_future

Полгода назад у нас с Лёхой Андреевым в Эксмо вышла книга «Вирьё моё».
Честно говоря, мы не были уверены в успехе. Что бумажный тираж вообще кому-то понадобится в эпоху бесконечных видео, подкастов и нейросетей.

Нейросеть, кстати, сделала промо-сайт книги, и вполне неплохо собрала все критические (и хвалебные) отзывы.

Первую партию раскупили примерно за месяц. Мы отправили вторую, но и она уже почти закончилась — на «Озоне» осталось около 40 экземпляров. Так что наконец добрались до электронной версии.

У электронки есть важное преимущество. Книга построена на огромном количестве реальных историй, расследований, архивных материалов и цитат. Теперь все ссылки кликабельны, и можно сразу переходить к первоисточникам. Для документальной истории это довольно полезная функция.

А ещё электронная книга позволяет исправлять ошибки и дополнять текст уже после публикации. Пока готовили версию для Литрес, поправили некоторое количество мелких косяков. Но в одном месте захотелось добавить целый абзац.

В книге есть рассуждение о том, что крупные эпидемии компьютерных червей возникают примерно раз в семь-восемь лет: SirCam и Helkern, потом Conficker, затем WannaCry. Исходя из этой логики, следующую большую вспышку стоило ждать примерно в 2025 году.

Когда мы это писали, никакого Shai-Hulud ещё не существовало.

А потом он появился.

Редкий случай, когда прогноз в книге успел сбыться практически сразу после выхода.

В общем, если бумажную версию вы пропустили, теперь «Вирьё моё» доступна и в электронном виде:

https://www.litres.ru/74050549/

@gostev_future

Эксперты Сбера и Касперского опубликовали в журнале МГУ «Современные информационные технологии и ИТ-образование» любопытную статью.

Авторы предложили двумерный бенчмарк для LLM (БЯМ) в пентесте: отдельно замерять планирование атаки и её исполнение. Раньше эти навыки смешивали в одну метрику, и было непонятно, где именно проигрывает модель — в голове или в руках.

Протестировано 11 моделей. В планировании лидер — Claude Sonnet 4.5 (78,22%), за ним GPT-5 (73,72%) и Gemini 2.5 Pro (72,16%); хуже всех — Gemini 2.5 Flash (37,66%). В исполнении первые — GPT-5 и Qwen3 Max (по 76,47%), рядом GLM 4.6 и Sonnet 4.5 (73,53%); хуже всех — Llama 3.3 70B (5,88%, в основном из-за провалов в синтаксисе вызова инструментов).

Зафиксированные сбои: галлюцинации (выдуманные IP и флаги решений), уход от задачи (агент DeepSeek бросил повышение привилегий ради решения квадратного уравнения), потеря контекста в длинных сценариях, и курьёз — агент-оценщик сам выполнил задание вместо проверки; авторы это поймали и поправили промпт.

Из списка моделей видно: пока статья готовилась, модели ушли на 1–3 поколения вперёд. Но цель была не зафиксировать сегодняшние цифры, а собрать бенчмарк, применимый и в будущем — датасет и код обещают выложить на GitVerse в открытом доступе.

Тут у меня есть замечания.

CSL-Benchmark собран из 846 шагов 44 отчётов с платформ вроде HackTheBox — открытых и индексируемых. Риск: будущие модели уже видели эти разборы в обучении или просто найдут их поиском. Этот риск авторы вообще не упоминают в ограничениях — а это первое, что убьёт чувствительность бенчмарка: рост баллов будет значить не «модель стала умнее», а «модель выучила ответы».

K-Benchmark прогонялся по одному разу на задачу — доверительные интервалы широкие, точный тест Фишера не находит значимой разницы между соседними моделями в таблице. Значимо они отличаются только от явных отстающих, вроде Llama 3.3 70B. То есть нынешний рейтинг — это точечные оценки, не строгое ранжирование.

Покрытие ATT&CK узкое: 3 тактики из 14 (доступ, закрепление, привилегии), без бокового перемещения, эксфильтрации, Active Directory и облаков — честно признанное самими авторами ограничение.

И момент, который авторы не назвали риском: судья в K-Benchmark — тот же Claude Sonnet 4.5, который заодно сидит в таблице как тестируемый агент (73,53%). Модель частично оценивает саму себя, и нет гарантии, что она не снисходительнее к своему стилю рассуждений. В ограничениях это не обсуждается — хотя ровно об этом риске говорит их же случай, когда оценщик решил задачу за испытуемого.

Как фреймворк — методология переживёт смену моделей: разделение планирования и исполнения, привязка к ATT&CK и проверенный экспертами судья — это здравые решения. А вот конкретные цифры — снимок с коротким сроком жизни: контаминация датасета, слабая статистика и судья-в-доле снизят значимость быстрее, чем хотелось бы. У авторов есть план расширения — больше тактик, AD-окружения, повторные прогоны. Если реализуют — инструмент останется живым.

@gostev_future