⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance

ВОПРОС:

Бизнес готов передавать критичные данные и процессы в ИИ, и мы планируем глубокую интеграцию ключевых бизнес-систем с облачными ИИ-моделями из-за отсутствия собственных мощностей. Вопрос в комплексной архитектуре доверия: как организовать пайплайн данных, чтобы соблюсти требования регуляторов и при этом исключить попадание конфиденциальных сведений в контур обучения внешней модели?
Существуют ли проверенные сценарии безопасного шаринга данных с облаком без потери контроля над ними?

ОТВЕТ:

Добрый день и благодарю за Ваш вопрос.
Да, это абсолютно решаемая задача, и многие российские компании уже её решают. Постараюсь ответить так, чтобы большинству участников вебинара это было доступно.
Главная идея тут проста - Ваши данные могут использоваться для получения ответа от ИИ-системы, но при этом они не должны становиться частью его памяти или использоваться для обучения (или дообучения).

Чтобы этого добиться, нужно выстроить многослойную защиту, начиная с юридической части. При заключении договора с провайдером облачных услуг необходимо прописать жесткие условия: запрет на использование Ваших данных для дообучения моделей и обязательство удалить их сразу же после обработки, сохранить об этой операции запись (логи), хранить их и быть готовыми в любое время дня и ночи предоставить эти логи по Вашему требованию.

Это база, на которую накладываются и технические меры. Сам пайплайн данных строится по принципу фильтра. То есть перед отправкой в облако Ваша информация должна проходить через специальный шлюз на вашей стороне, который автоматически находит и маскирует конфиденциальные сведения, например, заменяет фамилии, номера счетов, номера банковских карт или паспортные данные, СНИЛС и другие персональные, коммерческие данные на специальные коды.

В результате в облако уходит уже обезличенный запрос, безопасный. И модель выдает ответ, с этими же кодами обезличенными, а на вашей стороне эти коды снова заменяются на исходные данные. Для такой тактики можно использовать шаблоны промптом, протестированные заранее, чтобы точно знать, что мы отправляем допустим паспортные данные, серия, номер (обезличенные конечно) и модель точно их вернет при определенной структуре шаблона, не изменит, не потеряет цифры на конце и т.п. Таким образом, в этом сценарии провайдер технически уже не увидит критичной, конфиденциальной информации.

При этом чтобы соблюсти требования регуляторов, важно вести полный журнал событий, хранить и проверять логи. Нужно фиксировать, какие данные, в каком виде и когда передавались, и гарантировать, что серверы физически находятся в российской юрисдикции.

В итоге базовая формула здесь юридический запрет на обучение + техническая изоляция данных через шлюзы и шифрование + постоянный аудит, фиксация действий в логах. Это все позволяет пользоваться облачным ИИ, не передавая ему контроль над вашей информацией.

Подчеркну здесь, что это лишь общая картина при ответе на Ваш вопрос. Он не является однозначной рекомендацией к действию. Зная специфику Ваших систем, можно предложить более прицельные и эффективные меры.

Отвечаю на вторую часть вопроса – проверенные сценарии безопасного шаринга.

На практике для безопасного шаринга часто используется сценарий, когда конфиденциальные данные вообще никогда не покидают локальный контур. И в облачную модель передаются только или обезличенные эмбеддинги, или же текстовые запросы без чувствительного контекста.

Продолжение: https://vk.com/wall-210601538_2048

⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance

ВОПРОС:

В чем заключается обучение обычных пользователей при работе с ИИ в AI Governance. Чему их учить?

ОТВЕТ:

Добрый день и спасибо за Ваш вопрос! Он актуален и компании всё активнее обращают внимание именно на обучение пользователей при работе с ИИ-системами.

И это не просто очередной курс по промпт-инжинирингу или базовый ML, а целенаправленное формирование культуры ответственного и безопасного использования искусственного интеллекта. В таком обучении нужно заложить и этику, и выгоды компании, и немного подсветить тренды, и описать инциденты, и реагирование на них, и дать сотрудникам чек-листы, инструкции на закрепление, и многое другое.

Вам нужно добиться, сделать так, чтобы каждый сотрудник, работающий с Вашими ИИ-системами, понимал не только как работать, но и какие риски это несет, какой будет ущерб и как действовать корректно, правильно, чтобы не навредить с одной стороны, а с другой – чтобы выполнить работу.

У программы обучения могут быть такие разделы:

1. Базовая грамотность.
Расскажите про то, что такое ИИ и как он работает. Пользователи должны понимать фундаментальные ограничения технологии, особенно на реальных примерах Вашей компании. Очень важно учить людей не просто слепо доверять результату, а критически оценивать его, сформировать понимание, что у ИИ есть галлюцинации, что важно все же проверять ключевые выводы, относиться критически. Нужно помнить, что ответственность за принятое решение всегда остаётся на сотруднике, а не на модели.

2. Безопасность данных.
Это самый важный, на мой взгляд, блок. Ваши сотрудники должны чётко знать, какую информацию можно, а какую категорически нельзя вводить в публичные или внешние ИИ-инструменты и даже во внутренние ИИ. Нужно учить распознавать типы конфиденциальных данных (персональные данные – их все возможные виды и типы, коммерческая тайна, куда могут относиться и технологические решения, врачебная тайна и другие). Надо понимать принципы классификации таких данных и сформировать понимание, куда обращаться, если случайно отправил чувствительные данные. Здесь же можно объяснить, как правильно маскировать информацию перед запросом, если уж нужно что-то отправить критичное в модель, какую-то чувствительную информацию, чтобы при этом и данные отправить и ответ получить эффективный. Сотрудникам нужно также рассказать, как работать с внутренними ИИ-системами, если есть какие-то специфичные моменты по безопасности.

3. Этика и предвзятость.
Также пользователей нужно обучить замечать признаки предвзятости в результатах, например, при подборе кандидатов, оценке кредитоспособности и генерации контента. Ваши сотрудники должны изначально хотя бы примерно понимать, почему это может происходить, и знать, как эскалировать такие случаи, куда обращаться.

Продолжение: https://vk.com/wall-210601538_2049

⭐️ По просьбе подписчиков выкладываю запись моего вебинара "Управление ИИ-системами (AI Governance) в критических отраслях: как управлять рисками, соответствовать требованиям регуляторов и эффективно внедрять ИИ"

Ссылка: https://academyit.ru/deals/activity/seminars/upravlenie-ii-sistemami-ai-governance-v-kriticheskikh-otraslyakh-kak-upravlyat-riskami-sootvetstvova/?bx_sender_conversion_id=19987265&utm_source=email&utm_medium=email&utm_campaign=w23042026_AIGovernance

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Записи докладов конференции MLечный путь от Selectel

Приветик, мои дорогие друзья и коллеги-профессионалы!

Вот и стали доступны записи всех докладов ежегодной конференции MLечный путь 2026 от компании Selectel. Это, стандартно, одна из ведущих российских конференций в сфере ИИ. Ребята обозначили массу трендов, поделились как бизнесовой практикой сферы ИИ (включая оценку инвестиций в ИИ, риски и остальные практики AI Governance), так и технологическими решениями (включая решения по защите ИИ-систем, MLSecOps)! Ну и, конечно же, затронули тему ИИ-агентов.

Поэтому - как всегда - смотрим внимательно, фиксируем себе массу нового и полезного, кому что непонятно, пишите в личку, подскажу.

Бизнес трек: https://vkvideo.ru/video-11462611_456240088
Технический трек: https://vkvideo.ru/video-11462611_456240089

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Как устроена безопасность Yandex AI Studio?

Рекомендую посмотреть это видео о том, как обеспечивается безопасная архитектура платформы для сборки ИИ-агентов Yahdex AI Studio: http://vk.com/video-200452713_456240411
Очень интересные моменты, есть и базовые, которые обязательны всегда и везде. Выступает Евгений Барановский, менеджер GenAI-проектов. Как обычно в Яндексе - все четко, наглядно, по существу и без лишней воды.

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ MLSecOps Engineer (AI Safety) в Okko

MLSecOps Engineer (AI Safety) — это специалист, который отвечает за безопасность и надежность систем искусственного интеллекта.

Обязанности:
+ Участие в разработке архитектуры и дизайна стандартизированного размещения ИИ агентов, сегментировании и изолировании контекстов агента (разделение памяти, защита системных промптов);
+ Внедрение и настройка инструментов перехвата и валидации промптов (guardrails), написание правил детекции атак (Jailbreaking, Prompt Injection) и фильтрации вывода;
+ Построение пайплайна безопасной загрузки данных (RAG), реализация механизмов санитизации данных (очистка PII, секретов) до попадания в векторный индекс, настройка прав доступа (RBAC) на уровне чанков данных в векторной базе данных;
+ Разработка и поддержка набора автотестов для ежедневного тестирования безопасности агента;
+ Разработка валидаторов для структурированного вывода, проверка планов агента на безопасность перед исполнением (pydantic).

Требования:
+ Свободное владение Python;
+ Знание LangChain и/или LlamaIndex, умение писать кастомные callbacks, chains, tools;
+ Понимание OWASP Top 10 for LLM, знание механик атак (prompt injection, indirect injection, data poisoning, model denial of service);
+ Понимание работы векторных баз данных (Pinecone, Milvus, Qdrant);
+ Базовое понимание Docker и CI/CD для интеграции проверок в общий пайплайн.

Мы предлагаем:
+ Необходимое оборудование и софт для работы;
+ Официальное трудоустройство;
+ ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки;
+ Льготные условия ипотеки в рамках зарплатного проекта;
+ Бесплатная подписка на сервисы партнеров;
+ Корпоративный спорт;
+ Насыщенная корпоративная жизнь;
+ Электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам.

Ссылка на вакансию: https://hh.ru/vacancy/132741607

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Запускаем второй поток новой учебной программы по AI Governance!

Учитывая стремительный рост и востребованность нового направления AI Governance, Академия Softline с 19 по 30 мая проводит второй поток новой корпоративной учебной программы «AI Governance в критических отраслях: от рисков и угроз к этике и доверию».

Учебная программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ. Это первая в России программа по AI Governance в критических отраслях.

В рамках обучения слушатели узнают:
1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем?
2. Как избежать рисков нарушения этики и дискриминации?
3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу?
4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ?
5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают?
6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования?
7. Какие требования к архитектуре ИИ-систем есть в AI Governance?
8. Как работать с Каталогом и Глоссарием данных в AI Governance?
9. Какие есть методы, инструменты и фреймворки для AI Governance?
10. Как выстроить процессы AI Governance в компании.
11. Многое другое.

Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру.

Сильные стороны программы:

1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень).

2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно.

3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.

4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем.

5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступил в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона о регулировании ИИ в России (он сейчас на обсуждении, макет уже разработан). Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования.

6. Автор программы принимает участие в разработке ГОСТ, ПНСТ, ФЗ и других нормативно-правовых регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях.

Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/ai_g

Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu/

По итогам обучения выдается удостоверение о повышении квалификации.

Global MLSecOps & AI Governance Architect
Николай Павлов

⭐️ ИИ-агенты переходят в формат бизнес-советников

Согласно прогнозу IBM и Oxford Economics, к 2030 году главным риском для компаний станет не возможность ошибки, а излишняя осторожность. 79% топ-менеджеров ожидают, что искусственный интеллект (ИИ) будет напрямую влиять на выручку бизнеса. Прогнозируется рост продуктивности на 42%, появление ИИ-советников в советах директоров и переход компаний к моделям AI-First.

Промедление с внедрением ИИ сегодня может создавать потенциально более опасный риск фатального отставания в конкурентной гонке. В динамично развивающихся сферах деятельности каждый квартал задержки - это упущенный потенциал роста. Кроме того, компания теряет привлекательность для сильных специалистов, которые хотят работать с передовыми технологиями.

"Пока одни топ-менеджеры продолжают "отмахиваться" от технологий, другие всесторонне используют ИИ как "спарринг-партнера" при подготовке к заседаниям, в качестве ассистента и симулятора, который способен в кратчайшие сроки перерабатывать большие объемы отчетов и операционки", - говорит академический руководитель образовательной программы "Прикладные нейросетевые технологии" факультета компьютерных наук НИУ ВШЭ Руслан Каюмов.

Он объясняет, что это помогает сократить информационный разрыв между, например, членами совета директоров и рядовыми сотрудниками, что напрямую повышает обоснованность управленческих решений.

Логичный следующий шаг в данном контексте - повсеместный переход к ИИ-советникам для топ-менеджемента, которые будут готовить аналитику, сценарии и рекомендации. Реалистичный горизонт составляет до трех лет, а компании в IT и финансах уже экспериментируют с такими решениями. В более консервативных секторах процесс может растянуться, но вектор очевиден, отмечает Каюмов.

Но к 2030 году на первый план выйдет стратегический риск - упущение возможностей из-за излишней осторожности. В контексте искусственного интеллекта это означает, что компания, которая чрезмерно фокусируется на минимизации гипотетических сбоев ИИ и замедляет его внедрение, может безвозвратно отстать от конкурентов. Скорость инноваций и адаптации становится критическим фактором выживания. Пока одна организация будет годами тестировать идеальную, но локальную модель, её более смелые конкуренты уже перепроектируют свои бизнес-процессы, создадут новые продукты и "захватят" рынок.

Продолжение: https://vk.com/wall-210601538_2057

Постквантовый алгоритм шифрования ML-KEM

Возможно вы обратили внимание в видео с практикой по установке соединения TLS, что для обмена ключами симметричного шифрования использовался гибридный алгоритм Диффи-Хеллмана на эллиптических кривых и ML-KEM. Как работает алгоритм Диффи-Хеллмана мы разбирали в курсе, а что за алгоритм ML-KEM? И для чего он нужен?

ML-KEM (Module-Lattice-Based Key-Encapsulation Mechanism) - это постквантовый алгоритм шифрования. В нем используется криптография на решетке (lattice-based cryptography), взломать такие алгоритмы квантовые компьютеры не смогут.

ML-KEM стандартизован NIST в документе FIPS 203. В нем определены три варианта ML-KEM-512, ML-KEM-768 и ML-KEM-1024, которые отличаются параметрами алгоритма ML-KEM, скоростью работы и уровнем безопасности. В видео при установке соединения TLS использовался вариант ML-KEM-768.

Зачем внедрять алгоритмы постквантового шифрования сейчас, когда квантовых компьютеров еще нет? Внедрение новых технологий в компьютерных сетях, как правило, занимает длительное время. Поэтому лучше начать делать это заранее, чтобы успеть к появлению квантовых компьютеров 😊

Для чего комбинировать алгоритмы Диффи-Хеллмана на эллиптических кривых и ML-KEM? Сейчас ML-KEM еще плохо изучен и если в нем найдут уязвимости, то алгоритма Диффи-Хеллмана будет достаточно для эффективной защиты (пока не появятся квантовые компьютеры 😊).

На Хабре есть отличная статья "Разбираем байты постквантовой ML-KEM на примере «браузерного» TLS", рекомендую изучить ее, если хотите детально разобраться, как именно ML-KEM используется при установке соединения TLS 1.3.

⭐️ Мурашко: Минздрав планирует снижать нагрузку на медиков за счет введения ИИ

Министерство здравоохранения РФ планирует снизить документационную нагрузку на медицинских сотрудников за счет внедрения технологий искусственного интеллекта (ИИ). Об этом 11 мая сообщил глава ведомства Михаил Мурашко.

По его словам, одна из разработок с использованием ИИ уже внедряется в практику. Система позволяет быстро анализировать электронную историю болезни и карту пациента, а затем выдавать врачу, медсестре или сотруднику приемного отделения скорой помощи необходимую информацию.

Мурашко подчеркнул, что время анализа медицинских данных с помощью ИИ составляет всего несколько секунд. Раньше аналогичный процесс мог занимать до получаса.

С его слов, "есть еще ряд других программных продуктов, которые позволяют сократить это всё, и ряд решений технологических: фиксация, транскрибация речи, суммаризация. Это всё очень активно приходит в нашу практику».

РИА

⭐️ GoCloud 2026

Все записи конференции GoCloud 2026, доклады очень ценные, презентована масса уникальных разработок, представлены замечательные тренды и прогнозы развития ИИ-агентов.

Радует, что несколько раз упомянута и отечественная разработка HiveTrace, которая эффективно зарекомендовала себя как одна из лучших защитных систем для LLMs, RAGs и ИИ-агентов. Ребята рассказывают интересно и доступным языком, очень рекомендую посмотреть хотя бы часть этих ярких выступлений.

Ссылка на доклады конференции (доступны онлайн бесплатно): https://cloud.ru/gocloud

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Безопасная интеграция с облачными ИИ-моделями: как защитить данные при передаче в облако

Можно ли безопасно подключать облачные ИИ-модели к внутренним системам компании и при этом не передавать контроль над конфиденциальными данными внешнему провайдеру? Наш эксперт рассказал, как выстроить трёхуровневую архитектуру доверия для безопасной интеграции с облачными ИИ-моделями — без риска утечки конфиденциальных данных и с соблюдением требований регуляторов.

Данные могут использоваться для получения ответа от ИИ-системы, но не должны становиться частью её памяти или использоваться для обучения и дообучения моделей. Это достижимо при построении многослойной защиты.

Трёхуровневая архитектура доверия

1. Юридический уровень

При заключении договора с облачным провайдером необходимо зафиксировать основные юридические меры защиты:

+ запрет на использование ваших данных для дообучения моделей;
+ обязательство удалить данные сразу после обработки;
+ право на внеплановый аудит;
+ требование вести и хранить логи операций;
+ готовность провайдера предоставить эти логи по вашему запросу в любое время.

Соответственно при любом изменении договора эти моменты важно проверять и, возможно, добавлять новые детали. Например, если конфиденциальность критична, в договоре фиксируется, что запросы обрабатываются исключительно автоматически, без привлечения операторов.

Важно четко обозначить и запрет на передачу данных третьим лицам без письменного согласования и предоставление реестра всех вовлечённых инфраструктурных партнёров (с их контактными данными) по первому запросу.

Как дополнительную меру важно прописать в договоре SLA по инцидентам и возможные штрафные санкции, то есть зафиксировать сроки уведомления (например, от 1 ч до 12 ч по внутренним правилам согласно договору, и как минимум 72 ч по ФЗ №152). В идеале прописать и финансовую ответственность за нарушение запрета на обучение или утечку, как следствие - право на одностороннее расторжение без компенсаций в случае доказанных утечек.

А, значит, на случай прекращения сотрудничества в договоре стоит и прописать обязательное предоставление акта криптографического уничтожения данных, право на экспорт остатков в машиночитаемом формате, сроки полной деинсталляции.

2. Технический уровень: шлюз-фильтр

Пайплайн данных строится по принципу фильтрации на вашей стороне:

+ перед отправкой в облако информация проходит через локальный шлюз, который автоматически находит и маскирует конфиденциальные сведения (ФИО, номера счетов, банковских карт, паспортные данные, СНИЛС, коммерческая тайна и другие), заменяя их на специальные коды;
+ соответственно в облако уходит уже обезличенный запрос;
+ модель отрабатывает и возвращает ответ с теми же кодами;
+ на вашей стороне коды заменяются обратно на исходные данные, в результате получается полноценный интерпретируемый ответ.

Для надёжности такого шлюз-фильтра используются заранее протестированные, доверенные шаблоны промптов, гарантирующие, что структура данных (например, серия и номер паспорта) сохранится без искажений.

Для повышения надежности на техническом уровне следует рассмотреть архитектуру двойного фильтра на входе в модель. Например, проверяем у себя и создаем проверку на уровне облачного провайдера. В том редком случае, когда наш фильтр не срабатывает, провайдер информирует нас. При этом не обязательно дублировать архитектуру двух фильтров - очевидно, что для экономии денег, фильтр на стороне провайдера скорее будет проще и оперативнее.

И как одна из простых, но дополнительных и крайне важных мер - необходимо считать количество отправленных запросов в облако и количество полученных ответов, и затем сверять это с данными провайдера. При необходимости можно сверять и размеры такой информации, хотя бы выборочно.

3. Уровень аудита и соответствия требованиям регуляторов

+ ведение полного журнала событий: фиксация, какие данные, в каком виде и когда передавались;
+ гарантия физического размещения серверов в российской юрисдикции;
+ регулярная проверка и хранение логов.

В рамках этого уровня требуется проводить регулярные тренировки по реагированию на инциденты с ИИ (промпт-инъекции, отравление данных, дрейф данных, дрейф модели и другие), внесение сценариев в программу обучения сотрудников, работающих с ИИ-системами. При этом это должны быть не только указанные типы инцидентов, специфичные для ИИ, но и инциденты общего плана, хорошо известные командам ИБ и SRE (DoS-атаки, падение сервера, компрометация системы, требующая восстановления или запуска резервирования и другие типы).

Таким образом, базовая формула трехуровневой архитектуры доверия: это юридический запрет на обучение + техническая изоляция данных через шлюзы и шифрование + регулярный аудит.

Ссылка на полную версию статьи (смотреть без VPN): https://academyit.ru/articles/tematika3/bezopasnaya-integratsiya-s-oblachnymi-ii-modelyami-kak-zashchitit-dannye-pri-peredache-v-oblako/

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Выступление Председателя Правительства России Михаила Владимировича Мишустина на пленарной сессии XI конференции ЦИПР

Очень рекомендую посмотреть и больше узнать про лучшие практики внедрения ИИ-агентов в промышленной сфере. Масса ценной статистики, актуализировано множество реальных проблем внедрения ИИ в промышленности, включая и вопросы безопасности. Радует, что все топы бизнеса с пленарного заседания и сам Михаил Владимирович очень хорошо подкованы как в сфере больших данных, так и в направлении ИИ-агентов.

Ссылка: http://vk.com/video-26284064_456309230

Архитектор MLSecOps и AI Governance
Николай Павлов

В этом году мы расширили работу научного крыла HiveTrace. Лаборатория AI Security это место, где мы экспериментируем с атаками на модели и OpenClaw, guardrails, MCP-сканнерами, SAE и зондами. Исследования делают ребята из ИТМО, МФТИ и Ярославского университета.

Недавно мы писали о работе Ширин Алановой про детекцию мультиязычных джейлбрейков через эмбеддинги. Вера Краснобаева провела много экспериментов с каскадными системами, и её наработки включили в OWASP FinBot CTF. Кстати, о том, как контрибьютить в OWASP-проекты, Вера подробно написала на Medium. Другие работы сейчас на review научных конференций, и чуть позже мы вернёмся с новостями.

Год ушёл на то, чтобы выйти на такой ритм активной исследовательской работы. И сегодня я хочу поблагодарить Сабрину Садиех. Помимо собственных исследований в области интерпретируемости моделей, Сабрина руководит R&D в нашей лаборатории, задаёт вектор, помогает доводить исследования до результата и рассказывает про новые наработки в своём канале.

Вокруг лаборатории постепенно складывается сильная команда. Если вам близка эта тема, следите за новостями в канале лаборатории, скоро мы будем расширять набор research-команд.