⭐️ MLSecOps Engineer (AI Safety) в Okko

MLSecOps Engineer (AI Safety) — это специалист, который отвечает за безопасность и надежность систем искусственного интеллекта.

Обязанности:
+ Участие в разработке архитектуры и дизайна стандартизированного размещения ИИ агентов, сегментировании и изолировании контекстов агента (разделение памяти, защита системных промптов);
+ Внедрение и настройка инструментов перехвата и валидации промптов (guardrails), написание правил детекции атак (Jailbreaking, Prompt Injection) и фильтрации вывода;
+ Построение пайплайна безопасной загрузки данных (RAG), реализация механизмов санитизации данных (очистка PII, секретов) до попадания в векторный индекс, настройка прав доступа (RBAC) на уровне чанков данных в векторной базе данных;
+ Разработка и поддержка набора автотестов для ежедневного тестирования безопасности агента;
+ Разработка валидаторов для структурированного вывода, проверка планов агента на безопасность перед исполнением (pydantic).

Требования:
+ Свободное владение Python;
+ Знание LangChain и/или LlamaIndex, умение писать кастомные callbacks, chains, tools;
+ Понимание OWASP Top 10 for LLM, знание механик атак (prompt injection, indirect injection, data poisoning, model denial of service);
+ Понимание работы векторных баз данных (Pinecone, Milvus, Qdrant);
+ Базовое понимание Docker и CI/CD для интеграции проверок в общий пайплайн.

Мы предлагаем:
+ Необходимое оборудование и софт для работы;
+ Официальное трудоустройство;
+ ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки;
+ Льготные условия ипотеки в рамках зарплатного проекта;
+ Бесплатная подписка на сервисы партнеров;
+ Корпоративный спорт;
+ Насыщенная корпоративная жизнь;
+ Электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам.

Ссылка на вакансию: https://hh.ru/vacancy/132741607

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Запускаем второй поток новой учебной программы по AI Governance!

Учитывая стремительный рост и востребованность нового направления AI Governance, Академия Softline с 19 по 30 мая проводит второй поток новой корпоративной учебной программы «AI Governance в критических отраслях: от рисков и угроз к этике и доверию».

Учебная программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ. Это первая в России программа по AI Governance в критических отраслях.

В рамках обучения слушатели узнают:
1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем?
2. Как избежать рисков нарушения этики и дискриминации?
3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу?
4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ?
5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают?
6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования?
7. Какие требования к архитектуре ИИ-систем есть в AI Governance?
8. Как работать с Каталогом и Глоссарием данных в AI Governance?
9. Какие есть методы, инструменты и фреймворки для AI Governance?
10. Как выстроить процессы AI Governance в компании.
11. Многое другое.

Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру.

Сильные стороны программы:

1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень).

2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно.

3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.

4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем.

5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступил в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона о регулировании ИИ в России (он сейчас на обсуждении, макет уже разработан). Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования.

6. Автор программы принимает участие в разработке ГОСТ, ПНСТ, ФЗ и других нормативно-правовых регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях.

Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/ai_g

Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu/

По итогам обучения выдается удостоверение о повышении квалификации.

Global MLSecOps & AI Governance Architect
Николай Павлов

⭐️ ИИ-агенты переходят в формат бизнес-советников

Согласно прогнозу IBM и Oxford Economics, к 2030 году главным риском для компаний станет не возможность ошибки, а излишняя осторожность. 79% топ-менеджеров ожидают, что искусственный интеллект (ИИ) будет напрямую влиять на выручку бизнеса. Прогнозируется рост продуктивности на 42%, появление ИИ-советников в советах директоров и переход компаний к моделям AI-First.

Промедление с внедрением ИИ сегодня может создавать потенциально более опасный риск фатального отставания в конкурентной гонке. В динамично развивающихся сферах деятельности каждый квартал задержки - это упущенный потенциал роста. Кроме того, компания теряет привлекательность для сильных специалистов, которые хотят работать с передовыми технологиями.

"Пока одни топ-менеджеры продолжают "отмахиваться" от технологий, другие всесторонне используют ИИ как "спарринг-партнера" при подготовке к заседаниям, в качестве ассистента и симулятора, который способен в кратчайшие сроки перерабатывать большие объемы отчетов и операционки", - говорит академический руководитель образовательной программы "Прикладные нейросетевые технологии" факультета компьютерных наук НИУ ВШЭ Руслан Каюмов.

Он объясняет, что это помогает сократить информационный разрыв между, например, членами совета директоров и рядовыми сотрудниками, что напрямую повышает обоснованность управленческих решений.

Логичный следующий шаг в данном контексте - повсеместный переход к ИИ-советникам для топ-менеджемента, которые будут готовить аналитику, сценарии и рекомендации. Реалистичный горизонт составляет до трех лет, а компании в IT и финансах уже экспериментируют с такими решениями. В более консервативных секторах процесс может растянуться, но вектор очевиден, отмечает Каюмов.

Но к 2030 году на первый план выйдет стратегический риск - упущение возможностей из-за излишней осторожности. В контексте искусственного интеллекта это означает, что компания, которая чрезмерно фокусируется на минимизации гипотетических сбоев ИИ и замедляет его внедрение, может безвозвратно отстать от конкурентов. Скорость инноваций и адаптации становится критическим фактором выживания. Пока одна организация будет годами тестировать идеальную, но локальную модель, её более смелые конкуренты уже перепроектируют свои бизнес-процессы, создадут новые продукты и "захватят" рынок.

Продолжение: https://vk.com/wall-210601538_2057

Постквантовый алгоритм шифрования ML-KEM

Возможно вы обратили внимание в видео с практикой по установке соединения TLS, что для обмена ключами симметричного шифрования использовался гибридный алгоритм Диффи-Хеллмана на эллиптических кривых и ML-KEM. Как работает алгоритм Диффи-Хеллмана мы разбирали в курсе, а что за алгоритм ML-KEM? И для чего он нужен?

ML-KEM (Module-Lattice-Based Key-Encapsulation Mechanism) - это постквантовый алгоритм шифрования. В нем используется криптография на решетке (lattice-based cryptography), взломать такие алгоритмы квантовые компьютеры не смогут.

ML-KEM стандартизован NIST в документе FIPS 203. В нем определены три варианта ML-KEM-512, ML-KEM-768 и ML-KEM-1024, которые отличаются параметрами алгоритма ML-KEM, скоростью работы и уровнем безопасности. В видео при установке соединения TLS использовался вариант ML-KEM-768.

Зачем внедрять алгоритмы постквантового шифрования сейчас, когда квантовых компьютеров еще нет? Внедрение новых технологий в компьютерных сетях, как правило, занимает длительное время. Поэтому лучше начать делать это заранее, чтобы успеть к появлению квантовых компьютеров 😊

Для чего комбинировать алгоритмы Диффи-Хеллмана на эллиптических кривых и ML-KEM? Сейчас ML-KEM еще плохо изучен и если в нем найдут уязвимости, то алгоритма Диффи-Хеллмана будет достаточно для эффективной защиты (пока не появятся квантовые компьютеры 😊).

На Хабре есть отличная статья "Разбираем байты постквантовой ML-KEM на примере «браузерного» TLS", рекомендую изучить ее, если хотите детально разобраться, как именно ML-KEM используется при установке соединения TLS 1.3.

⭐️ Мурашко: Минздрав планирует снижать нагрузку на медиков за счет введения ИИ

Министерство здравоохранения РФ планирует снизить документационную нагрузку на медицинских сотрудников за счет внедрения технологий искусственного интеллекта (ИИ). Об этом 11 мая сообщил глава ведомства Михаил Мурашко.

По его словам, одна из разработок с использованием ИИ уже внедряется в практику. Система позволяет быстро анализировать электронную историю болезни и карту пациента, а затем выдавать врачу, медсестре или сотруднику приемного отделения скорой помощи необходимую информацию.

Мурашко подчеркнул, что время анализа медицинских данных с помощью ИИ составляет всего несколько секунд. Раньше аналогичный процесс мог занимать до получаса.

С его слов, "есть еще ряд других программных продуктов, которые позволяют сократить это всё, и ряд решений технологических: фиксация, транскрибация речи, суммаризация. Это всё очень активно приходит в нашу практику».

РИА

⭐️ GoCloud 2026

Все записи конференции GoCloud 2026, доклады очень ценные, презентована масса уникальных разработок, представлены замечательные тренды и прогнозы развития ИИ-агентов.

Радует, что несколько раз упомянута и отечественная разработка HiveTrace, которая эффективно зарекомендовала себя как одна из лучших защитных систем для LLMs, RAGs и ИИ-агентов. Ребята рассказывают интересно и доступным языком, очень рекомендую посмотреть хотя бы часть этих ярких выступлений.

Ссылка на доклады конференции (доступны онлайн бесплатно): https://cloud.ru/gocloud

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Безопасная интеграция с облачными ИИ-моделями: как защитить данные при передаче в облако

Можно ли безопасно подключать облачные ИИ-модели к внутренним системам компании и при этом не передавать контроль над конфиденциальными данными внешнему провайдеру? Наш эксперт рассказал, как выстроить трёхуровневую архитектуру доверия для безопасной интеграции с облачными ИИ-моделями — без риска утечки конфиденциальных данных и с соблюдением требований регуляторов.

Данные могут использоваться для получения ответа от ИИ-системы, но не должны становиться частью её памяти или использоваться для обучения и дообучения моделей. Это достижимо при построении многослойной защиты.

Трёхуровневая архитектура доверия

1. Юридический уровень

При заключении договора с облачным провайдером необходимо зафиксировать основные юридические меры защиты:

+ запрет на использование ваших данных для дообучения моделей;
+ обязательство удалить данные сразу после обработки;
+ право на внеплановый аудит;
+ требование вести и хранить логи операций;
+ готовность провайдера предоставить эти логи по вашему запросу в любое время.

Соответственно при любом изменении договора эти моменты важно проверять и, возможно, добавлять новые детали. Например, если конфиденциальность критична, в договоре фиксируется, что запросы обрабатываются исключительно автоматически, без привлечения операторов.

Важно четко обозначить и запрет на передачу данных третьим лицам без письменного согласования и предоставление реестра всех вовлечённых инфраструктурных партнёров (с их контактными данными) по первому запросу.

Как дополнительную меру важно прописать в договоре SLA по инцидентам и возможные штрафные санкции, то есть зафиксировать сроки уведомления (например, от 1 ч до 12 ч по внутренним правилам согласно договору, и как минимум 72 ч по ФЗ №152). В идеале прописать и финансовую ответственность за нарушение запрета на обучение или утечку, как следствие - право на одностороннее расторжение без компенсаций в случае доказанных утечек.

А, значит, на случай прекращения сотрудничества в договоре стоит и прописать обязательное предоставление акта криптографического уничтожения данных, право на экспорт остатков в машиночитаемом формате, сроки полной деинсталляции.

2. Технический уровень: шлюз-фильтр

Пайплайн данных строится по принципу фильтрации на вашей стороне:

+ перед отправкой в облако информация проходит через локальный шлюз, который автоматически находит и маскирует конфиденциальные сведения (ФИО, номера счетов, банковских карт, паспортные данные, СНИЛС, коммерческая тайна и другие), заменяя их на специальные коды;
+ соответственно в облако уходит уже обезличенный запрос;
+ модель отрабатывает и возвращает ответ с теми же кодами;
+ на вашей стороне коды заменяются обратно на исходные данные, в результате получается полноценный интерпретируемый ответ.

Для надёжности такого шлюз-фильтра используются заранее протестированные, доверенные шаблоны промптов, гарантирующие, что структура данных (например, серия и номер паспорта) сохранится без искажений.

Для повышения надежности на техническом уровне следует рассмотреть архитектуру двойного фильтра на входе в модель. Например, проверяем у себя и создаем проверку на уровне облачного провайдера. В том редком случае, когда наш фильтр не срабатывает, провайдер информирует нас. При этом не обязательно дублировать архитектуру двух фильтров - очевидно, что для экономии денег, фильтр на стороне провайдера скорее будет проще и оперативнее.

И как одна из простых, но дополнительных и крайне важных мер - необходимо считать количество отправленных запросов в облако и количество полученных ответов, и затем сверять это с данными провайдера. При необходимости можно сверять и размеры такой информации, хотя бы выборочно.

3. Уровень аудита и соответствия требованиям регуляторов

+ ведение полного журнала событий: фиксация, какие данные, в каком виде и когда передавались;
+ гарантия физического размещения серверов в российской юрисдикции;
+ регулярная проверка и хранение логов.

В рамках этого уровня требуется проводить регулярные тренировки по реагированию на инциденты с ИИ (промпт-инъекции, отравление данных, дрейф данных, дрейф модели и другие), внесение сценариев в программу обучения сотрудников, работающих с ИИ-системами. При этом это должны быть не только указанные типы инцидентов, специфичные для ИИ, но и инциденты общего плана, хорошо известные командам ИБ и SRE (DoS-атаки, падение сервера, компрометация системы, требующая восстановления или запуска резервирования и другие типы).

Таким образом, базовая формула трехуровневой архитектуры доверия: это юридический запрет на обучение + техническая изоляция данных через шлюзы и шифрование + регулярный аудит.

Ссылка на полную версию статьи (смотреть без VPN): https://academyit.ru/articles/tematika3/bezopasnaya-integratsiya-s-oblachnymi-ii-modelyami-kak-zashchitit-dannye-pri-peredache-v-oblako/

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Выступление Председателя Правительства России Михаила Владимировича Мишустина на пленарной сессии XI конференции ЦИПР

Очень рекомендую посмотреть и больше узнать про лучшие практики внедрения ИИ-агентов в промышленной сфере. Масса ценной статистики, актуализировано множество реальных проблем внедрения ИИ в промышленности, включая и вопросы безопасности. Радует, что все топы бизнеса с пленарного заседания и сам Михаил Владимирович очень хорошо подкованы как в сфере больших данных, так и в направлении ИИ-агентов.

Ссылка: http://vk.com/video-26284064_456309230

Архитектор MLSecOps и AI Governance
Николай Павлов

В этом году мы расширили работу научного крыла HiveTrace. Лаборатория AI Security это место, где мы экспериментируем с атаками на модели и OpenClaw, guardrails, MCP-сканнерами, SAE и зондами. Исследования делают ребята из ИТМО, МФТИ и Ярославского университета.

Недавно мы писали о работе Ширин Алановой про детекцию мультиязычных джейлбрейков через эмбеддинги. Вера Краснобаева провела много экспериментов с каскадными системами, и её наработки включили в OWASP FinBot CTF. Кстати, о том, как контрибьютить в OWASP-проекты, Вера подробно написала на Medium. Другие работы сейчас на review научных конференций, и чуть позже мы вернёмся с новостями.

Год ушёл на то, чтобы выйти на такой ритм активной исследовательской работы. И сегодня я хочу поблагодарить Сабрину Садиех. Помимо собственных исследований в области интерпретируемости моделей, Сабрина руководит R&D в нашей лаборатории, задаёт вектор, помогает доводить исследования до результата и рассказывает про новые наработки в своём канале.

Вокруг лаборатории постепенно складывается сильная команда. Если вам близка эта тема, следите за новостями в канале лаборатории, скоро мы будем расширять набор research-команд.