⭐️ Провел серию встреч с ребятами по безопасной и эффективной работе в нейронных сетях в лагере "Антоновский"

Это один из лучших лагерей Свердловской области, который, традиционно воспитывает в ребятах стремление к труду, знаниям, дисциплине. Особенно важна нацеленность команды лагеря на использование передовых технологий, включая нейронные сети.

Я встречался с отрядами от 7 до 17 лет, мы изучали самые современные нейронные сети, способы их ответственного и безопасного применения в реальной жизни и в профессиях. Поговорили о дипфейках и современных трендах.

Ежегодно интерес к нейронным сетям среди ребят растет. И если еще года два назад я общался только с 1 и 2 отрядами (ребята с 14 до 17 лет), то теперь работать с нейронными сетями учатся дети уже с 7 лет! Это говорит о колоссальном прогрессе за два последних года и явно этот навык критически им необходим.

Таким образом, нам удалось создать одну из первых в России программ дополнительного образования по освоению нейронных сетей для самых младших ребят. Конечно, я и далее в свободное время буду продолжать оказывать поддержку этим детям, развивать и это крайне важное направление активности. Тем более, что и оно в небольшой степени включает в себя элементы MLSecOps и AI Governance (на уровне пользователей).

Я не прощаюсь с этими ребятами, а говорю им "до новых встреч!".

Архитектор MLSecOps и AI Governance
Николай Павлов

https://vk.com/wall-210601538_2038

⭐️ В Китае резко возросло число компаний, состоящих из одного человека и агентов ИИ

В Китае наблюдается взрывной рост числа «компаний, состоящих из одного человека» (OPC). Президент Alibaba Куо Чжан оценил, что 40% клиентов платформы сегодня — это предприниматели-одиночки. Драйвером к этому явлению стали агенты искусственного интеллекта, включая популярный OpenClaw, которые берут на себя рутинные задачи: маркетинг, логистику, налоговую отчетность, обслуживание клиентов и управление соцсетями.

Вместо того чтобы заменять людей, они фактически являются сотрудниками этого предпринимателя, — заявил Чжан.
Компании из одного человека — это бизнес-модель, при которой основатель ведет все операции самостоятельно, без найма сотрудников. Раньше это было возможно только в микро-нишах, но теперь ИИ-агенты автоматизируют задачи, требующие целых отделов.

Чжан объяснил: загрузка товаров на разные сайты, управление аккаунтами в соцсетях, обработка жалоб — все это «легко для крупной компании, но критически необходимо для успеха малого бизнеса». ИИ-агенты стали тем недостающим звеном.

Особый ажиотаж вызвал OpenClaw — агент с открытым исходным кодом. В Китае началась настоящая «золотая лихорадка»: энтузиасты создают агентов для торговли акциями, организации свиданий вслепую и управления бизнесом. Многие OPC-компании построили свои сервисы именно на OpenClaw.

Продолжение: https://vk.com/wall-210601538_2039

⭐️ Microsoft представила стандарт защиты ИИ-агентов по градации OWASP

Microsoft выпустила Agent Governance Toolkit – открытый инструментарий для защиты автономных ИИ-агентов от взлома, манипуляций и несанкционированных действий.

Автономные ИИ-агенты становятся всё мощнее – и всё опаснее. Пока разработчики наперегонки внедряют их в бизнес-процессы, вопрос безопасности остаётся без ответа: кто следит за тем, что агент делает прямо сейчас, в реальном времени? Microsoft решила взяться за эту проблему и опубликовала Agent Governance Toolkit – бесплатный инструментарий с открытым исходным кодом под лицензией MIT.

По заявлению компании, новый проект – первый в мире, покрывающий все десять рисков агентного ИИ, которые организация OWASP зафиксировала в прошлом году. В список угроз вошли: перехват целей, злоупотребление инструментами, кража идентификаторов, атаки на цепочку поставок, несанкционированное выполнение кода, отравление памяти, небезопасные коммуникации, каскадные сбои, манипуляции доверием между человеком и агентом, а также появление «агентов-изгоев».

Toolkit состоит из нескольких модулей. Agent OS работает как политический движок и перехватывает каждое действие агента до его выполнения. Agent Mesh защищает коммуникацию между агентами. Agent Runtime управляет динамическими кольцами исполнения. Agent SRE отвечает за общие защитные механизмы. Agent Compliance автоматически проверяет соответствие требованиям и выставляет оценки. Agent Marketplace управляет жизненным циклом плагинов. Agent Lightning обеспечивает управление обучением с подкреплением.

Инструментарий поддерживает Python, Rust, TypeScript, Go и .NET, а его код уже доступен на GitHub.

Ссылка: https://opensource.microsoft.com/blog/2026/04/02/introducing-the-agent-governance-toolkit-open-source-runtime-security-for-ai-agents

securitylab

⭐️ Управление ИИ-системами (AI Governance) в критических отраслях: как управлять рисками, соответствовать требованиям регуляторов и эффективно внедрять ИИ

Искусственный интеллект уже давно перестал быть экспериментом и стал обязательной инфраструктурой критических отраслей. Но вместе с возможностями растут и риски: от отравления данных и утечек информации до несоответствия новым требованиям регуляторов.

Ошибки ИИ-системы в финансовом секторе, медицине или промышленности стоят слишком дорого. Хаотичное внедрение ИИ без стратегического управления (AI Governance) — это путь к репутационным потерям и штрафам.

Приглашаем на вебинар, на котором рассмотрим, как эффективно управлять рисками и соответствовать требованиям регуляторов при внедрении искусственного интеллекта в критических отраслях.

Дата: 23 апреля 2026
Время: 11:00 - 12:30 мск
Участие бесплатное

Спикер: Николай Павлов, архитектор MLSecOps и AI Governance, Академия АйТИ (ГК Softline).

Николай регулярно вносит предложения и дополнения в нормативно-правовые акты, регулирующие ИИ в России (ГОСТ, ПНСТ, ФЗ).

На вебинаре разберём:


1. Архитектура AI Governance и управление рисками
+ В чем отличие AI Governance от направлений Data Governance и MLSecOps?
+ Классификация ИИ-систем по уровням риска: от «минимального» до «неприемлемого» - что ожидает российские ИИ-системы?
+ Примеры инцидентов AI Governance, методы оценки ущерба и построение риск-матриц (включая оценку мультипликативного эффекта).

2. Регуляторный ландшафт и вызовы времени
+ Обзор ключевых требований: 117 Приказа ФСТЭК, национальных стандартов РФ, включая ПНСТ «ИИ в КИИ» и ожидаемый Федеральный закон «Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации»
+ Почему этика и ответственность становятся критическими факторами для бизнеса? Что нужно сделать уже сейчас?

3. Практическое внедрение и управление ИИ-системами
+ Пошаговый план внедрения: от оценки зрелости до дорожной карты.
+ Ролевая модель AI Governance: Data Steward, Data Owner в контексте ИИ.
+ Инцидент-менеджмент: роли, плэйбуки и постмортемы.
+ Как обосновать экономический эффект от защитных мер и рассчитать KPI системы AI Governance?
+ Как провести базовый аудит AIG в компании?

Регистрация по ссылке: https://academyit.ru/deals/activity/events/ai-governance-v-kriticheskikh-otraslyakh-kak-upravlyat-riskami-sootvetstvovat-regulyatoram-i-effekti/?bx_sender_conversion_id=19832312&utm_source=email&utm_medium=email&utm_campaign=w23042026_AIGovernance

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Владимир Путин назвал ИИ одним из решающих факторов развития России

Привет, мои дорогие друзья и коллеги!

Настоятельно рекомендую посмотреть совещание по вопросам развития технологий искусственного интеллекта, проводимое Президентом РФ Владимиром Путиным.

Указаны фундаментальные тезисы, на которые всем специалистам, связанным с ИИ, крайне важно ориентироваться в настоящем и будущем: https://rutube.ru/video/dbeb25bbd3d92506ef247399c80b80b0/

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Внес ряд предложений в законопроект "Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации" - и часть из них была принята.

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Статистика использования ИИ в России

Большинство россиян (63%) пользовались технологиями искусственного интеллекта в течение 2025 года, также их применяли 86% среди представителей поколения цифры (рожденные после 2001 года) и 87% среди младших миллениалов (рожденные с 1992 по 2000 год), сообщил руководитель департамента политических исследований аналитического центра ВЦИОМ Михаил Мамонов.

"Шестьдесят три процента россиян заявляют о том, что они применяли технологии искусственного интеллекта в своей повседневной жизни в течение последнего года. При этом среди самых молодых эта цифра носит почти абсолютный характер. То есть порядка 90% заявляют о том, что они это уже используют, применяют", - сказал Мамонов в ходе круглого стола.

Он отметил, что 54% россиян воспринимают искусственный интеллект прежде всего как помощника. Этот показатель выше среди молодых людей. В такой роли ИИ воспринимают 67% представителей поколения цифры (рожденные после 2001 года) и 66% среди младших миллениалов (рожденные с 1992 по 2000 год).

При этом больше половины респондентов (52%) доверяют искусственному интеллекту, и 38% - не доверяют. Среди причин доверия граждане РФ назвали то, что технология может выполнять опасные для жизни человека виды работ (34%), улучшает, упрощает жизнь и работу человека (33%), объективна, так как у нее нет эмоций (32%).

"Почему не доверяют и по каким направлениям возможно ухудшение оценок искусственного интеллекта? Прежде всего, это допустимость ошибок - 28% заявили о том, что в работе искусственного интеллекта бывают сбои и ошибки. Второе - страх, опасение, что искусственный интеллект может выйти из-под контроля человека. Третье - что искусственный интеллект может использоваться в корыстных целях, соответственно, 23%.

Он также подчеркнул, что 21% россиян не доверяют ИИ, потому что он собирает данные, которые потом могут быть похищены, а каждый пятый (20%) считает, что технология проведет к деградации населения. В то же время, 80% опрошенных скорее положительно относятся к использованию искусственного интеллекта в сфере промышленности, 76% - в сфере науки, и по 72% - в строительстве, энергетике и торговле.

"При этом надо отметить, что люди допускают использование технологии искусственного интеллекта в абсолютном большинстве сфер, за исключением одной... Это сфера государственного управления. В государственном управлении все-таки предполагается наличие человека, к которому можно обратиться. Поэтому скорее положительно относится к использованию технологий искусственного интеллекта в государственном управлении 37%, отрицательно 53%".

ria

⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance

ВОПРОС:

Николай, какой должна быть структура документа стратегии по развитии искусственного интеллекта в компании (по направлению MLSecOps), какие эффекты для бизнеса она должна учитывать (возврат инвестиций, увеличение выручки)?

ОТВЕТ:

Добрый день и благодарю за Ваш вопрос!

Важно подчеркнуть сразу, что я опишу Вам примерный типовой обезличенный шаблон. А Вы уже можете адаптировать его под свою компанию. Данный шаблон не является однозначной рекомендацией, Вам обязательно нужно внести в него корректировки и доработки с учетом специфики Вашей компании и её ИИ-систем.

1. ТИТУЛЬНЫЙ ЛИСТ.

Оформляется стандартно, в соответствии с внутренними методическими требованиями Вашей компании. В шапке название компании, ниже справа - "Утверждаю", фамилия, инициалы, должность утверждающего лица, место для подписи.

Далее ниже по центру название документа, например, "Стратегия по развитию ИИ в компании (направление MLSecOps). Версия 1.0". Обязательно указываем, что версия первая, так как этот документ (стратегия) будет изменяться и дорабатываться со временем.

В нижней части титульной страницы указываем город и год.

2. РЕЗЮМЕ.

Как правило, занимает одну, максимум две страницы. Здесь можно написать определение стратегии по развитию ИИ компании в направлении именно MLSecOps (или даже просто можно называть "Стратегия MLSecOps", или "Политика по безопасности и отказоустойчивости ИИ-систем" компании).

Далее пишем цель этой стратегии, можно добавить задачи ("для достижения указанной цели поставлены следующие задачи..."). Задачи пишем в неопределенной форме ("разработать...", "установить..." и т.п.).

Далее либо в этом пункте, либо в отдельном, следующем, мы указываем ключевые инвестиции, потребности и ожидаемый ROI (то есть отдачу от возврата инвестиций).

Желательно указать также 3 наиболее ярких и очевидных бизнес-эффекта, может быть и не переводить их в деньги, но так, чтобы было ясно, что это точно нужно, нужно защищать ИИ-системы и обеспечивать их отказоустойчивость.

То есть в кратком Резюме мы цепляем бизнес, погружаем в тему и тут же говорим на языке денег почему нужно изучать документ дальше, в чем его конкретная выгода.

Продолжение: https://vk.com/wall-210601538_2045

⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance

ВОПРОС:
Как связать ущерб от ИИ-инцидентов с бизнес-стратегией бизнеса (стратегические цели/проекты) и возвратом инвестиций (ROSI или ROI)?

ОТВЕТ:
Чтобы связать ущерб от ИИ-инцидентов с бизнес-стратегией компании и рассчитать возврат инвестиций (так называемый ROSI), нужно уметь говорить с руководством в первую очередь на языке денег и целей, а не только в части технических уязвимостей. И нужно оценивать это с позиции уже работающей ИИ-системы, исходить из того, что будет если она остановится, сколько денег мы тут потеряем, а не только анализировать последствия инцидента.

Здесь можно выделить такие шаги:

Шаг 1. Берем стратегическую ИИ-систему. Например: «Запустить ИИ-помощника для клиентов и увеличить продажи на 10%».

Шаг 2. Оцениваем, что будет, если такая ИИ-система сломается. Не «хакеры атакуют модель», а вообще, что будет если «помощник начнет выдавать ошибки»? Сколько мы потратим на восстановление, на ликвидацию угрозы. Сколько потеряем потом денег в результате последствий – какой будет мультипликативный ущерб? Например, клиенты уйдут, значит, мы потеряем около 5% выручки (50 млн.) + заплатим штрафы + рухнет цена акций на бирже, значит, придется повысить дивиденды.

Шаг 3. Считаем риск. Умножаем вероятность этого сбоя (например, 20% в год) на сумму всех потерь (50 млн.). Получаем «ожидаемый ущерб» или «потенциальный ущерб» - 10 млн. в год.

Шаг 4. Оцениваем защиту. Если решение за 4 млн. в год предотвращает 80% таких инцидентов, мы этим «спасаем» 8 млн. тыс. (80% от $10 млн.). И экономим этим условно тоже 4 млн.

Шаг 5. Считаем ROSI. Формула простая: (Спасенные деньги − Стоимость защиты) / Стоимость защиты. В нашем примере: (8 млн. – 4 млн.) / 4 млн. = 100%. То есть защитная мера очень эффективна и окупится в течение полугода.

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Управление ИИ-системами (AI Governance) в критических отраслях: как управлять рисками, соответствовать требованиям регуляторов и эффективно внедрять ИИ

Искусственный интеллект уже давно перестал быть экспериментом и стал обязательной инфраструктурой критических отраслей. Но вместе с возможностями растут и риски: от отравления данных и утечек информации до несоответствия новым требованиям регуляторов.

Ошибки ИИ-системы в финансовом секторе, медицине или промышленности стоят слишком дорого. Хаотичное внедрение ИИ без стратегического управления (AI Governance) — это путь к репутационным потерям и штрафам.

Приглашаем на вебинар, на котором рассмотрим, как эффективно управлять рисками и соответствовать требованиям регуляторов при внедрении искусственного интеллекта в критических отраслях.

Дата: 23 апреля 2026
Время: 11:00 - 12:30 мск
Участие бесплатное

Спикер: Николай Павлов, архитектор MLSecOps и AI Governance, Академия АйТИ (ГК Softline).

Николай регулярно вносит предложения и дополнения в нормативно-правовые акты, регулирующие ИИ в России (ГОСТ, ПНСТ, ФЗ).

На вебинаре разберём:


1. Архитектура AI Governance и управление рисками
+ В чем отличие AI Governance от направлений Data Governance и MLSecOps?
+ Классификация ИИ-систем по уровням риска: от «минимального» до «неприемлемого» - что ожидает российские ИИ-системы?
+ Примеры инцидентов AI Governance, методы оценки ущерба и построение риск-матриц (включая оценку мультипликативного эффекта).

2. Регуляторный ландшафт и вызовы времени
+ Обзор ключевых требований: 117 Приказа ФСТЭК, национальных стандартов РФ, включая ПНСТ «ИИ в КИИ» и ожидаемый Федеральный закон «Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации»
+ Почему этика и ответственность становятся критическими факторами для бизнеса? Что нужно сделать уже сейчас?

3. Практическое внедрение и управление ИИ-системами
+ Пошаговый план внедрения: от оценки зрелости до дорожной карты.
+ Ролевая модель AI Governance: Data Steward, Data Owner в контексте ИИ.
+ Инцидент-менеджмент: роли, плэйбуки и постмортемы.
+ Как обосновать экономический эффект от защитных мер и рассчитать KPI системы AI Governance?
+ Как провести базовый аудит AIG в компании?

Регистрация по ссылке: https://academyit.ru/deals/activity/events/ai-governance-v-kriticheskikh-otraslyakh-kak-upravlyat-riskami-sootvetstvovat-regulyatoram-i-effekti/?bx_sender_conversion_id=19832312&utm_source=email&utm_medium=email&utm_campaign=w23042026_AIGovernance

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance

ВОПРОС:

Бизнес готов передавать критичные данные и процессы в ИИ, и мы планируем глубокую интеграцию ключевых бизнес-систем с облачными ИИ-моделями из-за отсутствия собственных мощностей. Вопрос в комплексной архитектуре доверия: как организовать пайплайн данных, чтобы соблюсти требования регуляторов и при этом исключить попадание конфиденциальных сведений в контур обучения внешней модели?
Существуют ли проверенные сценарии безопасного шаринга данных с облаком без потери контроля над ними?

ОТВЕТ:

Добрый день и благодарю за Ваш вопрос.
Да, это абсолютно решаемая задача, и многие российские компании уже её решают. Постараюсь ответить так, чтобы большинству участников вебинара это было доступно.
Главная идея тут проста - Ваши данные могут использоваться для получения ответа от ИИ-системы, но при этом они не должны становиться частью его памяти или использоваться для обучения (или дообучения).

Чтобы этого добиться, нужно выстроить многослойную защиту, начиная с юридической части. При заключении договора с провайдером облачных услуг необходимо прописать жесткие условия: запрет на использование Ваших данных для дообучения моделей и обязательство удалить их сразу же после обработки, сохранить об этой операции запись (логи), хранить их и быть готовыми в любое время дня и ночи предоставить эти логи по Вашему требованию.

Это база, на которую накладываются и технические меры. Сам пайплайн данных строится по принципу фильтра. То есть перед отправкой в облако Ваша информация должна проходить через специальный шлюз на вашей стороне, который автоматически находит и маскирует конфиденциальные сведения, например, заменяет фамилии, номера счетов, номера банковских карт или паспортные данные, СНИЛС и другие персональные, коммерческие данные на специальные коды.

В результате в облако уходит уже обезличенный запрос, безопасный. И модель выдает ответ, с этими же кодами обезличенными, а на вашей стороне эти коды снова заменяются на исходные данные. Для такой тактики можно использовать шаблоны промптом, протестированные заранее, чтобы точно знать, что мы отправляем допустим паспортные данные, серия, номер (обезличенные конечно) и модель точно их вернет при определенной структуре шаблона, не изменит, не потеряет цифры на конце и т.п. Таким образом, в этом сценарии провайдер технически уже не увидит критичной, конфиденциальной информации.

При этом чтобы соблюсти требования регуляторов, важно вести полный журнал событий, хранить и проверять логи. Нужно фиксировать, какие данные, в каком виде и когда передавались, и гарантировать, что серверы физически находятся в российской юрисдикции.

В итоге базовая формула здесь юридический запрет на обучение + техническая изоляция данных через шлюзы и шифрование + постоянный аудит, фиксация действий в логах. Это все позволяет пользоваться облачным ИИ, не передавая ему контроль над вашей информацией.

Подчеркну здесь, что это лишь общая картина при ответе на Ваш вопрос. Он не является однозначной рекомендацией к действию. Зная специфику Ваших систем, можно предложить более прицельные и эффективные меры.

Отвечаю на вторую часть вопроса – проверенные сценарии безопасного шаринга.

На практике для безопасного шаринга часто используется сценарий, когда конфиденциальные данные вообще никогда не покидают локальный контур. И в облачную модель передаются только или обезличенные эмбеддинги, или же текстовые запросы без чувствительного контекста.

Продолжение: https://vk.com/wall-210601538_2048

⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance

ВОПРОС:

В чем заключается обучение обычных пользователей при работе с ИИ в AI Governance. Чему их учить?

ОТВЕТ:

Добрый день и спасибо за Ваш вопрос! Он актуален и компании всё активнее обращают внимание именно на обучение пользователей при работе с ИИ-системами.

И это не просто очередной курс по промпт-инжинирингу или базовый ML, а целенаправленное формирование культуры ответственного и безопасного использования искусственного интеллекта. В таком обучении нужно заложить и этику, и выгоды компании, и немного подсветить тренды, и описать инциденты, и реагирование на них, и дать сотрудникам чек-листы, инструкции на закрепление, и многое другое.

Вам нужно добиться, сделать так, чтобы каждый сотрудник, работающий с Вашими ИИ-системами, понимал не только как работать, но и какие риски это несет, какой будет ущерб и как действовать корректно, правильно, чтобы не навредить с одной стороны, а с другой – чтобы выполнить работу.

У программы обучения могут быть такие разделы:

1. Базовая грамотность.
Расскажите про то, что такое ИИ и как он работает. Пользователи должны понимать фундаментальные ограничения технологии, особенно на реальных примерах Вашей компании. Очень важно учить людей не просто слепо доверять результату, а критически оценивать его, сформировать понимание, что у ИИ есть галлюцинации, что важно все же проверять ключевые выводы, относиться критически. Нужно помнить, что ответственность за принятое решение всегда остаётся на сотруднике, а не на модели.

2. Безопасность данных.
Это самый важный, на мой взгляд, блок. Ваши сотрудники должны чётко знать, какую информацию можно, а какую категорически нельзя вводить в публичные или внешние ИИ-инструменты и даже во внутренние ИИ. Нужно учить распознавать типы конфиденциальных данных (персональные данные – их все возможные виды и типы, коммерческая тайна, куда могут относиться и технологические решения, врачебная тайна и другие). Надо понимать принципы классификации таких данных и сформировать понимание, куда обращаться, если случайно отправил чувствительные данные. Здесь же можно объяснить, как правильно маскировать информацию перед запросом, если уж нужно что-то отправить критичное в модель, какую-то чувствительную информацию, чтобы при этом и данные отправить и ответ получить эффективный. Сотрудникам нужно также рассказать, как работать с внутренними ИИ-системами, если есть какие-то специфичные моменты по безопасности.

3. Этика и предвзятость.
Также пользователей нужно обучить замечать признаки предвзятости в результатах, например, при подборе кандидатов, оценке кредитоспособности и генерации контента. Ваши сотрудники должны изначально хотя бы примерно понимать, почему это может происходить, и знать, как эскалировать такие случаи, куда обращаться.

Продолжение: https://vk.com/wall-210601538_2049

⭐️ По просьбе подписчиков выкладываю запись моего вебинара "Управление ИИ-системами (AI Governance) в критических отраслях: как управлять рисками, соответствовать требованиям регуляторов и эффективно внедрять ИИ"

Ссылка: https://academyit.ru/deals/activity/seminars/upravlenie-ii-sistemami-ai-governance-v-kriticheskikh-otraslyakh-kak-upravlyat-riskami-sootvetstvova/?bx_sender_conversion_id=19987265&utm_source=email&utm_medium=email&utm_campaign=w23042026_AIGovernance

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Записи докладов конференции MLечный путь от Selectel

Приветик, мои дорогие друзья и коллеги-профессионалы!

Вот и стали доступны записи всех докладов ежегодной конференции MLечный путь 2026 от компании Selectel. Это, стандартно, одна из ведущих российских конференций в сфере ИИ. Ребята обозначили массу трендов, поделились как бизнесовой практикой сферы ИИ (включая оценку инвестиций в ИИ, риски и остальные практики AI Governance), так и технологическими решениями (включая решения по защите ИИ-систем, MLSecOps)! Ну и, конечно же, затронули тему ИИ-агентов.

Поэтому - как всегда - смотрим внимательно, фиксируем себе массу нового и полезного, кому что непонятно, пишите в личку, подскажу.

Бизнес трек: https://vkvideo.ru/video-11462611_456240088
Технический трек: https://vkvideo.ru/video-11462611_456240089

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Как устроена безопасность Yandex AI Studio?

Рекомендую посмотреть это видео о том, как обеспечивается безопасная архитектура платформы для сборки ИИ-агентов Yahdex AI Studio: http://vk.com/video-200452713_456240411
Очень интересные моменты, есть и базовые, которые обязательны всегда и везде. Выступает Евгений Барановский, менеджер GenAI-проектов. Как обычно в Яндексе - все четко, наглядно, по существу и без лишней воды.

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ MLSecOps Engineer (AI Safety) в Okko

MLSecOps Engineer (AI Safety) — это специалист, который отвечает за безопасность и надежность систем искусственного интеллекта.

Обязанности:
+ Участие в разработке архитектуры и дизайна стандартизированного размещения ИИ агентов, сегментировании и изолировании контекстов агента (разделение памяти, защита системных промптов);
+ Внедрение и настройка инструментов перехвата и валидации промптов (guardrails), написание правил детекции атак (Jailbreaking, Prompt Injection) и фильтрации вывода;
+ Построение пайплайна безопасной загрузки данных (RAG), реализация механизмов санитизации данных (очистка PII, секретов) до попадания в векторный индекс, настройка прав доступа (RBAC) на уровне чанков данных в векторной базе данных;
+ Разработка и поддержка набора автотестов для ежедневного тестирования безопасности агента;
+ Разработка валидаторов для структурированного вывода, проверка планов агента на безопасность перед исполнением (pydantic).

Требования:
+ Свободное владение Python;
+ Знание LangChain и/или LlamaIndex, умение писать кастомные callbacks, chains, tools;
+ Понимание OWASP Top 10 for LLM, знание механик атак (prompt injection, indirect injection, data poisoning, model denial of service);
+ Понимание работы векторных баз данных (Pinecone, Milvus, Qdrant);
+ Базовое понимание Docker и CI/CD для интеграции проверок в общий пайплайн.

Мы предлагаем:
+ Необходимое оборудование и софт для работы;
+ Официальное трудоустройство;
+ ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки;
+ Льготные условия ипотеки в рамках зарплатного проекта;
+ Бесплатная подписка на сервисы партнеров;
+ Корпоративный спорт;
+ Насыщенная корпоративная жизнь;
+ Электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам.

Ссылка на вакансию: https://hh.ru/vacancy/132741607

Архитектор MLSecOps и AI Governance
Николай Павлов