2. Каждый этап жизненного цикла ИИ-систем создает каскадные риски, ущерб от которых многократно возрастает на следующем этапе. По своей сути, сами проекты «проваливает» не искусственный интеллект, а отсутствие системного подхода к управлению внедрением таких систем. При правильном подходе следует внедрять такие технологии, опираясь на ИИ-консалтинг, контроль качества инициатив и интеграцию практик безопасности на протяжении всего жизненного цикла решения.

3. Риски могут накапливаться параллельно, усиливая друг друга. В результате образуется «снежный ком» из всевозможных угроз и уязвимостей, которые в отдельности не набирают критическую массу для каких-либо значимых рисков, но в совокупности могу создать реальную угрозу. Чтобы не попасть в такую ситуацию, необходимо комплексно управлять рисками ИИ через системный подход, а не просто точечно устранять ошибки в ИИ-инициативах.

4.Безопасность — это не опция, а одна из основных характеристик ИИ-системы. Ее надо обеспечивать на всех этапах проекта начиная с обследования. Фундаментом для этого могут стать методы Secure by Design и MLSecOps. Без интеграции практик безопасности в различные этапы развития инициативы есть возможность изначально создать уязвимое решение, защищать которые после ввода в эксплуатацию гораздо сложнее и дороже.

Схема безопасного внедрения

Применять четыре принципа управления рисками нужно системно и последовательно. Такой подход поможет повысить защиту системы от инцидентов и свести к минимуму угрозы для бизнеса, а значит обеспечить ответственное и безопасное использование ИИ-систем в различных бизнес-процессах организации.

Продолжение: https://vk.com/wall-210601538_2024

⭐️ Обязательные нормативные акты, регламентирующие ИИ в медицине в России

1. Постановление Правительства РФ от 12 апреля 2018 г. N 447 "Об утверждении Правил взаимодействия иных информационных систем, предназначенных для сбора, хранения, обработки и предоставления информации, касающейся деятельности медицинских организаций и предоставляемых ими услуг, с информационными системами в сфере здравоохранения и медицинскими организациями" (с изменениями и дополнениями)

Постановление утверждает, что системы ИИ, работающие по SaaS-модели, должны регистрироваться как «иные системы».

К иным системам предъявляется масса требований, в том числе:

а) предотвращать несанкционированный доступ к информации и (или) передачу ее лицам, не имеющим права на доступ к информации;

б) обеспечивать своевременное обнаружение фактов несанкционированного доступа к информации;

в) обеспечивать предупреждение возможности неблагоприятных последствий нарушения порядка доступа к информации;

г) обеспечивать недопущение воздействия на технические и программные средства обработки информации, в результате которых нарушается их функционирование;

д) обеспечивать незамедлительное восстановление информации, модифицированной или уничтоженной вследствие несанкционированного доступа к ней;

е) обеспечивать постоянный контроль за обеспечением уровня защищенности информации;

ж) обеспечивать защиту информации при ее передаче по информационно-телекоммуникационным сетям;

з) обеспечивать применение сертифицированных по требованиям безопасности информации средств защиты информации;

и) обеспечивать защиту информации в ходе эксплуатации иной информационной системы;

к) обеспечивать обязательность учета и регистрации действий и идентификации участников, связанных с обработкой персональных данных в иных информационных системах

и многое другое.

2. Приказ Минздрава России № 341н от 14.06.2018 "Об утверждении Порядка обезличивания сведений о лицах, которым оказывается медицинская помощь, а также о лицах, в отношении которых проводятся медицинские экспертизы, медицинские осмотры и медицинские освидетельствования".

Устанавливает порядок обезличивания медицинских данных для защиты информации при использовании в ИИ-системах, требования к результатам обезличивания, последовательность действий и методы в процессе обезличивания.

Продолжение: https://vk.com/wall-210601538_2025

ПНСТ 1046-2026. "Искусственный интеллект в критической информационной инфраструктуре. Общие положения" https://protect.gost.ru/document1.aspx?control=31&baseC=6&page=1&month=3&year=2026&search=&id=271479

⭐️ Квантовый компьютер решил задачу на миллион лет быстрее суперкомпьютера

Компания D-Wave Quantum Inc., калифорнийский стартап, работающий в области квантовых вычислений для коммерческих приложений, решила практически значимую задачу, используя свой прототип квантового компьютера с квантовым отжигом D-Wave Advantage 2.

Используя квантовый компьютер, решение было получено за считаные минуты, демонстрируя потенциал вычислений в крупном масштабе.

Исследователи из D-Wave провели моделирование программируемых спиновых стекол – задачи, связанной с магнитными материалами, которая, как известно, является вычислительно сложной.

Магнитные минералы используются в различных сферах, от медицины до полупроводников, в разработке датчиков, двигателей и многого другого. Однако, поскольку эти материалы микроскопически малы, понимание их взаимодействий было сложным, что создавало проблему для открытия новых материалов.

Поскольку квантовая физика управляет поведением материалов, понимание квантовой природы магнитных минералов может помочь определить новые области применения этих материалов.
Центры высокопроизводительных вычислений (HPC) и суперкомпьютеры используют графические процессоры (GPU) для выполнения этих задач. Такой подход не только энергозатратен, но и требует много времени. Исследовательская группа D-Wave решила, что это подходящая задача для решения с помощью прототипа компьютера с квантовым отжигом Advantage 2.

В этом подходе система начинает в суперпозиции всех возможных решений, что является состоянием с высокой энергией и стремится достичь своего минимального или низкоэнергетического состояния посредством процесса отжига – медленного изменения параметров системы.

Продолжение: https://vk.com/wall-210601538_2026

AI red teaming постепенно становится отдельным рынком. Это видно и по покупке команды PromptFoo гигантом OpenAI, и по тому, как российские ИБ-компании уже оценивают рост атак через ИИ-уязвимости.

Это хорошо совпадает с тем, что мы видим на рынке сами. Полгода назад мы выпустили open source версию HiveTrace Red, а сегодня анонсируем запуск HiveTrace Red Enterprise 🚀

24 марта проведем вебинар, где подробно расскажем, как сегодня устроены проекты по тестированию ИИ-систем и как усилить практику пентеста с помощью наших инструментов. Новую версию мы готовы бесплатно предоставить партнерам, которым интересно развивать у себя направление AI red teaming и предлагать такие проекты своим клиентам.

Ссылка на регистрацию: https://aisecuritylab.timepad.ru/event/3868359/
Подробнее о HiveTrace Red Enterprise: hivetrace.ru/red

⭐️ Нормативно-правовые акты, регулирующие ИИ в финансовой сфере России

1. Федеральный закон от 31.07.2020 № 258-ФЗ «Об экспериментальных правовых режимах в сфере цифровых инноваций»

Создаёт механизм «регуляторных песочниц» для тестирования цифровых инноваций. Применяется для апробации ИИ-решений в здравоохранении, банковской сфере, страховании, финтехе, сельском хозяйстве, архитектуре, промышленности.

2. Федеральный закон от 31.07.2020 № 259-ФЗ «О цифровых финансовых активах, цифровой валюте и о внесении изменений в отдельные законодательные акты Российской Федерации».

Регулирует оборот цифровых финансовых активов и цифровой валюты, включая вопросы использования автоматизированных систем. Касается всех алгоритмов искусственного интеллекта, применяемых для анализа, торговли и управления цифровыми активами.

3. Федеральный закон от 27.07.2006 № 152-ФЗ «О персональных данных».

Как и для медицинских, для финансовых ИИ-систем этот закон строго обязателен, так как в финтехе большинство ИИ-систем так или иначе используют персональные данные. А многие модели и обучаются на персональных данных.

4. Акты ФСТЭК и ФСБ по требованиям к защите информации

Обязательны для ИИ-систем, обрабатывающих персональные и финансовые данные (локализация, шифрование, аудит).

5. Информационное письмо Банка России от 09.07.2025 № ИН-016-13/91 «О Кодексе этики в сфере разработки и применения искусственного интеллекта на финансовом рынке» от 09.07.2025.

Кодекс этики - один из новейших и ключевых документов регулирования ИИ на финансовом рынке. Очевидно, что Банк России будет так или иначе мониторить его соблюдение и делать выводы. Кодекс устанавливает 5 этических принципов: человекоцентричность, справедливость, прозрачность, безопасность, ответственное управление рисками. Рекомендует ведение реестра ИИ-моделей, оценку рисков, ведение базы инцидентов, то есть по сути требует полноценного внедрения AI Governance в российский финтех.

Следует понимать, что в Кодексе указаны и четкие меры по архитектуре ИИ-систем, например:

2.1.2. предоставление клиентам возможности отказаться от взаимодействия с применением искусственного интеллекта; (далее рекомендуется HITL)

2.1.3. обеспечение возможности пересмотра решения, принятого с применением искусственного интеллекта; (далее рекомендуется HITL)

Продолжение: https://vk.com/wall-210601538_2027

🔥 Мой комментарий по поводу возможной блокировки телеграм - этот канал однозначно продолжит работать, если что - подписывайтесь на:

1) Сообщество в VK: https://vk.com/mlops
2) Канал в MAX: https://max.ru/join/NnZ8rJNhTKAUUm1ADKiuPlw_F69FpmL5Ff2dKdFkzAY

В них точно такая же информация как здесь. Путь к вершине мы с вами продолжаем, не останавливаемся ни на час, эти блокировки, всё это мелочи, а главное - наша собственная скорость и то, во что мы реально верим, какие цели ставим перед собой, куда мы инвестируем энергию, время и как рационально это делаем.

В сферах AIG (AI Governance) и MLSecOps победит тот, кто будет наиболее быстро, решительно и эффективно действовать, непрерывно совершенствуя технологии, автоматизируя процессы, изучая передовой опыт. И это именно мы с вами! Всем отличной рабочей недели и прекрасного настроения, вы лучшие! 🤝

Global MLSecOps & AIG Architect
Николай Павлов

⭐️ Академия АйТи FabricaONE AI (акционер - ГК Softline) объявляет о запуске пятого потока программы «Data Steward: специалист по стратегическому управлению данными» 🔥

Образовательная программа «Data Steward: специалист по стратегическому управлению данными» - это один из первых в России курсов по подготовке специалистов в этой перспективной области. Программа повышения квалификации готовит специалистов, способных обеспечивать качество, целостность и безопасность корпоративных данных, включая данные для ИИ-систем. Материалы программы еженедельно обновляются и дополняются.

Сегодня многие организации сталкиваются с проблемой «цифрового хаоса»: данные накапливаются бессистемно, нет единых стандартов хранения, нет критериев оценки качества данных, а несоблюдение регуляторных требований приводит к финансовым потерям и репутационным рискам. Устаревший технологический стек, задержки в принятии решений из-за плохой навигации в данных, ограниченность источников данных, инциденты с «грязными» данными влияют на доверие клиентов и HR-бренд. Data Steward — именно тот, кто решает эти проблемы, выстраивает стратегию работы с данными и становится связующим звеном между бизнесом и технологиями — вне зависимости от их текущего уровня в компании. Эта роль важна для любых организаций: от тех, где аналитика ведется в табличных редакторах, до корпораций с современными фреймворками. Как правило в небольших организациях Data Steward представляет собой роль, тогда как в крупных — это отдельная должность.

Чтобы подготовить таких экспертов, Академия АйТи разработала программу из 12 модулей, которые сочетают теорию с практическими работами и охватывают разные темы — от трендов в Big Data до практического формирования Data Governance. Слушатели изучат такие важные вопросы, как Data Quality, машинное обучение для бизнеса, моделирование данных, влияние искусственного интеллекта на работу с данными. Они также освоят управленческие навыки, включая взаимодействие с бизнес-подразделениями, проведение тренингов и семинаров для пользователей. Научатся действовать в условиях инцидентов, связанными с данными, узнают про Каталоги и Глоссарии данных.

Обучение потока начнется 24 марта 2026 года и продлится две недели с бесплатной технической поддержкой слушателей в течение трех месяцев после окончания. Занятия будут проходить в гибком онлайн-формате по вечерам и по субботам, что позволяет учиться без отрыва от основной работы или учебы. Курс предназначен для ИТ-специалистов, аналитиков, администраторов баз данных, руководителей и HR-менеджеров компаний, внедряющих роль Data Steward. Одновременно он подойдет и для тех, кто только начинает свой путь в сфере IT, так как профессия Data Steward не требует таких глубоких навыков, как, например, Data Engineer или MLSecOps. Программа также будет полезна всем, кто интересуется управлением данными и желает повысить квалификацию. В конце обучения выпускники получат удостоверение государственного образца, подтверждающее повышение квалификации по профессии Data Steward. При этом стоимость обучения минимальна и доступна для всех.

Важно, что с 2026 года в этой программе сделан подробный обзор инструментов и технологий от TData, компании-лидера в сфере управления большими данными, надёжного поставщика высокотехнологичных решений в России. Также в программу добавлена информация по самому новому направлению в сфере ИИ - AI Governance.

Ссылка на учебную программу: https://academyit.ru/courses/ds-dg

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Онлайн-конференция по проектированию комплексных систем безопасности «ЦеСИС-2026»

Это одна из ведущих в России конференций по безопасности и отказоустойчивости автономных и киберфизических систем, проектированию комплексных систем безопасности.

Мероприятие состоится 19 марта с 11:00 до 14:00 по Москве и ориентировано на проектировщиков, инженеров систем безопасности, специалистов служб безопасности и эксплуатации, интеграторов, а также представителей государственных и контролирующих органов, отвечающих за физзащиту объектов.

Конференция пройдёт в режиме онлайн.

Ключевые темы:

— бронированные конструкции и защищенные наблюдательные посты;

— подходы к пассивным системам защиты от БПЛА;

— системы принудительной остановки транспорта и их развитие;

— технические средства охраны, электротехнические шкафы и шкафы управления;

— взломостойкие замки и замки с мастер-системой;

— направление развития модульных конструкций выпускаемых предприятием.

Выступления по темам проводят ведущие специалиста предприятия и наши партнеры. Формат конференции предполагает общение в формате дискуссии.

Основная цель конференции — познакомить участников с направлениями развития тематических направлений и услышать мнение потенциальных потребителей нашей продукции и услуг.

Начало мероприятия 19 марта в 11:00 по московскому времени.
Регистрация онлайн-слушателей на платформе Groteck: https://www.secuteck.ru/2026/integrated-security

Архитектор MLSecOps & AI Governance
Николай Павлов

Во вторник проведем вебинар об уязвимостях AI-систем и подходах к их тестированию. Поговорим про:
🔹 где именно в архитектуре возникают уязвимости и какие атаки реально работают против LLM
🔹 как выглядит процесс AI-пентеста: от гипотез и экспериментов до отчета об устойчивости
🔹 какие инструменты и подходы позволяют это автоматизировать, и покажем реальные атаки на примерах

Приходите, если интересуетесь темой уязвимостей AI-систем и хотите обсудить актуальные вопросы в области тестирования AI-агентов.

Ссылка: https://aisecuritylab.timepad.ru/event/3868359/

⭐️ Суверенный ИИ под традиционные ценности: что меняет новый законопроект о регулировании искусственного интеллекта в России

В России на обсуждение вынесли проект первого рамочного закона об искусственном интеллекте, который одновременно закрепляет базовые принципы регулирования ИИ и прямо требует учитывать традиционные российские духовно-нравственные ценности при создании и внедрении таких систем. Для инженеров, проектировщиков, айти-специалистов и госслужащих это не абстрактная политическая декларация, а новая нормативная реальность, к которой придётся готовить и технологии, и документы, и внутренние регламенты.

I. Зачем отрасли закон об ИИ?

Министерство цифрового развития подготовило проект федерального закона «Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации» (ID 166424 на портале проектов нормативных правовых актов). Документ впервые на уровне федерального закона даёт определение искусственного интеллекта и вводит систему базовых понятий для отрасли - от суверенного ИИ до доверенных моделей. По данным Минцифры, основной замысел закона - создать правовые условия для ускоренного внедрения ИИ, но одновременно обеспечить безопасность личности, общества и государства и технологический суверенитет России. Вице-премьер Дмитрий Григоренко характеризует законопроект как рамочный: он задаёт общие принципы и контуры регулирования, а конкретные технические требования и отраслевые регламенты будут разворачивать последующими актами.

Обсуждение проекта началось в марте 2026 года, общественная дискуссия организована через официальный портал проектов нормативных правовых актов. По состоянию на конец марта документ ещё не прошёл процедуру рассмотрения в Госдуме и формально остаётся законопроектом, а не принятым актом. Планируется, что при успешном прохождении всех стадий он вступит в силу с 1 сентября 2027 года, то есть у рынка и госструктур остаётся несколько лет на подготовку. Для технических специалистов это редкая ситуация: есть возможность заранее перестроить процессы, не дожидаясь «вчерашнего» срока вступления норм в силу.

Продолжение: https://vk.com/wall-210601538_2030

⭐️ Проект Федерального закона "Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации"

Проектом в том числе:

+ устанавливается риск-ориентированный подход к регулированию применения искусственного интеллекта;

+ вводятся понятия суверенных, национальных и доверенных моделей искусственного интеллекта;

+ предусматривается, что гражданам должна быть обеспечена возможность досудебного обжалования решений, принятых или совершенных с использованием технологий искусственного интеллекта;

+ закрепляется право граждан на компенсацию вреда, причиненного неправомерным использованием технологий искусственного интеллекта;

+ устанавливаются обязанности разработчика модели искусственного интеллекта, оператора системы искусственного интеллекта, владельца и пользователя сервиса искусственного интеллекта

Вступление в силу закона планируется с 1 сентября 2027 года.

КонсультантПлюс

⭐️ Gartner: К 2028 году 80% госструктур внедрят ИИ-агентов для автоматизации рутинных решений

По мнению аналитиков Gartner, к 2028 году по меньшей мере 80% госструктур внедрят ИИ-агентов для автоматизации рутинного процесса принятия решений, повышения эффективности и расширения предоставляемых услуг. Развитие мультимодального ИИ, диалоговых и агентных систем открывает перед государственными организациями новые возможности для автоматизации, анализа и прогнозирования.

Одним из наиболее серьезных препятствий на пути использования искусственного интеллекта в государственном управлении становится фрагментация. Согласно опросу Gartner, ключевыми проблемами при внедрении цифровых решений считаются изолированные стратегии (41% респондентов) и устаревшие системы (31%).

Традиционно управление ИИ было сосредоточено на управлении моделями, данными и алгоритмами. Однако теперь акцент смещается в сторону управления самими решениями – их подготовкой, выполнением, контролем и аудитом. Это особенно важно для госсектора, где легитимность власти напрямую зависит от прозрачности и справедливости процессов.

Опрос Gartner показал, что основными причинами для инвестирования в укрепление доверия 39% респондентов считают улучшение обслуживания и удовлетворенность граждан. Концепция интеллектуального принятия решений (Decision Intelligence, DI) закладывает структурную основу для укрепления этого доверия, предлагая четкие и контролируемые пути принятия решений.

Управляя решениями, а не просто изолируя компоненты ИИ, госструктуры могут лучше сочетать автоматизацию с человеческим суждением, особенно в ситуациях, когда ставки высоки или затрагивают права человека. При принятии решений регулируемые отрасли и государственные организации не могут полагаться на непрозрачные системы в стиле черного ящика.

Согласно прогнозам Gartner, из-за необходимости обеспечения прозрачности к 2029 году 70% государственных учреждений потребуют оснащения систем принятия решений, влияющих на предоставление услуг гражданам, искусственным интеллектом, объясняющим сделанный выбор, и ИИ с участием человека. Такой подход гарантирует, что логика принятия решений может быть проверена, объяснена и при необходимости оспорена.

Доверие граждан к способности государства предоставлять эффективные услуги становится ключевым фактором цифровой трансформации. Одним из главных приоритетов 50% респондентов назвали улучшение пользовательского опыта граждан. Когда граждане получают от госорганизаций ответ на свой запрос автоматически, уровень прямого взаимодействия снижается, что делает доверие к надежности, справедливости и прозрачности системы еще более критичным. Способность прогнозировать потенциальные потребности может полностью изменить порядок предоставления государственных цифровых услуг. DI позволяет госструктурам перестраивать процессы принятия решений, переходя от реактивного, управляемого процессами взаимодействия к активному и персонализированному обслуживанию. Это не только повышает согласованность и сокращает задержки, но и способствует укреплению общественного доверия.

osp ru

⭐️ Вебинар "AI-ассистенты для сбытовых компаний: возможности и эффекты"

На вебинаре совместно с партнёром ГК АТС разобрали, как AI и речевые технологии могут работать на пользу вашего бизнеса. Как голосовые роботы повышают удовлетворённость клиентов за счёт быстрых и точных ответов, а также каких бизнес‑эффектов можно достичь, используя AI‑ассистентов и ботов в сбытовых компаниях.

Вместе с экспертами разобрали практические кейсы, которые показали, как внедрить AI-решения без потери качества обслуживания.

О чем вебинар:

+ Как с помощью голосовых роботов обеспечить клиентам быстрые, точные и персонализированные ответы — 24/7.
+ Как AI помогает оптимизировать ключевые бизнес‑процессы и высвобождать ресурсы для стратегических задач.
+ Про бизнес‑эффекты использования AI‑ассистентов в сбытовых компаниях.
+ Как разгрузить операторов и быстро масштабировать решения без потери качества обслуживания.
+ Как с помощью аналитики коммуникаций получить новые возможности для управления клиентским опытом.
+ Вебинар будет полезен операционным менеджерам в сбытовых и сервисных компаниях, а также СТО, CIO и специалистам по цифровой трансформации.

Ссылка на вебинар: https://yandex.cloud/ru/events/1428

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ MLечный путь 2026

Большая конференция компании Selectel о том, как искусственный интеллект перестает быть экспериментом и становится рабочим бизнес-инструментом.

На конференции объединим технический трек с продуктовым видением, чтобы вместе проложить маршрут по MLечному пути от идеи до продакшена. Очень рекомендую!

Ссылка для регистрации: https://mlconf.selectel.ru

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐️ Вебинар HiveTrace Red

На вебинаре обсудили:

👉 Что такое AI-пентест / редтиминг ИИ-систем
👉 Почему растет рынок ИИ-пентеста
👉 Как делать проекты
👉 Как на этом заработать интегратору

Ссылка на презентацию: https://drive.google.com/file/d/1y0NI2T9sBeBJssb-nDtSHKBEPDIMEZIL/view?pli=1

Ссылка на вебинар: https://vkvideo.ru/video-237009145_456239017

Архитектор MLSecOps и AI Governance
Николай Павлов

⭐ Архитектура Безопасных AI-Агентов

Приветик, мои дорогие коллеги и самые талантливые друзья!

Весьма интересное и хорошо структурированное руководство по безопасной архитектуре ИИ-агентов, полностью доступное онлайн и бесплатно. Рекомендую к изучению (хотя бы сделайте беглый обзор). Подобный работ я еще не встречал, тем более тема горячая (да все только и делают, что говорят про ИИ-агентов))), поэтому важно находить крупицы времени и продолжать изучение этого направления.

Ссылка: https://agent-axiom.github.io/agent-arch/

Архитектор MLSecOps и AI Governance
Николай Павлов