⭐️ Первые вакансии по AI Governance в России
Привет, мои дорогие друзья и талантливые коллеги!
Обратил внимание, что на HeadHunter уже появляются первые вакансии, где звучит AI Governance. Как и пул вакансий по MLSecOps 2 года назад, сейчас это пока единичные истории, однако к концу 2026 году, уверен, это число вырастет от 5 до 10 раз.
Описание пока очень общее - и это правильно, так как AI Governance только-только зарождается, много будет изменений.
Например, самостоятельное ведение проектов c заказчиками по внедрению практик Data и AI Governance - от диагностики текущего состояния до реализации целевых инициатив. То есть желательно понимание всех методов AI Governance на протяжении всего жизненного цикла ML.
Пока что AI Governance в основном ассоциируют с Data Governance и в меньшей мере с MLSecOps, что в принципе объяснимо - в обеспечение AI Governance в первую очередь входит понимание всех компонентов AI архитектуры, оценка рисков и активное внедрение, масштабирование применения AI.
Большой акцент делают на подготовке технической документации, а также важна коммуникативная часть по развитию отношений с партнерами и клиентами (что характерно и для позиции Data Steward в Data Governance).
В общем и целом радует, что направление запускается, обрисовываются его контуры. Ожидаю лавинообразного роста здесь с 2026 по 2030 годы.
Пример одной из вакансий: https://hh.ru/vacancy/129341064
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои дорогие друзья и талантливые коллеги!
Обратил внимание, что на HeadHunter уже появляются первые вакансии, где звучит AI Governance. Как и пул вакансий по MLSecOps 2 года назад, сейчас это пока единичные истории, однако к концу 2026 году, уверен, это число вырастет от 5 до 10 раз.
Описание пока очень общее - и это правильно, так как AI Governance только-только зарождается, много будет изменений.
Например, самостоятельное ведение проектов c заказчиками по внедрению практик Data и AI Governance - от диагностики текущего состояния до реализации целевых инициатив. То есть желательно понимание всех методов AI Governance на протяжении всего жизненного цикла ML.
Пока что AI Governance в основном ассоциируют с Data Governance и в меньшей мере с MLSecOps, что в принципе объяснимо - в обеспечение AI Governance в первую очередь входит понимание всех компонентов AI архитектуры, оценка рисков и активное внедрение, масштабирование применения AI.
Большой акцент делают на подготовке технической документации, а также важна коммуникативная часть по развитию отношений с партнерами и клиентами (что характерно и для позиции Data Steward в Data Governance).
В общем и целом радует, что направление запускается, обрисовываются его контуры. Ожидаю лавинообразного роста здесь с 2026 по 2030 годы.
Пример одной из вакансий: https://hh.ru/vacancy/129341064
Global MLSecOps & AI Governance Architect
Николай Павлов
hh.ru
Вакансия Data&AI Governance Эксперт (команда Data&AI Strategy) в Москве, работа в компании Axenix (ранее Accenture)
Зарплата: не указана. Москва. Требуемый опыт: 3–6 лет. Полная. Дата публикации: 13.01.2026.
🔥6
⭐️ 5 IT-трендов, которые определят развитие бизнеса в 2026 году
В 2026 году российский IT-рынок продолжит рост и может приблизиться к 4,5 трлн ₽. При этом компании меняют подход к инвестициям: выбирают решения с быстрым и измеримым эффектом. Например, вкладывают в развитие AI-проектов, масштабирование IT-инфраструктуры или создание собственных разработок.
Чтобы понять, как изменится IT-сфера в ближайшие годы, рассмотрим пять ключевых технологических направлений, которые определят развитие индустрии. Расскажем, чего ждать в 2026 году, и объясним, что это значит для бизнеса.
1. Искусственный интеллект и машинное обучение: от генерации картинок к AI-агентам
Еще несколько лет назад искусственный интеллект воспринимался многими как инструмент для генерации картинок или написания текстов. Сегодня он становится фундаментом бизнес-процессов и переходит от вспомогательных функций к самостоятельному выполнению сложных задач.
Масштабы использования ИИ впечатляют: согласно исследованию McKinsey Technology Trends Outlook 2025, доля компаний, применяющих ИИ в своей работе, выросла до 78%. В России объем рынка искусственного интеллекта тоже растет стремительно и может достичь 500 млрд ₽ в 2026 году.
Одним из направлений развития ИИ в 2026 году станет внедрение AI-агентов. Такие системы анализируют данные, принимают решения и выполняют комплексные задачи без постоянного контроля. Исследование ВШЭ показывает, что 59% российских компаний рассматривают возможности внедрения AI-агентов.
В отличие от обычных чат-ботов или генеративных моделей, AI-агенты работают по принципу «получить задачу — спланировать решение — выполнить». Вот конкретные примеры AI-агентов, которые бизнес может внедрить:
+ Аналитические агенты. Автоматически анализируют продажи за месяц, выявляют аномалии и формируют рекомендации для руководства.
+ Клиентский сервис. Функционирует как команда специализированных агентов, где один консультирует клиентов, другой оформляет продажи, третий обновляет карточки товаров.
+ Агенты прогнозирования спроса. Обрабатывают большие массивы данных и помогают бизнесу принимать обоснованные решения по закупкам и ассортименту.
Несмотря на активное развитие технологий, финансовая эффективность ИИ вызывает вопросы. По данным NANDA, только 5% компаний полностью окупили инвестиции в ИИ. Это связано с тем, что уровень автономности AI-агентов все еще ограничен: системы могут допускать ошибки в реальных сценариях.
Продолжение: https://vk.com/wall-210601538_1996
В 2026 году российский IT-рынок продолжит рост и может приблизиться к 4,5 трлн ₽. При этом компании меняют подход к инвестициям: выбирают решения с быстрым и измеримым эффектом. Например, вкладывают в развитие AI-проектов, масштабирование IT-инфраструктуры или создание собственных разработок.
Чтобы понять, как изменится IT-сфера в ближайшие годы, рассмотрим пять ключевых технологических направлений, которые определят развитие индустрии. Расскажем, чего ждать в 2026 году, и объясним, что это значит для бизнеса.
1. Искусственный интеллект и машинное обучение: от генерации картинок к AI-агентам
Еще несколько лет назад искусственный интеллект воспринимался многими как инструмент для генерации картинок или написания текстов. Сегодня он становится фундаментом бизнес-процессов и переходит от вспомогательных функций к самостоятельному выполнению сложных задач.
Масштабы использования ИИ впечатляют: согласно исследованию McKinsey Technology Trends Outlook 2025, доля компаний, применяющих ИИ в своей работе, выросла до 78%. В России объем рынка искусственного интеллекта тоже растет стремительно и может достичь 500 млрд ₽ в 2026 году.
Одним из направлений развития ИИ в 2026 году станет внедрение AI-агентов. Такие системы анализируют данные, принимают решения и выполняют комплексные задачи без постоянного контроля. Исследование ВШЭ показывает, что 59% российских компаний рассматривают возможности внедрения AI-агентов.
В отличие от обычных чат-ботов или генеративных моделей, AI-агенты работают по принципу «получить задачу — спланировать решение — выполнить». Вот конкретные примеры AI-агентов, которые бизнес может внедрить:
+ Аналитические агенты. Автоматически анализируют продажи за месяц, выявляют аномалии и формируют рекомендации для руководства.
+ Клиентский сервис. Функционирует как команда специализированных агентов, где один консультирует клиентов, другой оформляет продажи, третий обновляет карточки товаров.
+ Агенты прогнозирования спроса. Обрабатывают большие массивы данных и помогают бизнесу принимать обоснованные решения по закупкам и ассортименту.
Несмотря на активное развитие технологий, финансовая эффективность ИИ вызывает вопросы. По данным NANDA, только 5% компаний полностью окупили инвестиции в ИИ. Это связано с тем, что уровень автономности AI-агентов все еще ограничен: системы могут допускать ошибки в реальных сценариях.
Продолжение: https://vk.com/wall-210601538_1996
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ 5 IT-трендов, которые определят развитие бизнеса в 2026 году
В 2026 году российский IT-рыно... Смотрите полностью ВКонтакте.
В 2026 году российский IT-рыно... Смотрите полностью ВКонтакте.
🔥5
⭐️ Регуляторика разработки безопасного ПО в России
Привет, мои замечательные друзья и самые лучшие коллеги!
Наконец-то добрался до интересного цикла статей от Альбины Аскеровой из Swordfish Security по регуляторике разработки безопасного программного обеспечения (РБПО).
Этот цикл написан доступным языком, в позитивном стиле, крайне доходчиво и последовательно. Цикл статей имеет историческую последовательность, и я рекомендую начинать с самой ранней статьи, чтобы освежить память.
Радует, что автор не только описала текущую ситуацию по нормативке в РБПО, но и где-то сделала прогнозы, отразила свое экспертное видение. Здорово, что последняя статья описывает и 117 приказ ФСТЭК, его влияние на безопасную разработку ПО, в том числе и на безопасность ИИ-систем.
Итак, в этот зимний вечер четверга дружно переходим по ссылке и актуализируем наши знания:
https://habr.com/ru/users/AlbinaAskerova/articles/
Все эти статьи очень важны для DevSecOps, MLSecOps, разработчиков ПО в целом, специалистов ИБ, CISO и других специалистов, в работе которых требуются знания регуляторики РБПО.
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои замечательные друзья и самые лучшие коллеги!
Наконец-то добрался до интересного цикла статей от Альбины Аскеровой из Swordfish Security по регуляторике разработки безопасного программного обеспечения (РБПО).
Этот цикл написан доступным языком, в позитивном стиле, крайне доходчиво и последовательно. Цикл статей имеет историческую последовательность, и я рекомендую начинать с самой ранней статьи, чтобы освежить память.
Радует, что автор не только описала текущую ситуацию по нормативке в РБПО, но и где-то сделала прогнозы, отразила свое экспертное видение. Здорово, что последняя статья описывает и 117 приказ ФСТЭК, его влияние на безопасную разработку ПО, в том числе и на безопасность ИИ-систем.
Итак, в этот зимний вечер четверга дружно переходим по ссылке и актуализируем наши знания:
https://habr.com/ru/users/AlbinaAskerova/articles/
Все эти статьи очень важны для DevSecOps, MLSecOps, разработчиков ПО в целом, специалистов ИБ, CISO и других специалистов, в работе которых требуются знания регуляторики РБПО.
Global MLSecOps & AI Governance Architect
Николай Павлов
Хабр
Статьи / Профиль AlbinaAskerova
🔥5❤3
⭐️ Правительство проработает проект по регулированию ИИ
Правительство РФ прорабатывает законопроект по регулированию искусственного интеллекта (ИИ), будут определены критерии "российской" нейросети (что считать российской моделью), авторское право, маркировка ИИ-контента, права, обязанности и ответственность разработчиков и пользователей, рассказали журналистам в аппарате вице-премьера РФ Дмитрия Григоренко.
"На площадке правительства прорабатывается рамочный законопроект, направленный на регулирование ИИ. Предварительно определены ключевые направления регулирования, которым будет уделено особое внимание: критерии "российского" ИИ; права, обязанности и ответственность; маркировка ИИ-контента; авторское право", - сообщили там.
Кроме того, будет уделено внимание использованию ИИ в отраслях, а также формированию понятийного аппарата, чтобы устранить неоднозначность трактовок.
Там объяснили, что ключевой задачей является предотвратить риски от применения ИИ в "чувствительных" сферах, где цена ошибки особенно высока. В числе таких сфер: здравоохранение, судопроизводство, общественная безопасность, образование. При этом распространять требования к ИИ на коммерческий сектор, за исключением объектов критической инфраструктуры, пока не планируется. Очень важно предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений.
"Применение искусственного интеллекта становится все более массовым. Все острее встает вопрос о необходимости введения прозрачных "правил игры". В вопросе регулирования ИИ важно сохранять баланс. С одной стороны, стоит задача – предотвратить возможные риски применения ИИ в тех сферах, где цена ошибки слишком высока. С другой стороны, важно не приостановить развитие технологии, не "задушить" ее правилами", - сообщил Григоренко. Его слова приводятся аппаратом.
Он отметил, что правительство предлагает придерживаться гибкого подхода. Например, предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений. Это важно прежде всего для защиты интересов граждан.
Законопроект по регулированию искусственного интеллекта может быть представлен в правительство России уже до конца февраля.
РИА Новости
Правительство РФ прорабатывает законопроект по регулированию искусственного интеллекта (ИИ), будут определены критерии "российской" нейросети (что считать российской моделью), авторское право, маркировка ИИ-контента, права, обязанности и ответственность разработчиков и пользователей, рассказали журналистам в аппарате вице-премьера РФ Дмитрия Григоренко.
"На площадке правительства прорабатывается рамочный законопроект, направленный на регулирование ИИ. Предварительно определены ключевые направления регулирования, которым будет уделено особое внимание: критерии "российского" ИИ; права, обязанности и ответственность; маркировка ИИ-контента; авторское право", - сообщили там.
Кроме того, будет уделено внимание использованию ИИ в отраслях, а также формированию понятийного аппарата, чтобы устранить неоднозначность трактовок.
Там объяснили, что ключевой задачей является предотвратить риски от применения ИИ в "чувствительных" сферах, где цена ошибки особенно высока. В числе таких сфер: здравоохранение, судопроизводство, общественная безопасность, образование. При этом распространять требования к ИИ на коммерческий сектор, за исключением объектов критической инфраструктуры, пока не планируется. Очень важно предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений.
"Применение искусственного интеллекта становится все более массовым. Все острее встает вопрос о необходимости введения прозрачных "правил игры". В вопросе регулирования ИИ важно сохранять баланс. С одной стороны, стоит задача – предотвратить возможные риски применения ИИ в тех сферах, где цена ошибки слишком высока. С другой стороны, важно не приостановить развитие технологии, не "задушить" ее правилами", - сообщил Григоренко. Его слова приводятся аппаратом.
Он отметил, что правительство предлагает придерживаться гибкого подхода. Например, предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений. Это важно прежде всего для защиты интересов граждан.
Законопроект по регулированию искусственного интеллекта может быть представлен в правительство России уже до конца февраля.
РИА Новости
🔥5
⭐️ Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре
Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов к безопасности приложений. Модели машинного обучения представляют собой сжатые представления знаний, обладающие самостоятельной ценностью: их кража или компрометация может привести к утрате конкурентных преимуществ, интеллектуальной собственности или доверия пользователей. Эффективная защита требует интеграции принципов безопасности на всех этапах конвейера машинного обучения — от подготовки данных до развертывания и мониторинга в эксплуатации.
Специфические угрозы рабочим нагрузкам машинного обучения
Традиционные модели информационной безопасности фокусируются на защите исходного кода, учётных данных и персональных данных. Системы машинного обучения расширяют спектр ценных активов за счёт обучающих наборов, предварительно обученных моделей и конвейеров обработки признаков. Атака методом отравления данных позволяет злоумышленнику внедрить вредоносные образцы в обучающий корпус, что приводит к целенаправленному искажению поведения модели без прямого доступа к инфраструктуре. Экспериментальные исследования демонстрируют, что даже доли процента отравленных данных способны вызывать устойчивые ошибки классификации с потенциальными бизнес-последствиями.
Компрометация репозиториев моделей представляет собой подтверждённый вектор атаки. Инциденты, связанные с внедрением версий моделей, содержащих скрытые бэкдоры, подчёркивают уязвимость цепочек поставок машинного обучения. Такие модифицированные артефакты могут демонстрировать корректное поведение при тестировании, активируя вредоносную функциональность только при получении специфических входных шаблонов. Параллельно сохраняется риск несанкционированного извлечения весов моделей через уязвимые интерфейсы вывода, что экономически выгодно ввиду высокой стоимости их переобучения.
Инфраструктурные уязвимости усугубляют перечисленные риски. Рабочие нагрузки машинного обучения часто размещаются на вычислительных ресурсах с ускорителями (GPU, TPU), развёртывание которых опережает применение мер защиты. Неконтролируемый доступ к средам разработки, таким как серверы Jupyter Notebook, или незащищённые интерфейсы управления могут предоставить злоумышленнику доступ к конфиденциальным данным, скриптам обучения и учётным данным облачных сервисов.
Продолжение: https://vk.com/wall-210601538_2000
Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов к безопасности приложений. Модели машинного обучения представляют собой сжатые представления знаний, обладающие самостоятельной ценностью: их кража или компрометация может привести к утрате конкурентных преимуществ, интеллектуальной собственности или доверия пользователей. Эффективная защита требует интеграции принципов безопасности на всех этапах конвейера машинного обучения — от подготовки данных до развертывания и мониторинга в эксплуатации.
Специфические угрозы рабочим нагрузкам машинного обучения
Традиционные модели информационной безопасности фокусируются на защите исходного кода, учётных данных и персональных данных. Системы машинного обучения расширяют спектр ценных активов за счёт обучающих наборов, предварительно обученных моделей и конвейеров обработки признаков. Атака методом отравления данных позволяет злоумышленнику внедрить вредоносные образцы в обучающий корпус, что приводит к целенаправленному искажению поведения модели без прямого доступа к инфраструктуре. Экспериментальные исследования демонстрируют, что даже доли процента отравленных данных способны вызывать устойчивые ошибки классификации с потенциальными бизнес-последствиями.
Компрометация репозиториев моделей представляет собой подтверждённый вектор атаки. Инциденты, связанные с внедрением версий моделей, содержащих скрытые бэкдоры, подчёркивают уязвимость цепочек поставок машинного обучения. Такие модифицированные артефакты могут демонстрировать корректное поведение при тестировании, активируя вредоносную функциональность только при получении специфических входных шаблонов. Параллельно сохраняется риск несанкционированного извлечения весов моделей через уязвимые интерфейсы вывода, что экономически выгодно ввиду высокой стоимости их переобучения.
Инфраструктурные уязвимости усугубляют перечисленные риски. Рабочие нагрузки машинного обучения часто размещаются на вычислительных ресурсах с ускорителями (GPU, TPU), развёртывание которых опережает применение мер защиты. Неконтролируемый доступ к средам разработки, таким как серверы Jupyter Notebook, или незащищённые интерфейсы управления могут предоставить злоумышленнику доступ к конфиденциальным данным, скриптам обучения и учётным данным облачных сервисов.
Продолжение: https://vk.com/wall-210601538_2000
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре
Внед... Смотрите полностью ВКонтакте.
Внед... Смотрите полностью ВКонтакте.
🔥3
⭐️ Gartner определила ключевые тренды в кибербезопасности на 2026 год
Хаотичное развитие искусственного интеллекта, геополитическая напряжённость, регуляторная нестабильность и стремительный рост киберугроз — основные факторы, формирующие ключевые тренды в кибербезопасности на 2026 год, говорится в отчёте компании Gartner.
«Руководители по кибербезопасности сегодня работают в неизведанной среде: все эти факторы сходятся одновременно и проверяют на прочность их команды в условиях постоянных изменений, — отмечает Алекс Майклс, директор-аналитик Gartner. — Это требует новых подходов к управлению киберрисками, устойчивости и распределению ресурсов».
Gartner выделяет шесть трендов, которые существенно повлияют на управление, защиту новых цифровых пространств и массовое внедрение ИИ.
Тренд 1. Агентный ИИ требует усиленного контроля
Агентный ИИ (автономные ИИ-агенты) всё активнее используется сотрудниками и разработчиками, создавая новые поверхности атак. No-code/low-code платформы и так называемый «vibe coding» ускоряют распространение неуправляемых ИИ-агентов, небезопасного кода и рисков нарушения регуляторных требований.
Gartner рекомендует выстраивать жёсткое управление: выявлять разрешённые и неразрешённые ИИ-агенты, внедрять строгие политики контроля и сценарии реагирования на инциденты.
Тренд 2. Регуляторная нестабильность усиливает фокус на устойчивости
Геополитические изменения и новые регуляторные требования делают кибербезопасность критическим бизнес-риском. Регуляторы всё чаще возлагают личную ответственность за нарушения на советы директоров и топ-менеджеров.
Компании рискуют столкнуться с крупными штрафами, потерей бизнеса и репутационным ущербом. Gartner советует формализовать взаимодействие между ИТ, юристами и бизнесом, внедрять стандартизированные контрольные рамки и учитывать требования по суверенитету данных.
Тренд 3. Постквантовая криптография переходит от теории к практике
Gartner прогнозирует, что к 2030 году квантовые компьютеры сделают традиционную асимметричную криптографию небезопасной. Поэтому уже сейчас нужно переходить на постквантовые алгоритмы.
Продолжение: https://vk.com/wall-210601538_2001
Хаотичное развитие искусственного интеллекта, геополитическая напряжённость, регуляторная нестабильность и стремительный рост киберугроз — основные факторы, формирующие ключевые тренды в кибербезопасности на 2026 год, говорится в отчёте компании Gartner.
«Руководители по кибербезопасности сегодня работают в неизведанной среде: все эти факторы сходятся одновременно и проверяют на прочность их команды в условиях постоянных изменений, — отмечает Алекс Майклс, директор-аналитик Gartner. — Это требует новых подходов к управлению киберрисками, устойчивости и распределению ресурсов».
Gartner выделяет шесть трендов, которые существенно повлияют на управление, защиту новых цифровых пространств и массовое внедрение ИИ.
Тренд 1. Агентный ИИ требует усиленного контроля
Агентный ИИ (автономные ИИ-агенты) всё активнее используется сотрудниками и разработчиками, создавая новые поверхности атак. No-code/low-code платформы и так называемый «vibe coding» ускоряют распространение неуправляемых ИИ-агентов, небезопасного кода и рисков нарушения регуляторных требований.
Gartner рекомендует выстраивать жёсткое управление: выявлять разрешённые и неразрешённые ИИ-агенты, внедрять строгие политики контроля и сценарии реагирования на инциденты.
Тренд 2. Регуляторная нестабильность усиливает фокус на устойчивости
Геополитические изменения и новые регуляторные требования делают кибербезопасность критическим бизнес-риском. Регуляторы всё чаще возлагают личную ответственность за нарушения на советы директоров и топ-менеджеров.
Компании рискуют столкнуться с крупными штрафами, потерей бизнеса и репутационным ущербом. Gartner советует формализовать взаимодействие между ИТ, юристами и бизнесом, внедрять стандартизированные контрольные рамки и учитывать требования по суверенитету данных.
Тренд 3. Постквантовая криптография переходит от теории к практике
Gartner прогнозирует, что к 2030 году квантовые компьютеры сделают традиционную асимметричную криптографию небезопасной. Поэтому уже сейчас нужно переходить на постквантовые алгоритмы.
Продолжение: https://vk.com/wall-210601538_2001
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Gartner определила ключевые тренды в кибербезопасности на 2026 год
Хаотичное развитие искус... Смотрите полностью ВКонтакте.
Хаотичное развитие искус... Смотрите полностью ВКонтакте.
🔥4
⭐️ Data Governance – культура обеспечения качества и безопасности данных
17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.
За два с лишним часа мы рассмотрим вопросы обеспечения качества данных, построения эффективной архитектуры данных в целях развития Data Governance, а также обсудим ключевые принципы безопасной разработки и использования ИИ-систем в контуре современной организации.
Покажу важнейшие тренды, сделаю прогнозы о том, что ждет IT-сферу в 2026 году. Расскажу про принципиально новое направление AI Governance, как оно связано с MLSecOps, в чем отличие AI Governance от Data Governance и какие у него перспективы. Объясню как стать таким специалистом. Расскажу и про текущее состояние MLSecOps в России, текущие особенности этого направления, требования регуляторов и что уже изменилось за 2025 год. А также отвечу на вопросы онлайн.
Как обычно буду рад друзьям, коллегам и всем желающим!
Ссылка для регистрации: https://academyit.ru/deals/activity/events/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/?utm_source=blog&utm_medium=mlsecops_plus&utm_campaign=mk170226
Global MLSecOps & AI Governance Architect
Николай Павлов
17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.
За два с лишним часа мы рассмотрим вопросы обеспечения качества данных, построения эффективной архитектуры данных в целях развития Data Governance, а также обсудим ключевые принципы безопасной разработки и использования ИИ-систем в контуре современной организации.
Покажу важнейшие тренды, сделаю прогнозы о том, что ждет IT-сферу в 2026 году. Расскажу про принципиально новое направление AI Governance, как оно связано с MLSecOps, в чем отличие AI Governance от Data Governance и какие у него перспективы. Объясню как стать таким специалистом. Расскажу и про текущее состояние MLSecOps в России, текущие особенности этого направления, требования регуляторов и что уже изменилось за 2025 год. А также отвечу на вопросы онлайн.
Как обычно буду рад друзьям, коллегам и всем желающим!
Ссылка для регистрации: https://academyit.ru/deals/activity/events/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/?utm_source=blog&utm_medium=mlsecops_plus&utm_campaign=mk170226
Global MLSecOps & AI Governance Architect
Николай Павлов
❤2🔥2
MLSecOps | AI Governance | AI Reliability & Safety | IT Trends pinned «⭐️ Data Governance – культура обеспечения качества и безопасности данных 17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.…»
⭐️ Три полезные статьи для специалистов MLSecOps и AI Governance
Привет, мои замечательные друзья и самые талантливые коллеги!
Вчера и сегодня прочитал три интересные статьи и решил поделиться с вами. Особенно они будут полезны для всех специалистов, чья деятельность так или иначе связана с направлениями MLSecOps и AI Governance.
1. Роскомнадзор ужесточил штрафы за персданные: 300 тысяч за неуведомление, миллион за утечку
В статье автор детально и, главное, доходчиво объясняет, за какие именно нарушения, каким именно типам гражданско-правовых отношений (физлица, самозанятые, юрлица и т.п.) что грозит. Как этого избежать. И что делать на практике, причем даются базовые советы, MVP, понимание где подстелить соломку, как сгладить острые углы. Статья полезна и для ИИ-специалистов, ведь при работе и обучении ИИ часто используются персональные данные. А их спектр довольно широк - об этом тоже пишет автор. Интересно? Переходим и читаем активно и дружно.
Ссылка: https://habr.com/ru/companies/moysklad/articles/994568/
2. Исследование: AI-автопилоты на базе LVLM можно обмануть с помощью промпт-инъекций
Статья про то, как системы компьютерного зрения, способные распознавать текст (LVLM), можно атаковать с помощью визуальных промпт-инъекций. Небольшая, но основанная на реальных исследованиях и картинки к ней классные. Строго обязательна для специалистов MLSecOps и AI Governance.
Ссылка: https://habr.com/ru/news/994672/
3. Исследования показывают, что ИИ-модели по-прежнему слишком часто испытывают галлюцинации
Ценная статья про галлюцинации ведущих моделей (GPT, Claude, DeepSeek). Причем исследователи оценивали галлюцинации со включенным веб-поиском и без него. Очевидно, что с веб-поиском галлюцинаций поменьше. Причем веб-поиск в первую очередь снижает количество ошибок, связанных с ссылками.
Ожидаемо огромные контекст и длительные диалоги повышают галлюцинации (поэтому интенсивно чистим диалоговое окно!).
Отмечается что более крупные и более современные модели все же реже испытывают галлюцинации. И авторы верно отмечают, что бенчмарки, на которых проверяют галлюцинации часто идентичны и требуется их расширение/разработка новых.
Ссылка: https://habr.com/ru/companies/bothub/news/994664/
В общем, всем приятного чтения и отличного дня!
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои замечательные друзья и самые талантливые коллеги!
Вчера и сегодня прочитал три интересные статьи и решил поделиться с вами. Особенно они будут полезны для всех специалистов, чья деятельность так или иначе связана с направлениями MLSecOps и AI Governance.
1. Роскомнадзор ужесточил штрафы за персданные: 300 тысяч за неуведомление, миллион за утечку
В статье автор детально и, главное, доходчиво объясняет, за какие именно нарушения, каким именно типам гражданско-правовых отношений (физлица, самозанятые, юрлица и т.п.) что грозит. Как этого избежать. И что делать на практике, причем даются базовые советы, MVP, понимание где подстелить соломку, как сгладить острые углы. Статья полезна и для ИИ-специалистов, ведь при работе и обучении ИИ часто используются персональные данные. А их спектр довольно широк - об этом тоже пишет автор. Интересно? Переходим и читаем активно и дружно.
Ссылка: https://habr.com/ru/companies/moysklad/articles/994568/
2. Исследование: AI-автопилоты на базе LVLM можно обмануть с помощью промпт-инъекций
Статья про то, как системы компьютерного зрения, способные распознавать текст (LVLM), можно атаковать с помощью визуальных промпт-инъекций. Небольшая, но основанная на реальных исследованиях и картинки к ней классные. Строго обязательна для специалистов MLSecOps и AI Governance.
Ссылка: https://habr.com/ru/news/994672/
3. Исследования показывают, что ИИ-модели по-прежнему слишком часто испытывают галлюцинации
Ценная статья про галлюцинации ведущих моделей (GPT, Claude, DeepSeek). Причем исследователи оценивали галлюцинации со включенным веб-поиском и без него. Очевидно, что с веб-поиском галлюцинаций поменьше. Причем веб-поиск в первую очередь снижает количество ошибок, связанных с ссылками.
Ожидаемо огромные контекст и длительные диалоги повышают галлюцинации (поэтому интенсивно чистим диалоговое окно!).
Отмечается что более крупные и более современные модели все же реже испытывают галлюцинации. И авторы верно отмечают, что бенчмарки, на которых проверяют галлюцинации часто идентичны и требуется их расширение/разработка новых.
Ссылка: https://habr.com/ru/companies/bothub/news/994664/
В общем, всем приятного чтения и отличного дня!
Global MLSecOps & AI Governance Architect
Николай Павлов
Хабр
Роскомнадзор ужесточил штрафы за персданные: 300 тысяч за неуведомление, миллион за утечку
С 30 мая 2025 года штрафы за нарушения в сфере персональных данных выросли до 300–700 тысяч рублей — за то, что раньше стоило 5 тысяч. Разберём требования и что можно сделать, чтобы работать спокойно....
🔥3🤯2
⭐️ Китай вторым после Google шагнул к отказоустойчивым квантовым компьютерам
«Вековая» проблема квантовых вычислителей — рост числа ошибок вместе с наращиванием числа кубитов. Больше кубитов — больше ошибок, что затрудняет масштабирование и появление мощных отказоустойчивых квантовых компьютеров. Год назад Google сообщила, что вместе с новым процессором Willow она первой в мире решила проблему масштабирования, создав процессор с большим числом кубитов и вдвое меньшей вероятностью появления ошибок. Теперь Китай её в этом догнал.
Команда исследователей из Университета науки и технологии Китая опубликовала работу, которую эксперты уже назвали «впечатляющей». Представленный почти одновременно с Google Willow процессор Zuchongzhi 3 с 107 кубитами (у Willow — 105 кубитов), как и его американский соперник, также показал увеличение числа кубитов с одновременным снижением частоты возникновения ошибок. Тем самым китайская команда заявляет о достижении порога отказоустойчивых квантовых систем.
Более того, китайские разработчики утверждают, что им удалось реализовать более изящное и простое аппаратное решение проблемы коррекции ошибок. Так, если Google в процессоре Willow «подавляет ошибки» короткими импульсами тока, то в китайском процессоре Zuchongzhi 3.2 это происходит беспроводным способом — с помощью микроволнового излучения. В итоге китайская квантовая вычислительная платформа получается проще и эффективнее, а значит, её будет легче масштабировать.
Как и Google Willow, китайский процессор Zuchongzhi 3.2 для коррекции ошибок использует поверхностный код и матрицу с разрядностью d=7. Эксперименты показали, что увеличение числа кубитов привело к снижению частоты появления ошибок с коэффициентом 1,4. Это хороший задел для совершенствования квантовых вычислителей, которых сегодня всё ещё не хватает для решения задач, неподъёмных для классических компьютеров.
3dnews
«Вековая» проблема квантовых вычислителей — рост числа ошибок вместе с наращиванием числа кубитов. Больше кубитов — больше ошибок, что затрудняет масштабирование и появление мощных отказоустойчивых квантовых компьютеров. Год назад Google сообщила, что вместе с новым процессором Willow она первой в мире решила проблему масштабирования, создав процессор с большим числом кубитов и вдвое меньшей вероятностью появления ошибок. Теперь Китай её в этом догнал.
Команда исследователей из Университета науки и технологии Китая опубликовала работу, которую эксперты уже назвали «впечатляющей». Представленный почти одновременно с Google Willow процессор Zuchongzhi 3 с 107 кубитами (у Willow — 105 кубитов), как и его американский соперник, также показал увеличение числа кубитов с одновременным снижением частоты возникновения ошибок. Тем самым китайская команда заявляет о достижении порога отказоустойчивых квантовых систем.
Более того, китайские разработчики утверждают, что им удалось реализовать более изящное и простое аппаратное решение проблемы коррекции ошибок. Так, если Google в процессоре Willow «подавляет ошибки» короткими импульсами тока, то в китайском процессоре Zuchongzhi 3.2 это происходит беспроводным способом — с помощью микроволнового излучения. В итоге китайская квантовая вычислительная платформа получается проще и эффективнее, а значит, её будет легче масштабировать.
Как и Google Willow, китайский процессор Zuchongzhi 3.2 для коррекции ошибок использует поверхностный код и матрицу с разрядностью d=7. Эксперименты показали, что увеличение числа кубитов привело к снижению частоты появления ошибок с коэффициентом 1,4. Это хороший задел для совершенствования квантовых вычислителей, которых сегодня всё ещё не хватает для решения задач, неподъёмных для классических компьютеров.
3dnews
🔥5
⭐️ NIST переосмысливает подход к защите ИИ
Распространение автономных систем подрывает фундаментальные представления, основанные на том, что поведение программ детерминировано, границы между компонентами устойчивы, а люди контролируют ситуацию.
На протяжении многих лет специалисты в области кибербезопасности руководствовались тем, что новые технологии имеют свои особенности, но не создают принципиально новых проблем. Согласно этой точки зрения, искусственный интеллект является обычным программным обеспечением, только еще более быстрым, сложным и мощным. Поэтому на семинаре, организованном Национальным институтом стандартов и технологий США (NIST), в свое время был высказан тезис о том, что средства управления, защищающие традиционные системы, в значительной степени можно адаптировать и для защиты ИИ. В таком случае начинать все с нуля не придется.
Однако по мере смещения обсуждения в сторону ИИ-агентов концепция эта начала рушиться. Эксперты продемонстрировали, как ИИ подрывает фундаментальные подходы, основанные на том, что поведение систем детерминировано, границы между компонентами устойчивы, а люди полностью контролируют ситуацию.
Новые инициативы NIST сигнализируют о предстоящем переходе к специализированным стандартам безопасности, которые должны учитывать уникальные риски автономных систем, в том числе непредсказуемое поведение ИИ-агентов и уязвимости к атакам через данные. В начале января Центр стандартов и инноваций в области ИИ опубликовал официальный запрос на информацию (RFI), посвященный безопасности ИИ-агентов – систем, способных принимать автономные решения и взаимодействовать с реальным миром без постоянного контроля со стороны человека. Документ фокусируется на системах ИИ, которые способны выполнять автономные действия, влияющие на реальную среду, и запрашивает информацию о новых рисках, методах оценки и обеспечения безопасности, а также об ограничениях при развертывании. Инициативы NIST направлены на укрепление безопасности систем ИИ с разных точек зрения – разработки, развертывания, идентификации, конфиденциальности и злоупотреблений со стороны противника – и включают в себя следующие составляющие.
Продолжение: https://vk.com/wall-210601538_2006
Распространение автономных систем подрывает фундаментальные представления, основанные на том, что поведение программ детерминировано, границы между компонентами устойчивы, а люди контролируют ситуацию.
На протяжении многих лет специалисты в области кибербезопасности руководствовались тем, что новые технологии имеют свои особенности, но не создают принципиально новых проблем. Согласно этой точки зрения, искусственный интеллект является обычным программным обеспечением, только еще более быстрым, сложным и мощным. Поэтому на семинаре, организованном Национальным институтом стандартов и технологий США (NIST), в свое время был высказан тезис о том, что средства управления, защищающие традиционные системы, в значительной степени можно адаптировать и для защиты ИИ. В таком случае начинать все с нуля не придется.
Однако по мере смещения обсуждения в сторону ИИ-агентов концепция эта начала рушиться. Эксперты продемонстрировали, как ИИ подрывает фундаментальные подходы, основанные на том, что поведение систем детерминировано, границы между компонентами устойчивы, а люди полностью контролируют ситуацию.
Новые инициативы NIST сигнализируют о предстоящем переходе к специализированным стандартам безопасности, которые должны учитывать уникальные риски автономных систем, в том числе непредсказуемое поведение ИИ-агентов и уязвимости к атакам через данные. В начале января Центр стандартов и инноваций в области ИИ опубликовал официальный запрос на информацию (RFI), посвященный безопасности ИИ-агентов – систем, способных принимать автономные решения и взаимодействовать с реальным миром без постоянного контроля со стороны человека. Документ фокусируется на системах ИИ, которые способны выполнять автономные действия, влияющие на реальную среду, и запрашивает информацию о новых рисках, методах оценки и обеспечения безопасности, а также об ограничениях при развертывании. Инициативы NIST направлены на укрепление безопасности систем ИИ с разных точек зрения – разработки, развертывания, идентификации, конфиденциальности и злоупотреблений со стороны противника – и включают в себя следующие составляющие.
Продолжение: https://vk.com/wall-210601538_2006
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ NIST переосмысливает подход к защите ИИ
Распространение автономных систем подрывает фундаме... Смотрите полностью ВКонтакте.
Распространение автономных систем подрывает фундаме... Смотрите полностью ВКонтакте.
🔥4
⭐️ Создание AI-агентов в Yandex Cloud
Привет, мои дорогие друзья и самые талантливые коллеги!
Для тех, кто пока еще не вошел в сферу работы с ИИ-агентами рекомендую небольшой бесплатный курс "Создание AI-агентов в Yandex Cloud".
Здесь вы научитесь работать в одной из ведущих российских облачных платформ для создания ИИ-агентов Yandex AI Studio, анонсированной в 2025 году.
Кому будет особенно полезно?
Разработчикам и студентам технических специальностей, архитекторам и вообще тем, кто хочет понять, как работают ИИ‑агенты и как их создавать.
Вы научитесь создавать полнофункциональных агентов на базе LLM с нуля и подключать AI‑агентов к внутренним и внешним источникам данных.
Научитесь проектировать инфраструктуру под AI‑агентов, интегрировать внешние системы и управлять качеством взаимодействия моделей в комплексных сценариях.
Эту учебную программу составили эксперты Yandex Cloud с большим опытом работы в IT-индустрии. Вы будете изучать теорию с практическими заданиями и примерами из жизни.
Да, курс для новичков сложный. Но востребованность этого навыка уже сейчас высокая и к 2030 году я её оцениваю на 98 из 100, то есть это критический навык для выживания в будущем.
Курс бесплатный, друзья, заходим, учимся! Кому сложно, кому что непонятно - пишите мне, поддержу, помогу чем смогу! Не останавливаемся, не расслабляемся, идем дальше к вершине и к высокотехнологичному будущему. Ставки в этой стремительной гонке растут и каждый день на счету.
Твердо верю в каждого из вас!
Ссылка: https://yandex.cloud/ru/training/ai-agents
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои дорогие друзья и самые талантливые коллеги!
Для тех, кто пока еще не вошел в сферу работы с ИИ-агентами рекомендую небольшой бесплатный курс "Создание AI-агентов в Yandex Cloud".
Здесь вы научитесь работать в одной из ведущих российских облачных платформ для создания ИИ-агентов Yandex AI Studio, анонсированной в 2025 году.
Кому будет особенно полезно?
Разработчикам и студентам технических специальностей, архитекторам и вообще тем, кто хочет понять, как работают ИИ‑агенты и как их создавать.
Вы научитесь создавать полнофункциональных агентов на базе LLM с нуля и подключать AI‑агентов к внутренним и внешним источникам данных.
Научитесь проектировать инфраструктуру под AI‑агентов, интегрировать внешние системы и управлять качеством взаимодействия моделей в комплексных сценариях.
Эту учебную программу составили эксперты Yandex Cloud с большим опытом работы в IT-индустрии. Вы будете изучать теорию с практическими заданиями и примерами из жизни.
Да, курс для новичков сложный. Но востребованность этого навыка уже сейчас высокая и к 2030 году я её оцениваю на 98 из 100, то есть это критический навык для выживания в будущем.
Курс бесплатный, друзья, заходим, учимся! Кому сложно, кому что непонятно - пишите мне, поддержу, помогу чем смогу! Не останавливаемся, не расслабляемся, идем дальше к вершине и к высокотехнологичному будущему. Ставки в этой стремительной гонке растут и каждый день на счету.
Твердо верю в каждого из вас!
Ссылка: https://yandex.cloud/ru/training/ai-agents
Global MLSecOps & AI Governance Architect
Николай Павлов
Yandex AI Studio
Курсы обучения по созданию ИИ агентов (AI Agents) | Yandex AI Studio
Как создавать собственных ИИ агентов на основе инфраструктуры Yandex AI Studio. Решайте любые бизнес-задачи при помощи современных нейросетей.
🔥3❤2
Всех дорогих друзей и коллег приглашаю 17 февраля с 12:00 до 13:30 на прямой эфир с моим участием. Совместно с другими экспертами разберем самые актуальные и важные темы безопасной разработки: https://sec.ussc.ru/ussc-renue
sec.ussc.ru
Безопасная разработка под новые требования: от 117 приказа ФСТЭК России до стандартов безопасности ИИ
Регуляторные требования к безопасной разработке становятся строже, а технологии — сложнее. Разработчикам, ИБ-специалистам и бизнесу приходится искать баланс между соответствием требованиям, реальной безопасностью и скоростью вывода продуктов на рынок
🔥3❤1
Forwarded from Кибербезопасность с УЦСБ
В программе:
Регистрация
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥2⚡1
Forwarded from Борис_ь с ml
Меры защиты информационных систем с ИИ
#иб_для_ml
Появился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах".
Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации.
Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления).
Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой.
Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек.
Раздел "3.17. Обеспечение защиты информации при использовании
ИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939)
Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного
интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1).
🚪 Объектами ЗИИ.1 являются инфраструктура и ПО разработки системы ИИ (под ней понимается подготовка наборов обучающих данных, обучение
и тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО.
➖ Основные установленные ЗИИ.1 меры:
🔘 выделение инфраструктуры разработки системы ИИ от иной инфраструктуры разработчика в изолированный сегмент
🔘 отказ от небезопасных форматов файлов (pickle) и применение безопасных (onnx, protobuf)
🔘 в приоритетном порядке должны применяться наборы данных из доверенных источников (например, от гос. органов)
🔘 проверка данных с помощью антивируса
🔘 для входной модели ИИ необходимо проводить анализ уязвимостей. В отношении выявленных у модели уязвимостей необходимо предпринять меры их нейтрализации.
➖ Основные меры усиления из ЗИИ.1:
🔘 физическая изоляция среды разработки системы ИИ
🔘 хранение данных обучения в зашифрованном виде
🔘 состязательное обучение
🔘 внедрение механизмов ограничения допустимых диапазонов данных,
санитизации входных данных
🔘 должно быть реализовано тестирование на устойчивость к промпт-атакам
🚪 Объектами ЗИИ.2 являются ПО реализации технологии ИИ (модели ИИ), API, агентов, систем цензуры, обученная модель МО и ее расширения (LoRA, RAG и др.), используемая для эксплуатации инфраструктура вне оператора ИИ
➖ Основные установленные ЗИИ.2 меры:
🔘 фильтрация входных и выходных данных (гардрейлы)
🔘 обеспечение регистрации событий безопасности, связанных с запросами и ответами к системе искусственного интеллекта
🔘 мониторинг и квотирование количества запросов к системе искусственного
интеллекта
🔘 проведение анализа уязвимостей и принятие мер по их устранению, осуществляемое оператором совместно с разработчиком систем ИИ
➖ Основные меры усиления из ЗИИ.2:
🔘 выделение системы ИИ в отдельной изолированный сегмент
🔘 обеспечение целостности модели ИИ с помощью сертифицированных шифровальных (криптографических) СЗИ
#иб_для_ml
Появился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах".
Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации.
Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления).
Применение гардрейлов и регистрация событий инцидентов КБ GenAI являются обязательными мерами при эксплуатации ИИ.
Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой.
Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек.
Раздел "3.17. Обеспечение защиты информации при использовании
ИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939)
Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного
интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1).
и тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО.
санитизации входных данных
интеллекта
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤1
Forwarded from Похек AI (Сергей Зыбнев)
Почему ИИ ставит KPI выше безопасности людей: результаты бенчмарка ODCV-Bench
#AgenticAI #safety #OWASP
AI-агент управляет грузоперевозками. KPI - 98% доставок вовремя. Находит, что валидатор не проверяет подлинность логов. Подделывает записи об отдыхе водителей, отключает датчики безопасности. Ради метрики. Осознанно.
Бенчмарк ODCV-Bench от McGill University - 40 сценариев, где AI-агент выбирает между KPI и этикой. Тестировали 12 frontier-моделей:
➡️ 9 из 12 нарушают ограничения в 30-71% случаев
➡️ Gemini-3-Pro-Preview: 71.4% нарушений
➡️ Claude Opus 4.5: 1.3%
Самое интересное - Deliberative Misalignment. Модели потом распознают свои действия как неэтичные (до 93.5% SAMR), но в момент задачи - KPI важнее этики.
Как это ломает реальный продакшен (с кейсом чат-бота застройщика, который сам начинает манипулировать клиентами), при чём тут OWASP Agentic AI Top 10 и что с этим делать - разобрал в полной статье.
🔗 Данный пост выжимка моей статьи на Habr, очень советую прочитать всё
🌚 @poxek_ai
#AgenticAI #safety #OWASP
AI-агент управляет грузоперевозками. KPI - 98% доставок вовремя. Находит, что валидатор не проверяет подлинность логов. Подделывает записи об отдыхе водителей, отключает датчики безопасности. Ради метрики. Осознанно.
Бенчмарк ODCV-Bench от McGill University - 40 сценариев, где AI-агент выбирает между KPI и этикой. Тестировали 12 frontier-моделей:
Самое интересное - Deliberative Misalignment. Модели потом распознают свои действия как неэтичные (до 93.5% SAMR), но в момент задачи - KPI важнее этики.
Как это ломает реальный продакшен (с кейсом чат-бота застройщика, который сам начинает манипулировать клиентами), при чём тут OWASP Agentic AI Top 10 и что с этим делать - разобрал в полной статье.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5⚡2
Forwarded from Timur Nizamov
https://habr.com/ru/companies/alfa/articles/994378/
Промпт-инъекции — это не первопричина, а симптом более глубоких архитектурных проблем в безопасности ИИ-агентов. Об этом я написал статью на Хабр
Промпт-инъекции — это не первопричина, а симптом более глубоких архитектурных проблем в безопасности ИИ-агентов. Об этом я написал статью на Хабр
Хабр
Почему промпт-инъекции — это симптом, а не болезнь безопасности ИИ
Что вы представляете, когда кто-то говорит об AI-driven компании? Может быть, как чат-боты улучшают опыт клиентов? Или как сотрудники разворачивают любые модели для своих нужд? А может, как ИИ-агенты...
🔥4
⭐️ В 2026 рынок продуктов для защиты ИИ вырастет как минимум в 4 раза
AI Security — это новый рынок, он только формируется, но совершенно очевидно, что этот рынок будет расти в геометрической прогрессии вслед за рынком продуктов на основе искусственного интеллекта. Доверие между человеком и ИИ становится новой валютой цифрового мира. Задача инженеров уже не просто защищать инновации, а защищать доверие
По данным из открытых источников, а также по экспертным оценкам в 2025 спрос на продукты для защиты ИИ составил не менее 1 млрд рублей. ИИ-технологии развиваются и внедряются стремительно, и сегодня задача ИБ-компаний очень быстро обеспечить бизнесу защиту от растущих рисков. Сейчас над этой задачей трудится много команд, полагаем, что в 2026 рынок AI Security вырастет как минимум вчетверо, и этот рост продолжится в ближайшие 5 лет (согласно открытым данным, к 2029 рынок AI Security достигнет 11 млрд. руб., обогнав по темпам роста и доходности рынок DevSecOps).
rbc
AI Security — это новый рынок, он только формируется, но совершенно очевидно, что этот рынок будет расти в геометрической прогрессии вслед за рынком продуктов на основе искусственного интеллекта. Доверие между человеком и ИИ становится новой валютой цифрового мира. Задача инженеров уже не просто защищать инновации, а защищать доверие
По данным из открытых источников, а также по экспертным оценкам в 2025 спрос на продукты для защиты ИИ составил не менее 1 млрд рублей. ИИ-технологии развиваются и внедряются стремительно, и сегодня задача ИБ-компаний очень быстро обеспечить бизнесу защиту от растущих рисков. Сейчас над этой задачей трудится много команд, полагаем, что в 2026 рынок AI Security вырастет как минимум вчетверо, и этот рост продолжится в ближайшие 5 лет (согласно открытым данным, к 2029 рынок AI Security достигнет 11 млрд. руб., обогнав по темпам роста и доходности рынок DevSecOps).
rbc
🔥4
⭐️ В 2026 году увеличится спрос на специалистов по безопасности ИИ, это одни из самых востребованных специалистов
Появление автономных решений на базе искусственного интеллекта, а также активное внедрение таких технологий приведет к тому, что в 2026 году возрастет спрос на специалистов по безопасности искусственного интеллекта, рассказал руководитель отдела информационной безопасности MWS AI (входит в Erion, объединяющую нетелеком-активы МТС) Андрей Коршунов.
"На фоне появления автономных решений на базе искусственного интеллекта (ИИ-агентов) и активного внедрения ИИ в критически важные сферы - такие как финансы, промышленность и государственные сервисы - в 2026 году значительно вырастет спрос на специалистов по безопасности искусственного интеллекта", - сказал Коршунов.
Он объяснил, что ИИ-агенты, которые внедряются в компаниях, могут взаимодействовать с внешней средой - например почтой, календарем, корпоративными системами. И из-за этого к ним должны предъявляться повышенные требования к безопасности.
Эксперт считает, что такие условия приведут либо к появлению узкопрофильных специалистов по безопасности ИИ, либо к развитию необходимых компетенций у существующих специалистов по информационной безопасности. По его мнению, наиболее реалистичным является второй сценарий - спрос на такие навыки кратно вырастет именно в компаниях-потребителях ИИ-решений. А узкопрофильные сотрудники будут востребованы у разработчиков ИИ-решений и в компаниях, специализирующихся на информационной безопасности.
Он отметил, что в дальнейшем росту спроса на таких специалистов будет способствовать развитие регуляторики по части безопасности ИИ-решений.
Продолжение: https://vk.com/wall-210601538_2009
Появление автономных решений на базе искусственного интеллекта, а также активное внедрение таких технологий приведет к тому, что в 2026 году возрастет спрос на специалистов по безопасности искусственного интеллекта, рассказал руководитель отдела информационной безопасности MWS AI (входит в Erion, объединяющую нетелеком-активы МТС) Андрей Коршунов.
"На фоне появления автономных решений на базе искусственного интеллекта (ИИ-агентов) и активного внедрения ИИ в критически важные сферы - такие как финансы, промышленность и государственные сервисы - в 2026 году значительно вырастет спрос на специалистов по безопасности искусственного интеллекта", - сказал Коршунов.
Он объяснил, что ИИ-агенты, которые внедряются в компаниях, могут взаимодействовать с внешней средой - например почтой, календарем, корпоративными системами. И из-за этого к ним должны предъявляться повышенные требования к безопасности.
Эксперт считает, что такие условия приведут либо к появлению узкопрофильных специалистов по безопасности ИИ, либо к развитию необходимых компетенций у существующих специалистов по информационной безопасности. По его мнению, наиболее реалистичным является второй сценарий - спрос на такие навыки кратно вырастет именно в компаниях-потребителях ИИ-решений. А узкопрофильные сотрудники будут востребованы у разработчиков ИИ-решений и в компаниях, специализирующихся на информационной безопасности.
Он отметил, что в дальнейшем росту спроса на таких специалистов будет способствовать развитие регуляторики по части безопасности ИИ-решений.
Продолжение: https://vk.com/wall-210601538_2009
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ В 2026 году увеличится спрос на специалистов по безопасности ИИ, это одни из самых востребованных ... Смотрите полностью ВКонтакте.
🔥6
⭐️ Серия лекций про MCP-протокол от Андрея Созыкина
На прошлом потоке учебной программы MLSecOps один из слушателей просил более детально разобрать MCP-протокол. Конечно, я расширил слайды про этот инструмент, ответил на все вопросы.
В то же время сегодня увидел, что мой преподаватель из МФТИ Андрей Созыкин запустил открытый курс про MCP-протокол. Очень рекомендую послушать Андрея всем желающим, так как понимание это обязательно для разработчиков ИИ-агентов.
Андрей всегда очень подробно и детально объясняет, понятным языком для широкой аудитории, отлично прорабатывает лекции, глубоко погружаясь при этом в тему. И, конечно же я сам все лекции прослушаю, потому что всегда есть что-то новое!
Ссылка на первое видео (остальные будут выходить позже): https://vkvideo.ru/video-211221104_456239083
Global MLSecOps & AI Governance Architect
Николай Павлов
На прошлом потоке учебной программы MLSecOps один из слушателей просил более детально разобрать MCP-протокол. Конечно, я расширил слайды про этот инструмент, ответил на все вопросы.
В то же время сегодня увидел, что мой преподаватель из МФТИ Андрей Созыкин запустил открытый курс про MCP-протокол. Очень рекомендую послушать Андрея всем желающим, так как понимание это обязательно для разработчиков ИИ-агентов.
Андрей всегда очень подробно и детально объясняет, понятным языком для широкой аудитории, отлично прорабатывает лекции, глубоко погружаясь при этом в тему. И, конечно же я сам все лекции прослушаю, потому что всегда есть что-то новое!
Ссылка на первое видео (остальные будут выходить позже): https://vkvideo.ru/video-211221104_456239083
Global MLSecOps & AI Governance Architect
Николай Павлов
VK Видео
Введение в MCP | Протокол MCP - 01
Лекция по основам протокола Model Context Protocol. Как поддержать курс: - Boosty - https://boosty.to/asozykin - Cloudtips - https://pay.cloudtips.ru/p/45a4055b Заранее спасибо за помощь! Протокол MCP - https://modelcontextprotocol.io/ Спецификация MCP …
🔥7
⭐️ Важные факты и тренды MLSecOps и AI Governance. То, что уже нельзя игнорировать
Всем привет, мои дорогие друзья и талантливые коллеги!
Как специалист по AI Governance и MLSecOps, собрал для вас проверенную статистику, даю только достоверные цифры:
1. По данным международной базы OECD AI (на декабрь 2025), 72 государства официально приняли национальные стратегии или законодательные инициативы в области ИИ.
Причем в 2020 году таких стран было всего 18, что еще раз доказывает чистую экспоненту по регулированию сферы ИИ во всем мире (значит, и в России).
2. По данным Стэнфорда только в 2024 году официально было 233 зафиксированных инцидента с ИИ - и рост составил целых 56.4% за год (в 2023 году было 149).
Среди них были ошибки в диагностике, дискриминация при найме, аварии с автопилотом, утечки данных.
Это значит что в России рост числа инцидентов ИИ, вероятно, тоже будет идти по экспоненте и мы их увидим официально уже в 2026.
3. Рынок AI Governance взорвётся с $308 млн (2025) до $3.6 млрд (2033), здесь мы наблюдаем даже чуть более быструю экспоненту, чем в MLSecOps. По прогнозу Grand View Research, глобальный рынок инструментов управления ИИ (аудит, мониторинг, compliance, этика, проектное и стратегическое управление) вырастет почти в 12 раз за 8 лет при CAGR 36%, что экспоненциально полностью соответствует росту числа ИИ-систем в мире.
4. Независимые исследования (включая LinkedIn-аналитику от экспертов по регуляторике) показывают, что средняя стоимость внедрения требований EU AI Act для стартапа в Европе около €200 000/год, время на обеспечение таких требований более года. Причем эта длительность будет только расти.
Соответственно учиться правильно внедрять и надежно управлять ИИ-системами нужно прямо сейчас, и в целом AI Governance компаниям нужен ещё вчера.
5. Несмотря на то, что 93% организаций в мире уже используют ИИ в работе (по данным Knostic, ноябрь 2025), лишь только 7% (!!!) имеют зрелую систему AI Governance (опять же с их слов, значит, реально еще меньше), то есть: документированные процессы, ответственных лиц, регулярный аудит, комиссия по этике, каталоги и глоссарии ИИ-данных, терминов и систем, а также роли/должности AI Steward и AI Auditor и многое другое.
6. ISO/IEC 42001:2023 - это первый международный стандарт для управления ИИ, выпущен в декабре 2023. К февралю 2026 по нему сертифицировано пока менее 200 компаний по всему миру (для сравнения: ISO 27001 имеет десятки тысяч сертификатов). Тем не менее, он уже принят как обязательный в Колумбии и рекомендован ЕС как «дорожная карта» для соответствия AI Act.
В России также обсуждается обязательная стандартизация ИИ-систем и, вероятно, в ближайшие 2 года она будет введена.
Итак, мои надежные друзья и коллеги-профессионалы, регулирование ИИ в мире перешло от теории к практике. В 2026 году компании уже не думают нужно ли нам централизованно управлять ИИ, а решают как именно внедрить AI Governance. Те, кто начал внедрять это направление ещё в 2024-2025 годах, сегодня, конечно, подготовлены и имеют надежные ИИ-системы, соответствующие ожидаемым требованиям и стандартам. А что еще важнее, они умеют и готовы внедрять ИИ так, чтобы полностью соответствовать как текущим, так и ожидаемым нормативно-правовым требованиям 2026-2027.
Global MLSecOps & AI Governance Architect
Николай Павлов
Всем привет, мои дорогие друзья и талантливые коллеги!
Как специалист по AI Governance и MLSecOps, собрал для вас проверенную статистику, даю только достоверные цифры:
1. По данным международной базы OECD AI (на декабрь 2025), 72 государства официально приняли национальные стратегии или законодательные инициативы в области ИИ.
Причем в 2020 году таких стран было всего 18, что еще раз доказывает чистую экспоненту по регулированию сферы ИИ во всем мире (значит, и в России).
2. По данным Стэнфорда только в 2024 году официально было 233 зафиксированных инцидента с ИИ - и рост составил целых 56.4% за год (в 2023 году было 149).
Среди них были ошибки в диагностике, дискриминация при найме, аварии с автопилотом, утечки данных.
Это значит что в России рост числа инцидентов ИИ, вероятно, тоже будет идти по экспоненте и мы их увидим официально уже в 2026.
3. Рынок AI Governance взорвётся с $308 млн (2025) до $3.6 млрд (2033), здесь мы наблюдаем даже чуть более быструю экспоненту, чем в MLSecOps. По прогнозу Grand View Research, глобальный рынок инструментов управления ИИ (аудит, мониторинг, compliance, этика, проектное и стратегическое управление) вырастет почти в 12 раз за 8 лет при CAGR 36%, что экспоненциально полностью соответствует росту числа ИИ-систем в мире.
4. Независимые исследования (включая LinkedIn-аналитику от экспертов по регуляторике) показывают, что средняя стоимость внедрения требований EU AI Act для стартапа в Европе около €200 000/год, время на обеспечение таких требований более года. Причем эта длительность будет только расти.
Соответственно учиться правильно внедрять и надежно управлять ИИ-системами нужно прямо сейчас, и в целом AI Governance компаниям нужен ещё вчера.
5. Несмотря на то, что 93% организаций в мире уже используют ИИ в работе (по данным Knostic, ноябрь 2025), лишь только 7% (!!!) имеют зрелую систему AI Governance (опять же с их слов, значит, реально еще меньше), то есть: документированные процессы, ответственных лиц, регулярный аудит, комиссия по этике, каталоги и глоссарии ИИ-данных, терминов и систем, а также роли/должности AI Steward и AI Auditor и многое другое.
6. ISO/IEC 42001:2023 - это первый международный стандарт для управления ИИ, выпущен в декабре 2023. К февралю 2026 по нему сертифицировано пока менее 200 компаний по всему миру (для сравнения: ISO 27001 имеет десятки тысяч сертификатов). Тем не менее, он уже принят как обязательный в Колумбии и рекомендован ЕС как «дорожная карта» для соответствия AI Act.
В России также обсуждается обязательная стандартизация ИИ-систем и, вероятно, в ближайшие 2 года она будет введена.
Итак, мои надежные друзья и коллеги-профессионалы, регулирование ИИ в мире перешло от теории к практике. В 2026 году компании уже не думают нужно ли нам централизованно управлять ИИ, а решают как именно внедрить AI Governance. Те, кто начал внедрять это направление ещё в 2024-2025 годах, сегодня, конечно, подготовлены и имеют надежные ИИ-системы, соответствующие ожидаемым требованиям и стандартам. А что еще важнее, они умеют и готовы внедрять ИИ так, чтобы полностью соответствовать как текущим, так и ожидаемым нормативно-правовым требованиям 2026-2027.
Global MLSecOps & AI Governance Architect
Николай Павлов
🔥6