⭐️ Пентест по кнопке: это уже реальность (Владислав Лапиков и Роман Лебедь)
Пропустил замечательное выступление известных профессионалов из Т-банка Романа Лебедя и Владислава Лапикова. Исправляюсь, публикую сейчас (лучше поздно, чем никогда!).
Ребята рассказывают про безопасность ML, какие подходы к построению атакующих агентов работают на практике, а какие - нет, как формировать метрики и бенчмарки для их оценки и как подходить к внедрению. Все основано на реальном опыте и экспериментах, масса новых моментов.
Будет и про Safeliner - интересную новаторскую разработку, которая может представлять большой интерес для всех российских (да и зарубежных) MLSecOps.
Ссылка на выступление, приятного просмотра: https://vkvideo.ru/video-172362100_456239265
Global MLSecOps & AI Governance Architect
Николай Павлов
Пропустил замечательное выступление известных профессионалов из Т-банка Романа Лебедя и Владислава Лапикова. Исправляюсь, публикую сейчас (лучше поздно, чем никогда!).
Ребята рассказывают про безопасность ML, какие подходы к построению атакующих агентов работают на практике, а какие - нет, как формировать метрики и бенчмарки для их оценки и как подходить к внедрению. Все основано на реальном опыте и экспериментах, масса новых моментов.
Будет и про Safeliner - интересную новаторскую разработку, которая может представлять большой интерес для всех российских (да и зарубежных) MLSecOps.
Ссылка на выступление, приятного просмотра: https://vkvideo.ru/video-172362100_456239265
Global MLSecOps & AI Governance Architect
Николай Павлов
VK Видео
Владислав Лапиков и Роман Лебедь. Пентест по кнопке - это уже реальность
Слушатель узнает, какие подходы к построению атакующих агентов работают на практике, а какие — нет, как формировать метрики и бенчмарки для их оценки и как подходить к внедрению. Все основано на реальном опыте и экспериментах.
🔥5
⭐️ Тренды: чего ждет ИТ-рынок за горизонтом 2026 года
1. Начнется волна массовых внедрений мультиагентных систем ИИ-помощников
50% опрошенных считают, что российские компании будут массово внедрять мультиагентные системы ИИ-помощников в 2027-2028 гг., так как пока зрелость технологий, данных и корпоративных процессов оставляет желать лучшего. 36% делают более оптимистичный прогноз и считают, что массовые внедрения можно ожидать уже в 2026 г.
Эксперты отмечают, что в 2025-2026 гг. рынок подбирается к агентной логике: мультиагентные ИИ-помощники уже точечно используют в различных сценариях, например, для поддержки пользователей, документооборота, аналитики, внутренних процессов.
Но 2026-й будет, скорее, переходным, а через год-два уже появятся более комплексные системы, которые действительно позволят экономить время сотрудников. Массовый характер же внедрения приобретут, когда на рынке будет представлено много готовых решений и компаний-интеграторов.
«Массовое внедрение в ближайшие 1–2 года сдерживается дефицитом квалифицированных кадров в области разработки и сопровождения таких систем, — подчеркивает операционный директор компании SimbirSoft Дмитрий Петерсон. — Тем не менее, растущий спрос будет стимулировать переквалификацию специалистов из смежных областей».
В ближайшие год-два мультиагентные системы будут развиваться в формате пилотов и экспериментальных проектов, а ключевые решения по-прежнему останутся за специалистами. Сдерживает процесс внедрения и то, что мультиагентные системы требуют зрелой ИТ-архитектуры, единой событийной шины и систем MDM (для управления мастер-данными), и большинство компаний к этому придут не раньше 2027 г.
«Сейчас компании больше сфокусированы на подготовке своей ИТ-инфраструктуры для внедрения ИИ-инструментов. В 2026 г. фокус будет на генеративном искуственном интеллекте и ИИ-агентах. Массовое внедрение мультиагентных систем начнется с 2027–2028 годов»...
Продолжение: https://vk.com/wall-210601538_1993
1. Начнется волна массовых внедрений мультиагентных систем ИИ-помощников
50% опрошенных считают, что российские компании будут массово внедрять мультиагентные системы ИИ-помощников в 2027-2028 гг., так как пока зрелость технологий, данных и корпоративных процессов оставляет желать лучшего. 36% делают более оптимистичный прогноз и считают, что массовые внедрения можно ожидать уже в 2026 г.
Эксперты отмечают, что в 2025-2026 гг. рынок подбирается к агентной логике: мультиагентные ИИ-помощники уже точечно используют в различных сценариях, например, для поддержки пользователей, документооборота, аналитики, внутренних процессов.
Но 2026-й будет, скорее, переходным, а через год-два уже появятся более комплексные системы, которые действительно позволят экономить время сотрудников. Массовый характер же внедрения приобретут, когда на рынке будет представлено много готовых решений и компаний-интеграторов.
«Массовое внедрение в ближайшие 1–2 года сдерживается дефицитом квалифицированных кадров в области разработки и сопровождения таких систем, — подчеркивает операционный директор компании SimbirSoft Дмитрий Петерсон. — Тем не менее, растущий спрос будет стимулировать переквалификацию специалистов из смежных областей».
В ближайшие год-два мультиагентные системы будут развиваться в формате пилотов и экспериментальных проектов, а ключевые решения по-прежнему останутся за специалистами. Сдерживает процесс внедрения и то, что мультиагентные системы требуют зрелой ИТ-архитектуры, единой событийной шины и систем MDM (для управления мастер-данными), и большинство компаний к этому придут не раньше 2027 г.
«Сейчас компании больше сфокусированы на подготовке своей ИТ-инфраструктуры для внедрения ИИ-инструментов. В 2026 г. фокус будет на генеративном искуственном интеллекте и ИИ-агентах. Массовое внедрение мультиагентных систем начнется с 2027–2028 годов»...
Продолжение: https://vk.com/wall-210601538_1993
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Тренды: чего ждет ИТ-рынок за горизонтом 2026 года
1. Начнется волна массовых внедрений мул... Смотрите полностью ВКонтакте.
1. Начнется волна массовых внедрений мул... Смотрите полностью ВКонтакте.
🔥5❤1
⭐️ Запускаем пятый поток учебной программы по MLSecOps с международным участием!
В декабре успешно завершился четвертый поток корпоративной учебной программы "MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения" в Академии Softline. В 2025 году программа вышла на Международный уровень (страны СНГ). От слушателей регулярно поступают позитивные отзывы, при этом программа непрерывно обновляется, по мере накопления опыта и стремительного развития направления MLSecOps в России и в мире.
В рамках обучения слушатели проводят аудит ИИ-систем своих компаний, что помогает многим улучшить безопасность и отказоустойчивость прямо в процессе обучения. Для отдельных компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей за 2025 год.
По заявкам новых слушателей c 10 февраля мы запускаем новый поток этой обучающей программы и приглашаем всех желающих!
Сильные стороны программы:
1. Опора на передовой опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.
2. Привлечение к проведению программы топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.
3. Бесплатная техническая поддержка всех слушателей программы по вопросам безопасности и отказоустойчивости ИИ-систем в процессе и после проведения программы бессрочно.
4. Реализуется базовый аудит MLSecOps в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. Все практические задания программы ориентированы на улучшение безопасности и отказоустойчивости ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению, практические меры, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее по экспоненте и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.
6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступает в силу 117 Приказ ФСТЭК и будет разобрано, как соблюдать эти требования. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops/
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/
Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.
Архитектор MLSecOps
Николай Павлов
В декабре успешно завершился четвертый поток корпоративной учебной программы "MLSecOps. Обеспечение безопасности и отказоустойчивости систем машинного обучения" в Академии Softline. В 2025 году программа вышла на Международный уровень (страны СНГ). От слушателей регулярно поступают позитивные отзывы, при этом программа непрерывно обновляется, по мере накопления опыта и стремительного развития направления MLSecOps в России и в мире.
В рамках обучения слушатели проводят аудит ИИ-систем своих компаний, что помогает многим улучшить безопасность и отказоустойчивость прямо в процессе обучения. Для отдельных компаний потенциальный экономический эффект от такого аудита превысил 3 млн. рублей за 2025 год.
По заявкам новых слушателей c 10 февраля мы запускаем новый поток этой обучающей программы и приглашаем всех желающих!
Сильные стороны программы:
1. Опора на передовой опыт обеспечения безопасности ИИ-систем китайских компаний из Гуань-Чжоу и Шень-Чженя.
2. Привлечение к проведению программы топовых экспертов-разработчиков самых передовых российских инструментов HIVETRACE, HIVETRACE RED и LLAMATOR - Евгения Кокуйкина и Тимура Низамова.
3. Бесплатная техническая поддержка всех слушателей программы по вопросам безопасности и отказоустойчивости ИИ-систем в процессе и после проведения программы бессрочно.
4. Реализуется базовый аудит MLSecOps в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. Все практические задания программы ориентированы на улучшение безопасности и отказоустойчивости ИИ-систем в компаниях, где работают слушатели и по итогам все желающие формулируют рекомендации по улучшению, практические меры, создавая реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
5. Направление MLSecOps - крайне обширное, перспективное и стремительно растущее по экспоненте и большинство российских компаний имеющих ИИ-системы уже столкнулись с необходимостью введения такой должности или роли в ближайший год. Особенно компании из сферы FinTech.
6. Программа согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступает в силу 117 Приказ ФСТЭК и будет разобрано, как соблюдать эти требования. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/mlsecops/
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/osnovy-mlsecops-obespechenie-bezopasnosti-sistem-mashinnogo-obucheniya/
Московские работодатели могут вернуть до 95% затрат на обучение персонала по данной учебной программе.
Архитектор MLSecOps
Николай Павлов
❤3🔥3
⭐️ Первые вакансии по AI Governance в России
Привет, мои дорогие друзья и талантливые коллеги!
Обратил внимание, что на HeadHunter уже появляются первые вакансии, где звучит AI Governance. Как и пул вакансий по MLSecOps 2 года назад, сейчас это пока единичные истории, однако к концу 2026 году, уверен, это число вырастет от 5 до 10 раз.
Описание пока очень общее - и это правильно, так как AI Governance только-только зарождается, много будет изменений.
Например, самостоятельное ведение проектов c заказчиками по внедрению практик Data и AI Governance - от диагностики текущего состояния до реализации целевых инициатив. То есть желательно понимание всех методов AI Governance на протяжении всего жизненного цикла ML.
Пока что AI Governance в основном ассоциируют с Data Governance и в меньшей мере с MLSecOps, что в принципе объяснимо - в обеспечение AI Governance в первую очередь входит понимание всех компонентов AI архитектуры, оценка рисков и активное внедрение, масштабирование применения AI.
Большой акцент делают на подготовке технической документации, а также важна коммуникативная часть по развитию отношений с партнерами и клиентами (что характерно и для позиции Data Steward в Data Governance).
В общем и целом радует, что направление запускается, обрисовываются его контуры. Ожидаю лавинообразного роста здесь с 2026 по 2030 годы.
Пример одной из вакансий: https://hh.ru/vacancy/129341064
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои дорогие друзья и талантливые коллеги!
Обратил внимание, что на HeadHunter уже появляются первые вакансии, где звучит AI Governance. Как и пул вакансий по MLSecOps 2 года назад, сейчас это пока единичные истории, однако к концу 2026 году, уверен, это число вырастет от 5 до 10 раз.
Описание пока очень общее - и это правильно, так как AI Governance только-только зарождается, много будет изменений.
Например, самостоятельное ведение проектов c заказчиками по внедрению практик Data и AI Governance - от диагностики текущего состояния до реализации целевых инициатив. То есть желательно понимание всех методов AI Governance на протяжении всего жизненного цикла ML.
Пока что AI Governance в основном ассоциируют с Data Governance и в меньшей мере с MLSecOps, что в принципе объяснимо - в обеспечение AI Governance в первую очередь входит понимание всех компонентов AI архитектуры, оценка рисков и активное внедрение, масштабирование применения AI.
Большой акцент делают на подготовке технической документации, а также важна коммуникативная часть по развитию отношений с партнерами и клиентами (что характерно и для позиции Data Steward в Data Governance).
В общем и целом радует, что направление запускается, обрисовываются его контуры. Ожидаю лавинообразного роста здесь с 2026 по 2030 годы.
Пример одной из вакансий: https://hh.ru/vacancy/129341064
Global MLSecOps & AI Governance Architect
Николай Павлов
hh.ru
Вакансия Data&AI Governance Эксперт (команда Data&AI Strategy) в Москве, работа в компании Axenix (ранее Accenture)
Зарплата: не указана. Москва. Требуемый опыт: 3–6 лет. Полная. Дата публикации: 13.01.2026.
🔥6
⭐️ 5 IT-трендов, которые определят развитие бизнеса в 2026 году
В 2026 году российский IT-рынок продолжит рост и может приблизиться к 4,5 трлн ₽. При этом компании меняют подход к инвестициям: выбирают решения с быстрым и измеримым эффектом. Например, вкладывают в развитие AI-проектов, масштабирование IT-инфраструктуры или создание собственных разработок.
Чтобы понять, как изменится IT-сфера в ближайшие годы, рассмотрим пять ключевых технологических направлений, которые определят развитие индустрии. Расскажем, чего ждать в 2026 году, и объясним, что это значит для бизнеса.
1. Искусственный интеллект и машинное обучение: от генерации картинок к AI-агентам
Еще несколько лет назад искусственный интеллект воспринимался многими как инструмент для генерации картинок или написания текстов. Сегодня он становится фундаментом бизнес-процессов и переходит от вспомогательных функций к самостоятельному выполнению сложных задач.
Масштабы использования ИИ впечатляют: согласно исследованию McKinsey Technology Trends Outlook 2025, доля компаний, применяющих ИИ в своей работе, выросла до 78%. В России объем рынка искусственного интеллекта тоже растет стремительно и может достичь 500 млрд ₽ в 2026 году.
Одним из направлений развития ИИ в 2026 году станет внедрение AI-агентов. Такие системы анализируют данные, принимают решения и выполняют комплексные задачи без постоянного контроля. Исследование ВШЭ показывает, что 59% российских компаний рассматривают возможности внедрения AI-агентов.
В отличие от обычных чат-ботов или генеративных моделей, AI-агенты работают по принципу «получить задачу — спланировать решение — выполнить». Вот конкретные примеры AI-агентов, которые бизнес может внедрить:
+ Аналитические агенты. Автоматически анализируют продажи за месяц, выявляют аномалии и формируют рекомендации для руководства.
+ Клиентский сервис. Функционирует как команда специализированных агентов, где один консультирует клиентов, другой оформляет продажи, третий обновляет карточки товаров.
+ Агенты прогнозирования спроса. Обрабатывают большие массивы данных и помогают бизнесу принимать обоснованные решения по закупкам и ассортименту.
Несмотря на активное развитие технологий, финансовая эффективность ИИ вызывает вопросы. По данным NANDA, только 5% компаний полностью окупили инвестиции в ИИ. Это связано с тем, что уровень автономности AI-агентов все еще ограничен: системы могут допускать ошибки в реальных сценариях.
Продолжение: https://vk.com/wall-210601538_1996
В 2026 году российский IT-рынок продолжит рост и может приблизиться к 4,5 трлн ₽. При этом компании меняют подход к инвестициям: выбирают решения с быстрым и измеримым эффектом. Например, вкладывают в развитие AI-проектов, масштабирование IT-инфраструктуры или создание собственных разработок.
Чтобы понять, как изменится IT-сфера в ближайшие годы, рассмотрим пять ключевых технологических направлений, которые определят развитие индустрии. Расскажем, чего ждать в 2026 году, и объясним, что это значит для бизнеса.
1. Искусственный интеллект и машинное обучение: от генерации картинок к AI-агентам
Еще несколько лет назад искусственный интеллект воспринимался многими как инструмент для генерации картинок или написания текстов. Сегодня он становится фундаментом бизнес-процессов и переходит от вспомогательных функций к самостоятельному выполнению сложных задач.
Масштабы использования ИИ впечатляют: согласно исследованию McKinsey Technology Trends Outlook 2025, доля компаний, применяющих ИИ в своей работе, выросла до 78%. В России объем рынка искусственного интеллекта тоже растет стремительно и может достичь 500 млрд ₽ в 2026 году.
Одним из направлений развития ИИ в 2026 году станет внедрение AI-агентов. Такие системы анализируют данные, принимают решения и выполняют комплексные задачи без постоянного контроля. Исследование ВШЭ показывает, что 59% российских компаний рассматривают возможности внедрения AI-агентов.
В отличие от обычных чат-ботов или генеративных моделей, AI-агенты работают по принципу «получить задачу — спланировать решение — выполнить». Вот конкретные примеры AI-агентов, которые бизнес может внедрить:
+ Аналитические агенты. Автоматически анализируют продажи за месяц, выявляют аномалии и формируют рекомендации для руководства.
+ Клиентский сервис. Функционирует как команда специализированных агентов, где один консультирует клиентов, другой оформляет продажи, третий обновляет карточки товаров.
+ Агенты прогнозирования спроса. Обрабатывают большие массивы данных и помогают бизнесу принимать обоснованные решения по закупкам и ассортименту.
Несмотря на активное развитие технологий, финансовая эффективность ИИ вызывает вопросы. По данным NANDA, только 5% компаний полностью окупили инвестиции в ИИ. Это связано с тем, что уровень автономности AI-агентов все еще ограничен: системы могут допускать ошибки в реальных сценариях.
Продолжение: https://vk.com/wall-210601538_1996
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ 5 IT-трендов, которые определят развитие бизнеса в 2026 году
В 2026 году российский IT-рыно... Смотрите полностью ВКонтакте.
В 2026 году российский IT-рыно... Смотрите полностью ВКонтакте.
🔥5
⭐️ Регуляторика разработки безопасного ПО в России
Привет, мои замечательные друзья и самые лучшие коллеги!
Наконец-то добрался до интересного цикла статей от Альбины Аскеровой из Swordfish Security по регуляторике разработки безопасного программного обеспечения (РБПО).
Этот цикл написан доступным языком, в позитивном стиле, крайне доходчиво и последовательно. Цикл статей имеет историческую последовательность, и я рекомендую начинать с самой ранней статьи, чтобы освежить память.
Радует, что автор не только описала текущую ситуацию по нормативке в РБПО, но и где-то сделала прогнозы, отразила свое экспертное видение. Здорово, что последняя статья описывает и 117 приказ ФСТЭК, его влияние на безопасную разработку ПО, в том числе и на безопасность ИИ-систем.
Итак, в этот зимний вечер четверга дружно переходим по ссылке и актуализируем наши знания:
https://habr.com/ru/users/AlbinaAskerova/articles/
Все эти статьи очень важны для DevSecOps, MLSecOps, разработчиков ПО в целом, специалистов ИБ, CISO и других специалистов, в работе которых требуются знания регуляторики РБПО.
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои замечательные друзья и самые лучшие коллеги!
Наконец-то добрался до интересного цикла статей от Альбины Аскеровой из Swordfish Security по регуляторике разработки безопасного программного обеспечения (РБПО).
Этот цикл написан доступным языком, в позитивном стиле, крайне доходчиво и последовательно. Цикл статей имеет историческую последовательность, и я рекомендую начинать с самой ранней статьи, чтобы освежить память.
Радует, что автор не только описала текущую ситуацию по нормативке в РБПО, но и где-то сделала прогнозы, отразила свое экспертное видение. Здорово, что последняя статья описывает и 117 приказ ФСТЭК, его влияние на безопасную разработку ПО, в том числе и на безопасность ИИ-систем.
Итак, в этот зимний вечер четверга дружно переходим по ссылке и актуализируем наши знания:
https://habr.com/ru/users/AlbinaAskerova/articles/
Все эти статьи очень важны для DevSecOps, MLSecOps, разработчиков ПО в целом, специалистов ИБ, CISO и других специалистов, в работе которых требуются знания регуляторики РБПО.
Global MLSecOps & AI Governance Architect
Николай Павлов
Хабр
Статьи / Профиль AlbinaAskerova
🔥5❤3
⭐️ Правительство проработает проект по регулированию ИИ
Правительство РФ прорабатывает законопроект по регулированию искусственного интеллекта (ИИ), будут определены критерии "российской" нейросети (что считать российской моделью), авторское право, маркировка ИИ-контента, права, обязанности и ответственность разработчиков и пользователей, рассказали журналистам в аппарате вице-премьера РФ Дмитрия Григоренко.
"На площадке правительства прорабатывается рамочный законопроект, направленный на регулирование ИИ. Предварительно определены ключевые направления регулирования, которым будет уделено особое внимание: критерии "российского" ИИ; права, обязанности и ответственность; маркировка ИИ-контента; авторское право", - сообщили там.
Кроме того, будет уделено внимание использованию ИИ в отраслях, а также формированию понятийного аппарата, чтобы устранить неоднозначность трактовок.
Там объяснили, что ключевой задачей является предотвратить риски от применения ИИ в "чувствительных" сферах, где цена ошибки особенно высока. В числе таких сфер: здравоохранение, судопроизводство, общественная безопасность, образование. При этом распространять требования к ИИ на коммерческий сектор, за исключением объектов критической инфраструктуры, пока не планируется. Очень важно предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений.
"Применение искусственного интеллекта становится все более массовым. Все острее встает вопрос о необходимости введения прозрачных "правил игры". В вопросе регулирования ИИ важно сохранять баланс. С одной стороны, стоит задача – предотвратить возможные риски применения ИИ в тех сферах, где цена ошибки слишком высока. С другой стороны, важно не приостановить развитие технологии, не "задушить" ее правилами", - сообщил Григоренко. Его слова приводятся аппаратом.
Он отметил, что правительство предлагает придерживаться гибкого подхода. Например, предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений. Это важно прежде всего для защиты интересов граждан.
Законопроект по регулированию искусственного интеллекта может быть представлен в правительство России уже до конца февраля.
РИА Новости
Правительство РФ прорабатывает законопроект по регулированию искусственного интеллекта (ИИ), будут определены критерии "российской" нейросети (что считать российской моделью), авторское право, маркировка ИИ-контента, права, обязанности и ответственность разработчиков и пользователей, рассказали журналистам в аппарате вице-премьера РФ Дмитрия Григоренко.
"На площадке правительства прорабатывается рамочный законопроект, направленный на регулирование ИИ. Предварительно определены ключевые направления регулирования, которым будет уделено особое внимание: критерии "российского" ИИ; права, обязанности и ответственность; маркировка ИИ-контента; авторское право", - сообщили там.
Кроме того, будет уделено внимание использованию ИИ в отраслях, а также формированию понятийного аппарата, чтобы устранить неоднозначность трактовок.
Там объяснили, что ключевой задачей является предотвратить риски от применения ИИ в "чувствительных" сферах, где цена ошибки особенно высока. В числе таких сфер: здравоохранение, судопроизводство, общественная безопасность, образование. При этом распространять требования к ИИ на коммерческий сектор, за исключением объектов критической инфраструктуры, пока не планируется. Очень важно предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений.
"Применение искусственного интеллекта становится все более массовым. Все острее встает вопрос о необходимости введения прозрачных "правил игры". В вопросе регулирования ИИ важно сохранять баланс. С одной стороны, стоит задача – предотвратить возможные риски применения ИИ в тех сферах, где цена ошибки слишком высока. С другой стороны, важно не приостановить развитие технологии, не "задушить" ее правилами", - сообщил Григоренко. Его слова приводятся аппаратом.
Он отметил, что правительство предлагает придерживаться гибкого подхода. Например, предотвратить использование ИИ для совершения преступлений и признать использование технологии отягчающим обстоятельством при совершении правонарушений. Это важно прежде всего для защиты интересов граждан.
Законопроект по регулированию искусственного интеллекта может быть представлен в правительство России уже до конца февраля.
РИА Новости
🔥5
⭐️ Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре
Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов к безопасности приложений. Модели машинного обучения представляют собой сжатые представления знаний, обладающие самостоятельной ценностью: их кража или компрометация может привести к утрате конкурентных преимуществ, интеллектуальной собственности или доверия пользователей. Эффективная защита требует интеграции принципов безопасности на всех этапах конвейера машинного обучения — от подготовки данных до развертывания и мониторинга в эксплуатации.
Специфические угрозы рабочим нагрузкам машинного обучения
Традиционные модели информационной безопасности фокусируются на защите исходного кода, учётных данных и персональных данных. Системы машинного обучения расширяют спектр ценных активов за счёт обучающих наборов, предварительно обученных моделей и конвейеров обработки признаков. Атака методом отравления данных позволяет злоумышленнику внедрить вредоносные образцы в обучающий корпус, что приводит к целенаправленному искажению поведения модели без прямого доступа к инфраструктуре. Экспериментальные исследования демонстрируют, что даже доли процента отравленных данных способны вызывать устойчивые ошибки классификации с потенциальными бизнес-последствиями.
Компрометация репозиториев моделей представляет собой подтверждённый вектор атаки. Инциденты, связанные с внедрением версий моделей, содержащих скрытые бэкдоры, подчёркивают уязвимость цепочек поставок машинного обучения. Такие модифицированные артефакты могут демонстрировать корректное поведение при тестировании, активируя вредоносную функциональность только при получении специфических входных шаблонов. Параллельно сохраняется риск несанкционированного извлечения весов моделей через уязвимые интерфейсы вывода, что экономически выгодно ввиду высокой стоимости их переобучения.
Инфраструктурные уязвимости усугубляют перечисленные риски. Рабочие нагрузки машинного обучения часто размещаются на вычислительных ресурсах с ускорителями (GPU, TPU), развёртывание которых опережает применение мер защиты. Неконтролируемый доступ к средам разработки, таким как серверы Jupyter Notebook, или незащищённые интерфейсы управления могут предоставить злоумышленнику доступ к конфиденциальным данным, скриптам обучения и учётным данным облачных сервисов.
Продолжение: https://vk.com/wall-210601538_2000
Внедрение систем машинного обучения в производственные среды становится стандартной практикой для множества организаций. Однако специфика архитектуры и жизненного цикла таких систем создаёт угрозы, выходящие за рамки традиционных подходов к безопасности приложений. Модели машинного обучения представляют собой сжатые представления знаний, обладающие самостоятельной ценностью: их кража или компрометация может привести к утрате конкурентных преимуществ, интеллектуальной собственности или доверия пользователей. Эффективная защита требует интеграции принципов безопасности на всех этапах конвейера машинного обучения — от подготовки данных до развертывания и мониторинга в эксплуатации.
Специфические угрозы рабочим нагрузкам машинного обучения
Традиционные модели информационной безопасности фокусируются на защите исходного кода, учётных данных и персональных данных. Системы машинного обучения расширяют спектр ценных активов за счёт обучающих наборов, предварительно обученных моделей и конвейеров обработки признаков. Атака методом отравления данных позволяет злоумышленнику внедрить вредоносные образцы в обучающий корпус, что приводит к целенаправленному искажению поведения модели без прямого доступа к инфраструктуре. Экспериментальные исследования демонстрируют, что даже доли процента отравленных данных способны вызывать устойчивые ошибки классификации с потенциальными бизнес-последствиями.
Компрометация репозиториев моделей представляет собой подтверждённый вектор атаки. Инциденты, связанные с внедрением версий моделей, содержащих скрытые бэкдоры, подчёркивают уязвимость цепочек поставок машинного обучения. Такие модифицированные артефакты могут демонстрировать корректное поведение при тестировании, активируя вредоносную функциональность только при получении специфических входных шаблонов. Параллельно сохраняется риск несанкционированного извлечения весов моделей через уязвимые интерфейсы вывода, что экономически выгодно ввиду высокой стоимости их переобучения.
Инфраструктурные уязвимости усугубляют перечисленные риски. Рабочие нагрузки машинного обучения часто размещаются на вычислительных ресурсах с ускорителями (GPU, TPU), развёртывание которых опережает применение мер защиты. Неконтролируемый доступ к средам разработки, таким как серверы Jupyter Notebook, или незащищённые интерфейсы управления могут предоставить злоумышленнику доступ к конфиденциальным данным, скриптам обучения и учётным данным облачных сервисов.
Продолжение: https://vk.com/wall-210601538_2000
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Обеспечение безопасности рабочих нагрузок машинного обучения в облачной инфраструктуре
Внед... Смотрите полностью ВКонтакте.
Внед... Смотрите полностью ВКонтакте.
🔥3
⭐️ Gartner определила ключевые тренды в кибербезопасности на 2026 год
Хаотичное развитие искусственного интеллекта, геополитическая напряжённость, регуляторная нестабильность и стремительный рост киберугроз — основные факторы, формирующие ключевые тренды в кибербезопасности на 2026 год, говорится в отчёте компании Gartner.
«Руководители по кибербезопасности сегодня работают в неизведанной среде: все эти факторы сходятся одновременно и проверяют на прочность их команды в условиях постоянных изменений, — отмечает Алекс Майклс, директор-аналитик Gartner. — Это требует новых подходов к управлению киберрисками, устойчивости и распределению ресурсов».
Gartner выделяет шесть трендов, которые существенно повлияют на управление, защиту новых цифровых пространств и массовое внедрение ИИ.
Тренд 1. Агентный ИИ требует усиленного контроля
Агентный ИИ (автономные ИИ-агенты) всё активнее используется сотрудниками и разработчиками, создавая новые поверхности атак. No-code/low-code платформы и так называемый «vibe coding» ускоряют распространение неуправляемых ИИ-агентов, небезопасного кода и рисков нарушения регуляторных требований.
Gartner рекомендует выстраивать жёсткое управление: выявлять разрешённые и неразрешённые ИИ-агенты, внедрять строгие политики контроля и сценарии реагирования на инциденты.
Тренд 2. Регуляторная нестабильность усиливает фокус на устойчивости
Геополитические изменения и новые регуляторные требования делают кибербезопасность критическим бизнес-риском. Регуляторы всё чаще возлагают личную ответственность за нарушения на советы директоров и топ-менеджеров.
Компании рискуют столкнуться с крупными штрафами, потерей бизнеса и репутационным ущербом. Gartner советует формализовать взаимодействие между ИТ, юристами и бизнесом, внедрять стандартизированные контрольные рамки и учитывать требования по суверенитету данных.
Тренд 3. Постквантовая криптография переходит от теории к практике
Gartner прогнозирует, что к 2030 году квантовые компьютеры сделают традиционную асимметричную криптографию небезопасной. Поэтому уже сейчас нужно переходить на постквантовые алгоритмы.
Продолжение: https://vk.com/wall-210601538_2001
Хаотичное развитие искусственного интеллекта, геополитическая напряжённость, регуляторная нестабильность и стремительный рост киберугроз — основные факторы, формирующие ключевые тренды в кибербезопасности на 2026 год, говорится в отчёте компании Gartner.
«Руководители по кибербезопасности сегодня работают в неизведанной среде: все эти факторы сходятся одновременно и проверяют на прочность их команды в условиях постоянных изменений, — отмечает Алекс Майклс, директор-аналитик Gartner. — Это требует новых подходов к управлению киберрисками, устойчивости и распределению ресурсов».
Gartner выделяет шесть трендов, которые существенно повлияют на управление, защиту новых цифровых пространств и массовое внедрение ИИ.
Тренд 1. Агентный ИИ требует усиленного контроля
Агентный ИИ (автономные ИИ-агенты) всё активнее используется сотрудниками и разработчиками, создавая новые поверхности атак. No-code/low-code платформы и так называемый «vibe coding» ускоряют распространение неуправляемых ИИ-агентов, небезопасного кода и рисков нарушения регуляторных требований.
Gartner рекомендует выстраивать жёсткое управление: выявлять разрешённые и неразрешённые ИИ-агенты, внедрять строгие политики контроля и сценарии реагирования на инциденты.
Тренд 2. Регуляторная нестабильность усиливает фокус на устойчивости
Геополитические изменения и новые регуляторные требования делают кибербезопасность критическим бизнес-риском. Регуляторы всё чаще возлагают личную ответственность за нарушения на советы директоров и топ-менеджеров.
Компании рискуют столкнуться с крупными штрафами, потерей бизнеса и репутационным ущербом. Gartner советует формализовать взаимодействие между ИТ, юристами и бизнесом, внедрять стандартизированные контрольные рамки и учитывать требования по суверенитету данных.
Тренд 3. Постквантовая криптография переходит от теории к практике
Gartner прогнозирует, что к 2030 году квантовые компьютеры сделают традиционную асимметричную криптографию небезопасной. Поэтому уже сейчас нужно переходить на постквантовые алгоритмы.
Продолжение: https://vk.com/wall-210601538_2001
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Gartner определила ключевые тренды в кибербезопасности на 2026 год
Хаотичное развитие искус... Смотрите полностью ВКонтакте.
Хаотичное развитие искус... Смотрите полностью ВКонтакте.
🔥4
⭐️ Data Governance – культура обеспечения качества и безопасности данных
17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.
За два с лишним часа мы рассмотрим вопросы обеспечения качества данных, построения эффективной архитектуры данных в целях развития Data Governance, а также обсудим ключевые принципы безопасной разработки и использования ИИ-систем в контуре современной организации.
Покажу важнейшие тренды, сделаю прогнозы о том, что ждет IT-сферу в 2026 году. Расскажу про принципиально новое направление AI Governance, как оно связано с MLSecOps, в чем отличие AI Governance от Data Governance и какие у него перспективы. Объясню как стать таким специалистом. Расскажу и про текущее состояние MLSecOps в России, текущие особенности этого направления, требования регуляторов и что уже изменилось за 2025 год. А также отвечу на вопросы онлайн.
Как обычно буду рад друзьям, коллегам и всем желающим!
Ссылка для регистрации: https://academyit.ru/deals/activity/events/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/?utm_source=blog&utm_medium=mlsecops_plus&utm_campaign=mk170226
Global MLSecOps & AI Governance Architect
Николай Павлов
17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.
За два с лишним часа мы рассмотрим вопросы обеспечения качества данных, построения эффективной архитектуры данных в целях развития Data Governance, а также обсудим ключевые принципы безопасной разработки и использования ИИ-систем в контуре современной организации.
Покажу важнейшие тренды, сделаю прогнозы о том, что ждет IT-сферу в 2026 году. Расскажу про принципиально новое направление AI Governance, как оно связано с MLSecOps, в чем отличие AI Governance от Data Governance и какие у него перспективы. Объясню как стать таким специалистом. Расскажу и про текущее состояние MLSecOps в России, текущие особенности этого направления, требования регуляторов и что уже изменилось за 2025 год. А также отвечу на вопросы онлайн.
Как обычно буду рад друзьям, коллегам и всем желающим!
Ссылка для регистрации: https://academyit.ru/deals/activity/events/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/?utm_source=blog&utm_medium=mlsecops_plus&utm_campaign=mk170226
Global MLSecOps & AI Governance Architect
Николай Павлов
❤2🔥2
MLSecOps | AI Governance | AI Reliability & Safety | IT Trends pinned «⭐️ Data Governance – культура обеспечения качества и безопасности данных 17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.…»
⭐️ Три полезные статьи для специалистов MLSecOps и AI Governance
Привет, мои замечательные друзья и самые талантливые коллеги!
Вчера и сегодня прочитал три интересные статьи и решил поделиться с вами. Особенно они будут полезны для всех специалистов, чья деятельность так или иначе связана с направлениями MLSecOps и AI Governance.
1. Роскомнадзор ужесточил штрафы за персданные: 300 тысяч за неуведомление, миллион за утечку
В статье автор детально и, главное, доходчиво объясняет, за какие именно нарушения, каким именно типам гражданско-правовых отношений (физлица, самозанятые, юрлица и т.п.) что грозит. Как этого избежать. И что делать на практике, причем даются базовые советы, MVP, понимание где подстелить соломку, как сгладить острые углы. Статья полезна и для ИИ-специалистов, ведь при работе и обучении ИИ часто используются персональные данные. А их спектр довольно широк - об этом тоже пишет автор. Интересно? Переходим и читаем активно и дружно.
Ссылка: https://habr.com/ru/companies/moysklad/articles/994568/
2. Исследование: AI-автопилоты на базе LVLM можно обмануть с помощью промпт-инъекций
Статья про то, как системы компьютерного зрения, способные распознавать текст (LVLM), можно атаковать с помощью визуальных промпт-инъекций. Небольшая, но основанная на реальных исследованиях и картинки к ней классные. Строго обязательна для специалистов MLSecOps и AI Governance.
Ссылка: https://habr.com/ru/news/994672/
3. Исследования показывают, что ИИ-модели по-прежнему слишком часто испытывают галлюцинации
Ценная статья про галлюцинации ведущих моделей (GPT, Claude, DeepSeek). Причем исследователи оценивали галлюцинации со включенным веб-поиском и без него. Очевидно, что с веб-поиском галлюцинаций поменьше. Причем веб-поиск в первую очередь снижает количество ошибок, связанных с ссылками.
Ожидаемо огромные контекст и длительные диалоги повышают галлюцинации (поэтому интенсивно чистим диалоговое окно!).
Отмечается что более крупные и более современные модели все же реже испытывают галлюцинации. И авторы верно отмечают, что бенчмарки, на которых проверяют галлюцинации часто идентичны и требуется их расширение/разработка новых.
Ссылка: https://habr.com/ru/companies/bothub/news/994664/
В общем, всем приятного чтения и отличного дня!
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои замечательные друзья и самые талантливые коллеги!
Вчера и сегодня прочитал три интересные статьи и решил поделиться с вами. Особенно они будут полезны для всех специалистов, чья деятельность так или иначе связана с направлениями MLSecOps и AI Governance.
1. Роскомнадзор ужесточил штрафы за персданные: 300 тысяч за неуведомление, миллион за утечку
В статье автор детально и, главное, доходчиво объясняет, за какие именно нарушения, каким именно типам гражданско-правовых отношений (физлица, самозанятые, юрлица и т.п.) что грозит. Как этого избежать. И что делать на практике, причем даются базовые советы, MVP, понимание где подстелить соломку, как сгладить острые углы. Статья полезна и для ИИ-специалистов, ведь при работе и обучении ИИ часто используются персональные данные. А их спектр довольно широк - об этом тоже пишет автор. Интересно? Переходим и читаем активно и дружно.
Ссылка: https://habr.com/ru/companies/moysklad/articles/994568/
2. Исследование: AI-автопилоты на базе LVLM можно обмануть с помощью промпт-инъекций
Статья про то, как системы компьютерного зрения, способные распознавать текст (LVLM), можно атаковать с помощью визуальных промпт-инъекций. Небольшая, но основанная на реальных исследованиях и картинки к ней классные. Строго обязательна для специалистов MLSecOps и AI Governance.
Ссылка: https://habr.com/ru/news/994672/
3. Исследования показывают, что ИИ-модели по-прежнему слишком часто испытывают галлюцинации
Ценная статья про галлюцинации ведущих моделей (GPT, Claude, DeepSeek). Причем исследователи оценивали галлюцинации со включенным веб-поиском и без него. Очевидно, что с веб-поиском галлюцинаций поменьше. Причем веб-поиск в первую очередь снижает количество ошибок, связанных с ссылками.
Ожидаемо огромные контекст и длительные диалоги повышают галлюцинации (поэтому интенсивно чистим диалоговое окно!).
Отмечается что более крупные и более современные модели все же реже испытывают галлюцинации. И авторы верно отмечают, что бенчмарки, на которых проверяют галлюцинации часто идентичны и требуется их расширение/разработка новых.
Ссылка: https://habr.com/ru/companies/bothub/news/994664/
В общем, всем приятного чтения и отличного дня!
Global MLSecOps & AI Governance Architect
Николай Павлов
Хабр
Роскомнадзор ужесточил штрафы за персданные: 300 тысяч за неуведомление, миллион за утечку
С 30 мая 2025 года штрафы за нарушения в сфере персональных данных выросли до 300–700 тысяч рублей — за то, что раньше стоило 5 тысяч. Разберём требования и что можно сделать, чтобы работать спокойно....
🔥3🤯2
⭐️ Китай вторым после Google шагнул к отказоустойчивым квантовым компьютерам
«Вековая» проблема квантовых вычислителей — рост числа ошибок вместе с наращиванием числа кубитов. Больше кубитов — больше ошибок, что затрудняет масштабирование и появление мощных отказоустойчивых квантовых компьютеров. Год назад Google сообщила, что вместе с новым процессором Willow она первой в мире решила проблему масштабирования, создав процессор с большим числом кубитов и вдвое меньшей вероятностью появления ошибок. Теперь Китай её в этом догнал.
Команда исследователей из Университета науки и технологии Китая опубликовала работу, которую эксперты уже назвали «впечатляющей». Представленный почти одновременно с Google Willow процессор Zuchongzhi 3 с 107 кубитами (у Willow — 105 кубитов), как и его американский соперник, также показал увеличение числа кубитов с одновременным снижением частоты возникновения ошибок. Тем самым китайская команда заявляет о достижении порога отказоустойчивых квантовых систем.
Более того, китайские разработчики утверждают, что им удалось реализовать более изящное и простое аппаратное решение проблемы коррекции ошибок. Так, если Google в процессоре Willow «подавляет ошибки» короткими импульсами тока, то в китайском процессоре Zuchongzhi 3.2 это происходит беспроводным способом — с помощью микроволнового излучения. В итоге китайская квантовая вычислительная платформа получается проще и эффективнее, а значит, её будет легче масштабировать.
Как и Google Willow, китайский процессор Zuchongzhi 3.2 для коррекции ошибок использует поверхностный код и матрицу с разрядностью d=7. Эксперименты показали, что увеличение числа кубитов привело к снижению частоты появления ошибок с коэффициентом 1,4. Это хороший задел для совершенствования квантовых вычислителей, которых сегодня всё ещё не хватает для решения задач, неподъёмных для классических компьютеров.
3dnews
«Вековая» проблема квантовых вычислителей — рост числа ошибок вместе с наращиванием числа кубитов. Больше кубитов — больше ошибок, что затрудняет масштабирование и появление мощных отказоустойчивых квантовых компьютеров. Год назад Google сообщила, что вместе с новым процессором Willow она первой в мире решила проблему масштабирования, создав процессор с большим числом кубитов и вдвое меньшей вероятностью появления ошибок. Теперь Китай её в этом догнал.
Команда исследователей из Университета науки и технологии Китая опубликовала работу, которую эксперты уже назвали «впечатляющей». Представленный почти одновременно с Google Willow процессор Zuchongzhi 3 с 107 кубитами (у Willow — 105 кубитов), как и его американский соперник, также показал увеличение числа кубитов с одновременным снижением частоты возникновения ошибок. Тем самым китайская команда заявляет о достижении порога отказоустойчивых квантовых систем.
Более того, китайские разработчики утверждают, что им удалось реализовать более изящное и простое аппаратное решение проблемы коррекции ошибок. Так, если Google в процессоре Willow «подавляет ошибки» короткими импульсами тока, то в китайском процессоре Zuchongzhi 3.2 это происходит беспроводным способом — с помощью микроволнового излучения. В итоге китайская квантовая вычислительная платформа получается проще и эффективнее, а значит, её будет легче масштабировать.
Как и Google Willow, китайский процессор Zuchongzhi 3.2 для коррекции ошибок использует поверхностный код и матрицу с разрядностью d=7. Эксперименты показали, что увеличение числа кубитов привело к снижению частоты появления ошибок с коэффициентом 1,4. Это хороший задел для совершенствования квантовых вычислителей, которых сегодня всё ещё не хватает для решения задач, неподъёмных для классических компьютеров.
3dnews
🔥5
⭐️ NIST переосмысливает подход к защите ИИ
Распространение автономных систем подрывает фундаментальные представления, основанные на том, что поведение программ детерминировано, границы между компонентами устойчивы, а люди контролируют ситуацию.
На протяжении многих лет специалисты в области кибербезопасности руководствовались тем, что новые технологии имеют свои особенности, но не создают принципиально новых проблем. Согласно этой точки зрения, искусственный интеллект является обычным программным обеспечением, только еще более быстрым, сложным и мощным. Поэтому на семинаре, организованном Национальным институтом стандартов и технологий США (NIST), в свое время был высказан тезис о том, что средства управления, защищающие традиционные системы, в значительной степени можно адаптировать и для защиты ИИ. В таком случае начинать все с нуля не придется.
Однако по мере смещения обсуждения в сторону ИИ-агентов концепция эта начала рушиться. Эксперты продемонстрировали, как ИИ подрывает фундаментальные подходы, основанные на том, что поведение систем детерминировано, границы между компонентами устойчивы, а люди полностью контролируют ситуацию.
Новые инициативы NIST сигнализируют о предстоящем переходе к специализированным стандартам безопасности, которые должны учитывать уникальные риски автономных систем, в том числе непредсказуемое поведение ИИ-агентов и уязвимости к атакам через данные. В начале января Центр стандартов и инноваций в области ИИ опубликовал официальный запрос на информацию (RFI), посвященный безопасности ИИ-агентов – систем, способных принимать автономные решения и взаимодействовать с реальным миром без постоянного контроля со стороны человека. Документ фокусируется на системах ИИ, которые способны выполнять автономные действия, влияющие на реальную среду, и запрашивает информацию о новых рисках, методах оценки и обеспечения безопасности, а также об ограничениях при развертывании. Инициативы NIST направлены на укрепление безопасности систем ИИ с разных точек зрения – разработки, развертывания, идентификации, конфиденциальности и злоупотреблений со стороны противника – и включают в себя следующие составляющие.
Продолжение: https://vk.com/wall-210601538_2006
Распространение автономных систем подрывает фундаментальные представления, основанные на том, что поведение программ детерминировано, границы между компонентами устойчивы, а люди контролируют ситуацию.
На протяжении многих лет специалисты в области кибербезопасности руководствовались тем, что новые технологии имеют свои особенности, но не создают принципиально новых проблем. Согласно этой точки зрения, искусственный интеллект является обычным программным обеспечением, только еще более быстрым, сложным и мощным. Поэтому на семинаре, организованном Национальным институтом стандартов и технологий США (NIST), в свое время был высказан тезис о том, что средства управления, защищающие традиционные системы, в значительной степени можно адаптировать и для защиты ИИ. В таком случае начинать все с нуля не придется.
Однако по мере смещения обсуждения в сторону ИИ-агентов концепция эта начала рушиться. Эксперты продемонстрировали, как ИИ подрывает фундаментальные подходы, основанные на том, что поведение систем детерминировано, границы между компонентами устойчивы, а люди полностью контролируют ситуацию.
Новые инициативы NIST сигнализируют о предстоящем переходе к специализированным стандартам безопасности, которые должны учитывать уникальные риски автономных систем, в том числе непредсказуемое поведение ИИ-агентов и уязвимости к атакам через данные. В начале января Центр стандартов и инноваций в области ИИ опубликовал официальный запрос на информацию (RFI), посвященный безопасности ИИ-агентов – систем, способных принимать автономные решения и взаимодействовать с реальным миром без постоянного контроля со стороны человека. Документ фокусируется на системах ИИ, которые способны выполнять автономные действия, влияющие на реальную среду, и запрашивает информацию о новых рисках, методах оценки и обеспечения безопасности, а также об ограничениях при развертывании. Инициативы NIST направлены на укрепление безопасности систем ИИ с разных точек зрения – разработки, развертывания, идентификации, конфиденциальности и злоупотреблений со стороны противника – и включают в себя следующие составляющие.
Продолжение: https://vk.com/wall-210601538_2006
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ NIST переосмысливает подход к защите ИИ
Распространение автономных систем подрывает фундаме... Смотрите полностью ВКонтакте.
Распространение автономных систем подрывает фундаме... Смотрите полностью ВКонтакте.
🔥4
⭐️ Создание AI-агентов в Yandex Cloud
Привет, мои дорогие друзья и самые талантливые коллеги!
Для тех, кто пока еще не вошел в сферу работы с ИИ-агентами рекомендую небольшой бесплатный курс "Создание AI-агентов в Yandex Cloud".
Здесь вы научитесь работать в одной из ведущих российских облачных платформ для создания ИИ-агентов Yandex AI Studio, анонсированной в 2025 году.
Кому будет особенно полезно?
Разработчикам и студентам технических специальностей, архитекторам и вообще тем, кто хочет понять, как работают ИИ‑агенты и как их создавать.
Вы научитесь создавать полнофункциональных агентов на базе LLM с нуля и подключать AI‑агентов к внутренним и внешним источникам данных.
Научитесь проектировать инфраструктуру под AI‑агентов, интегрировать внешние системы и управлять качеством взаимодействия моделей в комплексных сценариях.
Эту учебную программу составили эксперты Yandex Cloud с большим опытом работы в IT-индустрии. Вы будете изучать теорию с практическими заданиями и примерами из жизни.
Да, курс для новичков сложный. Но востребованность этого навыка уже сейчас высокая и к 2030 году я её оцениваю на 98 из 100, то есть это критический навык для выживания в будущем.
Курс бесплатный, друзья, заходим, учимся! Кому сложно, кому что непонятно - пишите мне, поддержу, помогу чем смогу! Не останавливаемся, не расслабляемся, идем дальше к вершине и к высокотехнологичному будущему. Ставки в этой стремительной гонке растут и каждый день на счету.
Твердо верю в каждого из вас!
Ссылка: https://yandex.cloud/ru/training/ai-agents
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои дорогие друзья и самые талантливые коллеги!
Для тех, кто пока еще не вошел в сферу работы с ИИ-агентами рекомендую небольшой бесплатный курс "Создание AI-агентов в Yandex Cloud".
Здесь вы научитесь работать в одной из ведущих российских облачных платформ для создания ИИ-агентов Yandex AI Studio, анонсированной в 2025 году.
Кому будет особенно полезно?
Разработчикам и студентам технических специальностей, архитекторам и вообще тем, кто хочет понять, как работают ИИ‑агенты и как их создавать.
Вы научитесь создавать полнофункциональных агентов на базе LLM с нуля и подключать AI‑агентов к внутренним и внешним источникам данных.
Научитесь проектировать инфраструктуру под AI‑агентов, интегрировать внешние системы и управлять качеством взаимодействия моделей в комплексных сценариях.
Эту учебную программу составили эксперты Yandex Cloud с большим опытом работы в IT-индустрии. Вы будете изучать теорию с практическими заданиями и примерами из жизни.
Да, курс для новичков сложный. Но востребованность этого навыка уже сейчас высокая и к 2030 году я её оцениваю на 98 из 100, то есть это критический навык для выживания в будущем.
Курс бесплатный, друзья, заходим, учимся! Кому сложно, кому что непонятно - пишите мне, поддержу, помогу чем смогу! Не останавливаемся, не расслабляемся, идем дальше к вершине и к высокотехнологичному будущему. Ставки в этой стремительной гонке растут и каждый день на счету.
Твердо верю в каждого из вас!
Ссылка: https://yandex.cloud/ru/training/ai-agents
Global MLSecOps & AI Governance Architect
Николай Павлов
Yandex AI Studio
Курсы обучения по созданию ИИ агентов (AI Agents) | Yandex AI Studio
Как создавать собственных ИИ агентов на основе инфраструктуры Yandex AI Studio. Решайте любые бизнес-задачи при помощи современных нейросетей.
🔥3❤2
Всех дорогих друзей и коллег приглашаю 17 февраля с 12:00 до 13:30 на прямой эфир с моим участием. Совместно с другими экспертами разберем самые актуальные и важные темы безопасной разработки: https://sec.ussc.ru/ussc-renue
sec.ussc.ru
Безопасная разработка под новые требования: от 117 приказа ФСТЭК России до стандартов безопасности ИИ
Регуляторные требования к безопасной разработке становятся строже, а технологии — сложнее. Разработчикам, ИБ-специалистам и бизнесу приходится искать баланс между соответствием требованиям, реальной безопасностью и скоростью вывода продуктов на рынок
🔥3❤1
Forwarded from Кибербезопасность с УЦСБ
В программе:
Регистрация
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥2⚡1
Forwarded from Борис_ь с ml
Меры защиты информационных систем с ИИ
#иб_для_ml
Появился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах".
Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации.
Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления).
Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой.
Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек.
Раздел "3.17. Обеспечение защиты информации при использовании
ИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939)
Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного
интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1).
🚪 Объектами ЗИИ.1 являются инфраструктура и ПО разработки системы ИИ (под ней понимается подготовка наборов обучающих данных, обучение
и тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО.
➖ Основные установленные ЗИИ.1 меры:
🔘 выделение инфраструктуры разработки системы ИИ от иной инфраструктуры разработчика в изолированный сегмент
🔘 отказ от небезопасных форматов файлов (pickle) и применение безопасных (onnx, protobuf)
🔘 в приоритетном порядке должны применяться наборы данных из доверенных источников (например, от гос. органов)
🔘 проверка данных с помощью антивируса
🔘 для входной модели ИИ необходимо проводить анализ уязвимостей. В отношении выявленных у модели уязвимостей необходимо предпринять меры их нейтрализации.
➖ Основные меры усиления из ЗИИ.1:
🔘 физическая изоляция среды разработки системы ИИ
🔘 хранение данных обучения в зашифрованном виде
🔘 состязательное обучение
🔘 внедрение механизмов ограничения допустимых диапазонов данных,
санитизации входных данных
🔘 должно быть реализовано тестирование на устойчивость к промпт-атакам
🚪 Объектами ЗИИ.2 являются ПО реализации технологии ИИ (модели ИИ), API, агентов, систем цензуры, обученная модель МО и ее расширения (LoRA, RAG и др.), используемая для эксплуатации инфраструктура вне оператора ИИ
➖ Основные установленные ЗИИ.2 меры:
🔘 фильтрация входных и выходных данных (гардрейлы)
🔘 обеспечение регистрации событий безопасности, связанных с запросами и ответами к системе искусственного интеллекта
🔘 мониторинг и квотирование количества запросов к системе искусственного
интеллекта
🔘 проведение анализа уязвимостей и принятие мер по их устранению, осуществляемое оператором совместно с разработчиком систем ИИ
➖ Основные меры усиления из ЗИИ.2:
🔘 выделение системы ИИ в отдельной изолированный сегмент
🔘 обеспечение целостности модели ИИ с помощью сертифицированных шифровальных (криптографических) СЗИ
#иб_для_ml
Появился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах".
Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации.
Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления).
Применение гардрейлов и регистрация событий инцидентов КБ GenAI являются обязательными мерами при эксплуатации ИИ.
Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой.
Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек.
Раздел "3.17. Обеспечение защиты информации при использовании
ИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939)
Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного
интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1).
и тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО.
санитизации входных данных
интеллекта
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤1
Forwarded from Похек AI (Сергей Зыбнев)
Почему ИИ ставит KPI выше безопасности людей: результаты бенчмарка ODCV-Bench
#AgenticAI #safety #OWASP
AI-агент управляет грузоперевозками. KPI - 98% доставок вовремя. Находит, что валидатор не проверяет подлинность логов. Подделывает записи об отдыхе водителей, отключает датчики безопасности. Ради метрики. Осознанно.
Бенчмарк ODCV-Bench от McGill University - 40 сценариев, где AI-агент выбирает между KPI и этикой. Тестировали 12 frontier-моделей:
➡️ 9 из 12 нарушают ограничения в 30-71% случаев
➡️ Gemini-3-Pro-Preview: 71.4% нарушений
➡️ Claude Opus 4.5: 1.3%
Самое интересное - Deliberative Misalignment. Модели потом распознают свои действия как неэтичные (до 93.5% SAMR), но в момент задачи - KPI важнее этики.
Как это ломает реальный продакшен (с кейсом чат-бота застройщика, который сам начинает манипулировать клиентами), при чём тут OWASP Agentic AI Top 10 и что с этим делать - разобрал в полной статье.
🔗 Данный пост выжимка моей статьи на Habr, очень советую прочитать всё
🌚 @poxek_ai
#AgenticAI #safety #OWASP
AI-агент управляет грузоперевозками. KPI - 98% доставок вовремя. Находит, что валидатор не проверяет подлинность логов. Подделывает записи об отдыхе водителей, отключает датчики безопасности. Ради метрики. Осознанно.
Бенчмарк ODCV-Bench от McGill University - 40 сценариев, где AI-агент выбирает между KPI и этикой. Тестировали 12 frontier-моделей:
Самое интересное - Deliberative Misalignment. Модели потом распознают свои действия как неэтичные (до 93.5% SAMR), но в момент задачи - KPI важнее этики.
Как это ломает реальный продакшен (с кейсом чат-бота застройщика, который сам начинает манипулировать клиентами), при чём тут OWASP Agentic AI Top 10 и что с этим делать - разобрал в полной статье.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5⚡2
Forwarded from Timur Nizamov
https://habr.com/ru/companies/alfa/articles/994378/
Промпт-инъекции — это не первопричина, а симптом более глубоких архитектурных проблем в безопасности ИИ-агентов. Об этом я написал статью на Хабр
Промпт-инъекции — это не первопричина, а симптом более глубоких архитектурных проблем в безопасности ИИ-агентов. Об этом я написал статью на Хабр
Хабр
Почему промпт-инъекции — это симптом, а не болезнь безопасности ИИ
Что вы представляете, когда кто-то говорит об AI-driven компании? Может быть, как чат-боты улучшают опыт клиентов? Или как сотрудники разворачивают любые модели для своих нужд? А может, как ИИ-агенты...
🔥4
⭐️ В 2026 рынок продуктов для защиты ИИ вырастет как минимум в 4 раза
AI Security — это новый рынок, он только формируется, но совершенно очевидно, что этот рынок будет расти в геометрической прогрессии вслед за рынком продуктов на основе искусственного интеллекта. Доверие между человеком и ИИ становится новой валютой цифрового мира. Задача инженеров уже не просто защищать инновации, а защищать доверие
По данным из открытых источников, а также по экспертным оценкам в 2025 спрос на продукты для защиты ИИ составил не менее 1 млрд рублей. ИИ-технологии развиваются и внедряются стремительно, и сегодня задача ИБ-компаний очень быстро обеспечить бизнесу защиту от растущих рисков. Сейчас над этой задачей трудится много команд, полагаем, что в 2026 рынок AI Security вырастет как минимум вчетверо, и этот рост продолжится в ближайшие 5 лет (согласно открытым данным, к 2029 рынок AI Security достигнет 11 млрд. руб., обогнав по темпам роста и доходности рынок DevSecOps).
rbc
AI Security — это новый рынок, он только формируется, но совершенно очевидно, что этот рынок будет расти в геометрической прогрессии вслед за рынком продуктов на основе искусственного интеллекта. Доверие между человеком и ИИ становится новой валютой цифрового мира. Задача инженеров уже не просто защищать инновации, а защищать доверие
По данным из открытых источников, а также по экспертным оценкам в 2025 спрос на продукты для защиты ИИ составил не менее 1 млрд рублей. ИИ-технологии развиваются и внедряются стремительно, и сегодня задача ИБ-компаний очень быстро обеспечить бизнесу защиту от растущих рисков. Сейчас над этой задачей трудится много команд, полагаем, что в 2026 рынок AI Security вырастет как минимум вчетверо, и этот рост продолжится в ближайшие 5 лет (согласно открытым данным, к 2029 рынок AI Security достигнет 11 млрд. руб., обогнав по темпам роста и доходности рынок DevSecOps).
rbc
🔥4