⭐️ Запускаем первый поток новой учебной программы по AI Governance!

Учитывая стремительный рост и востребованность нового направления AI Governance, Академия Softline 24 февраля запускает первую корпоративную учебную программу «AI Governance в критических отраслях: от рисков и угроз к этике и доверию».

Эта программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ.

В рамках обучения слушатели узнают:
1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем?
2. Как избежать рисков нарушения этики и дискриминации?
3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу?
4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ?
5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают?
6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования?
7. Какие требования к архитектуре ИИ-систем есть в AI Governance?
8. Как работать с Каталогом и Глоссарием данных в AI Governance?
9. Какие есть методы, инструменты и фреймворки для AI Governance?
10. Как выстроить процессы AI Governance в компании.
11. Многое другое.

Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру.

Сильные стороны программы:

1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень).

2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно.

3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.

4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем.

5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступает в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона об ИИ в России. Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования.

6. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях.

Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/ai_g

Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu

Global MLSecOps & AI Governance Architect
Николай Павлов

⭐️ Квантовые вычисления: основные идеи и современное состояние технологии

Привет, мои талантливые друзья и экспертные коллеги!

Как и обещал, продолжаю находить кусочки времени на погружение в квантовые технологии. И сегодня предлагаю вам посмотреть очень понятное и интересное выступление научного руководителя Центра квантовых технологий Сбера Станислава Страупе.

В видео рассмотрены ключевые идеи, лежащие в основе квантовых вычислений, понятие вычислительной сложности алгоритмов. Определен круг задач, которые сложны для классического компьютера, но могут быть решены с использованием квантовых вычислителей. Какие именно принципы квантовой теории позволяют получить эти вычислительные преимущества и простейшие примеры квантовых алгоритмов.

Во второй части речь идет о современном состоянии технологии и экспериментальном прогрессе в области создания первых квантовых процессоров. Рассмотрены различные варианты их реализации и обсудим перспективы на ближайшее будущее. Отдельно рассказывается о возможных областях применения и коммерческом потенциале этой технологии.

Ссылка на видео: https://vk.com/video-22522055_456244290

Global MLSecOps & AI Governance Architect
Николай Павлов

⭐️ Дорогие друзья, коллеги и единомышленники!

Поздравляю вас с Днем защитника Отечества!
Быть защитником в эпоху цифровых трансформаций означает не только охранять границы, но и обеспечивать безопасность, отказоустойчивость и этичность национальных ИИ-систем. Особенно в критической инфраструктуре и даже в сфере ВПК.

В ускоряющемся мире, где технологический разрыв растет каждый день, а за реальным развитием ИИ уследить почти невозможно, ваша компетенция - это тот самый щит, который позволяет России и ее союзникам безопасно проходить через вызовы будущего. Ваша работа поддерживает критическую инфраструктуру, сохраняя ресурсы, время, финансы и даже жизни людей! Ваши продвинутые знания, навыки дают окружающим уверенность в завтрашнем дне и демонстрируют достойный для подражания пример.

Желаю вам непрерывного развития, огромной дисциплины, крепкого здоровья, семейного благополучия и веры в свои силы! Пусть будущее будет стабильным, безопасным и светлым. Мы создаем его вместе! 🇷🇺

С уважением,
Николай Павлов

⭐️ Только в 9% российских компаний строят автономные ИИ-системы

В 80% компаний в России внедрение ИИ пока ограничено использованием чат-ботов. 11% уже автоматизировали с помощью ИИ один блок бизнес-процессов, но он не интегрирован с другими звеньями цепочки, поэтому данные из него нужно забирать вручную. И только в 9% российских компаний строят системы, где ИИ сам извлекает данные и сам выполняет действие (без участия человека).

Такие результаты показало исследование WMT AI. Компания проанализировала данные аудита среднего и крупного бизнеса, проводимого экспертной группой в 2024 и 2025 годах.

Игорь Никитин, основатель WMT AI и эксперт по AI-трансформации, поясняет, что самые распространенные в России сценарии внедрения ИИ — это “костыль” для бизнеса, а не полноценная автоматизация.

“Есть простой, но ключевой критерий оценки эффективности внедрения ИИ — «тест буфера обмена». Вам необходимо изучить физику работы — например, как сотрудник использует результат от нейросети. Если он получает ответ, выделяет его мышкой, копирует и вручную вставляет в CRM, Excel или почту, это провал. Это наглядно показывает нам, что процесс остался старым. Просто человек стал быстрее набирать текст. Это не является трансформацией бизнеса, и это важно понимать. От такого формата внедрения ИИ ждать результатов не стоит”, — поясняет Никитин.

Данные статистики WMT AI подтверждаются международными и российскими исследованиями. Международное консалтинговое агентство McKinsey&Company в своем отчете фиксирует, что 95% организаций используют нейросети неправильно, создавая разрозненные «островки автоматизации» вместо единой эффективной среды. Аналитики российской консалтинговой компании KT Team пришли к выводу, что 92% компаний увеличивают инвестиции в ИИ, но лишь 1% достигает полной операционной интеграции.

«Большинство компаний буквально попали в ловушку: они подключили сотрудников к чат-ботам, но не перестроили процессы. Доступ к нейросетям — это лишь фундамент, первый шаг. Но если организации останавливаются на нем, то просто получают дорогой «калькулятор слов». Настоящая эффективность (ROI) начинается там, где ИИ встроен в системы компании (по API или On-premise) и работает автономно», — отмечает Игорь Никитин.

iksmedia

⭐️ Автоматизация с помощью ИИ-агентов в 67% случаев приносит реальную пользу

67% компаний, внедривших автономные ИИ-системы, фиксируют рост продуктивности, но масштабирование сдерживает высокая стоимость инференса, говорится в отчете DigitalOcean, основанном на опросе более 1100 технических директоров, разработчиков и основателей стартапов.

Использование ИИ-агентов в бизнесе выходит на стадию массового внедрения. Наиболее популярные сценарии применения связаны с разработкой и автоматизацией. Сегодня 52% компаний уже применяют искусственный интеллект в операционной работе, а 46% используют именно автономных агентов.

Агенты используют для генерации и рефакторинга кода (54%), оптимизации внутренних процессов (49%), поддержки клиентов (45%), оркестрации бизнес-логики (43%) и создания текстового контента (41%).

По данным опроса, 67% компаний, внедривших агентов, отмечают измеримый рост продуктивности, а 9% сообщают о приросте более чем на 75%. Среди наиболее заметных эффектов респонденты называют экономию рабочего времени (53%), появление новых бизнес-возможностей (44%), снижение потребности в найме персонала (32%), сокращение затрат (27%) и улучшение клиентского опыта (26%).

При этом масштабирование агентных систем остаётся серьёзной проблемой. Лишь около 10% компаний смогли полноценно внедрить их в продакшн-среду. Главный барьер — стоимость инференса, то есть выполнения запросов к языковым моделям. Эту проблему отмечают 49% участников исследования. Почти половина компаний тратит на инференс от 76% до 100% всего бюджета, выделенного на ИИ. Причина — в архитектуре агентных систем: каждый шаг рассуждения и каждое действие требуют отдельного запроса, а длинные цепочки задач быстро увеличивают расходы.

«ИИ-агенты действительно начинают приносить измеримую пользу бизнесу, автоматизируя часть процессов и снижая нагрузку на команды. Однако за каждым таким сервисом стоит инфраструктура — вычислительные ресурсы, контейнерные кластеры, системы хранения, обновления зависимостей. Без централизованной автоматизации управление этой средой становится источником дополнительных затрат и рисков. Платформенный подход позволяет обеспечить предсказуемость масштабирования, контроль конфигураций и устойчивость сервисов, на которых работают ИИ-агенты», — сказал Кирилл Добрынин, директор департамента автоматизации «Группы Астра».

ict-online

⭐️ Запись прямого эфира "Безопасная разработка
под новые требования: от 117 приказа ФСТЭК России до стандартов безопасности ИИ"

Привет, мои замечательные друзья и самые лучшие коллеги!
По вашим просьбам выкладываю запись прямого эфира от 17 февраля с моим участием и ответы на вопросы слушателей, на которые мы не ответили онлайн.

Ссылка: https://sec.ussc.ru/devsecops_faq

Global MLSecOps & AI Governance Architect
Николай Павлов

⭐️ Предварительная версия закона об ИИ в России

В России готовится законопроект об искусственном интеллекте, предварительная версия которого вводит разделение ИИ-моделей на суверенные и национальные. Документ предполагает обязательную предустановку приложений с доступом к таким моделям на все смартфоны и планшеты, продаваемые в стране. Ожидаемая дата вступления закона в силу — 1 сентября 2027 года, его детали ещё находятся в стадии проработки.

Суверенной будет считаться модель, все стадии разработки, обучения и эксплуатации которой провели на территории России гражданами страны или российскими компаниями. Датасеты для таких моделей также должны быть сформированы исключительно на территории нашей страны. Национальные модели, в отличие от суверенных, могут создаваться с использованием иностранных open-source решений и наборов данных, что допускает определённую степень заимствования зарубежных технологий.

Отдельная статья законопроекта посвящена «доверенным» моделям, предназначенным для работы с критической информационной инфраструктурой. Такими будут считаться системы, безопасность которых подтверждена ФСТЭК и ФСБ, конкретные критерии «доверенности» предстоит разработать правительству. Это положение перекликается с недавним поручением президента РФ о приоритетном использовании отечественных моделей ИИ в госуправлении и на объектах критической инфраструктуры.

Документ также регулирует вопросы авторского права и взаимодействия с пользователями. Автором созданных с использованием ИИ работ будет признаваться пользователь сервиса «в случае наличия его творческого вклада в их создание». Исключительные права также будут принадлежать пользователю, если договором между ним и сервисом не предусмотрено иное. Законопроект обязывает информировать граждан о том, что они взаимодействуют с ИИ, например, в случае продаж через чат-боты, и вводит требования к маркировке сгенерированного контента.

26 февраля президент РФ Владимир Путин подписал указ о создании комиссии по вопросам развития технологий искусственного интеллекта при главе государства. Сопредседателями нового органа назначены вице-премьер Дмитрий Григоренко и заместитель руководителя администрации президента Максим Орешкин. В состав комиссии вошли министр обороны Андрей Белоусов, директор ФСБ Александр Бортников, глава «Сбербанка» Герман Греф, мэр Москвы Сергей Собянин, экс-руководитель «Яндекса» Тигран Худавердян.

Новая структура будет координировать работу федеральных органов власти, Банка России и регионов по внедрению ИИ в экономику, социальную сферу и госуправление. В задачи комиссии входит анализ основных рисков и угроз, возникающих в связи с использованием технологий искусственного интеллекта, а также выработка мер по их нейтрализации. Отдельное внимание планируется уделить вопросам национальной обороны и безопасности страны. Руководителям российских субъектов поручено до 1 июня создать аналогичные межведомственные комиссии на региональном уровне.

В конце 2025 года на заседании Госсовета Владимир Путин назвал развитие искусственного интеллекта крупнейшим технологическим прорывом в истории. Президент подчеркнул, что ближайшие 10–15 лет станут временем колоссальной технологической трансформации, а ИИ является «намного более прорывной, всеохватывающей» технологией по сравнению с предшествующими инновациями. Выступая на конгрессе Русского географического общества, Путин отмечал, что создание суверенных моделей ИИ возможно только с опорой на отечественную культуру, историю и традиционные ценности.

Коммерсант

⭐️ Специалисты по ИИ остаются самыми высокооплачиваемыми в мире с компенсационным пакетом в сотни миллионов долларов

Конкуренция за умы в сфере искусственного интеллекта в Кремниевой долине накаляется до небывалых сумм. OpenAI удалось переманить одного из самых ценных исследователей — Руомина Панга, который всего несколько месяцев назад перешел из Apple в Meta (признана экстремистской организацией, деятельность запрещена в РФ) с компенсационным пакетом более $200 млн.

До этого Панг возглавлял направление разработки моделей в Apple, но летом прошлого года присоединился к элитному подразделению Meta* — Superintelligence Labs. Там он занимался инфраструктурой для ИИ нового поколения и получал вознаграждение, построенное на высокой фиксированной ставке и бонусах, достигающих десятков миллионов долларов.

Продолжение: https://vk.com/wall-210601538_2021

🌷 Дорогие подписчицы!

Поздравляю вас с Международным женским днем!
Развитие безопасного, управляемого и ответственного ИИ, грамотное управление рисками невозможны без разнообразия мнений.

Спасибо, что вы с нами, что задаете важные вопросы и помогаете держать планку высокого качества в российском ИИ-комьюнити!

Желаю вам ярких идей, надежной защиты от выгорания, новых полезных знаний, непрерывного развития в ускоряющемся мире и чтобы технологии всегда оставались инструментом в ваших руках, а не вызовом.
Пусть ваша весна будет продуктивной, радостной и яркой! 🚀

С теплом,
Global MLSecOps & AI Governance Architect
Николай Павлов

⭐️ Правительство России разрешило беспилотным грузовикам ездить без людей

Экспериментальный правовой режим, позволяющий беспилотным грузовикам ездить по дорогам общего пользования, продлевается до 2028 года и расширяется еще на три региона. Такое постановление приняло правительство РФ. Но главное изменение эксперимента — возможность движения «высокоавтоматизированных транспортных средств» (ВАТС) без присутствия человека в салоне. Такие машины появятся на дорогах в 2026 году, их суммарный пробег за два года должен составить 100 тыс. км. Постановление вводит дополнительные требования к беспилотным большегрузам: они должны уметь безопасно останавливаться при сбоях софта, а участвующие в испытаниях водители не могут иметь судимостей.

Опубликовано постановление правительства №1790 о продлении экспериментального правового режима (ЭПР) о беспилотных грузовиках, курсирующих по дорогам общего пользования. ЭПР был запущен в 2023 году для отработки технологий. В проекте, который курировал Минтранс, участвовали крупные компании («Магнит», ПЭК и т. д.), перевозившие грузы по М-11 и ЦКАД на 90 грузовиках — «КамАЗах» и Navio, суммарный пробег которых превысил более 9,5 млн км. ЭПР должен был закончиться в 2025 году, теперь его продлили до 2028 года. Расширяется и перечень регионов, где могут ездить машины без водителя: к «пилоту» присоединились Башкирия, Пермский край и Свердловская область. Это связано с тем, что большегрузы в следующем году начнут ездить по трассе М-12 — недавно она была продлена до Екатеринбурга.

Ключевое нововведение касается условий испытаний беспилотных грузовиков. Постановление предусматривает два типа «высокоавтоматизированных транспортных средств» (ВАТС). ВАТС первой категории — машины, которые раньше могли ездить только с испытателем на месте водителя (он подстраховывал работу софта). Теперь водителям разрешается сидеть на месте пассажира. Это правило касается грузовиков, которые ездят сейчас по М-11 и ЦКАД. ВАТС второй категории — технологически более продвинутные транспортные средства, управление которыми может быть доверено целиком автоматике при «удаленной маршрутизации». Присутствие человека в салоне необязательно. Появление таких машин на дорогах ожидается в 2026 году.

Продолжение: https://vk.com/wall-210601538_2023

⭐️ MLSecOps - как защитить бизнес и данные при внедрении ИИ

Искусственный интеллект способен резко расширить возможности развития бизнеса, однако просчеты при внедрении подобных систем могут обернуться серьезными убытками. О рисках в этой сфере и способах их снизить рассказал Владимир Мукасеев, начальник отдела разработки сервисов кибербезопасности IBS.

Многие компании возлагают большие надежды на искусственный интеллект, но терпят неудачу из-за недостаточно эффективного процесса управления рисками. Чтобы не повторять этот сценарий, и не превращать ИИ-инициативу в источник убытков, бизнесу важно знать о проблемах, которые могут возникнуть на всех основных этапах жизненного цикла: от обследования до эксплуатации ИИ-систем.

1. При обследовании, или анализе перспектив внедрения ИИ, есть риск установить неверную цель проекта, которая не соответствует задачам бизнеса. Могут возникнуть и просчеты, связанные с недооценкой ресурсов, отсутствием необходимых данных, их смещением или низким качеством. Все это влечет за собой упущенные рыночные возможности, срыв сроков, перерасход бюджета и заморозку ИИ-инициатив.

2. На стадии проектирования возникает риск выстроить архитектуру системы без учета требований безопасности, что в перспективе может привести к ряду сложностей и дополнительных уязвимостей, которые можно было не допустить на ранних этапах. Другие возможные источники рисков — отсутствие механизмов контроля ИИ-решений и привязка к единственному поставщику продуктов на базе больших языковых моделей (LLM) и машинного обучения (ML). Такие риски могут повысить уязвимость всей корпоративной ИТ-инфраструктуры, привести к компрометации целой системы, масштабным киберинцидентам и полному отказу ИИ-решения.

3. На этапе разработки основная часть рисков связана с чувствительной информацией, которая используется при обучении модели, а также с уязвимостями в алгоритмах и коде. Кроме того, во время обучения в систему могут попасть «отравленные» (или же заведомо неправильные) данные. Эти факторы способны привести к компрометации стратегических решений, росту киберрисков и поверхности атаки.

4. В процессе внедрения системы в эксплуатацию возможны конфликты интеграции и, как следствие, рост количества угроз, связанных с незащищенным контуром исполнения. Могут также возникнуть угрозы деградации производительности и «теневого ИИ» — несанкционированного использования сторонних ЛЛМ-сервисов сотрудниками или разработчиками решения. Это может привести к искажению отчетности, в подготовке которой участвует ИИ, скрытым затратам на решение, перерасходу бюджета на инфраструктуру и даже остановке операционной деятельности.

5. При эксплуатации ИИ возможны манипуляции входными данными для обхода или обмана модели. В отдельных случаях модели могут устаревать, а качество прогнозов — деградировать. Кроме того, компании могут столкнуться с компрометацией компонентов ИИ и непрозрачной работой системы. Это снижает эффективность бизнес-процессов, нарушает функционирование критически важных сервисов.

6. Внедрение могут сопровождать и угрозы, специфичные для определенных типов решений. Например, чат-боты на базе больших языковых моделей могут становиться каналами утечки данных, генерировать «галлюцинации» и неправовые результаты. Слабости рекомендательных систем: фильтр-пузыри. Классическому машинному обучению присуще: дрейф данных, сложности в переобучении. Наконец, при использовании генеративных моделей могут возникнуть проблемы с авторскими правами и дипфейками.

Принципы управления рисками

Избежать возможных проблем при внедрении ИИ-систем помогут четыре базовых принципа управления рисками:

1. ИИ не универсальное решение, а технология, требующая ответственного подхода. Системы на базе искусственного интеллекта работают только на основе качественных данных и четких бизнес-задач. Не менее важно обеспечить соответствие проекта требованиям регуляторов, непрерывный мониторинг и анализ аномалий поведения модели.

2. Каждый этап жизненного цикла ИИ-систем создает каскадные риски, ущерб от которых многократно возрастает на следующем этапе. По своей сути, сами проекты «проваливает» не искусственный интеллект, а отсутствие системного подхода к управлению внедрением таких систем. При правильном подходе следует внедрять такие технологии, опираясь на ИИ-консалтинг, контроль качества инициатив и интеграцию практик безопасности на протяжении всего жизненного цикла решения.

3. Риски могут накапливаться параллельно, усиливая друг друга. В результате образуется «снежный ком» из всевозможных угроз и уязвимостей, которые в отдельности не набирают критическую массу для каких-либо значимых рисков, но в совокупности могу создать реальную угрозу. Чтобы не попасть в такую ситуацию, необходимо комплексно управлять рисками ИИ через системный подход, а не просто точечно устранять ошибки в ИИ-инициативах.

4.Безопасность — это не опция, а одна из основных характеристик ИИ-системы. Ее надо обеспечивать на всех этапах проекта начиная с обследования. Фундаментом для этого могут стать методы Secure by Design и MLSecOps. Без интеграции практик безопасности в различные этапы развития инициативы есть возможность изначально создать уязвимое решение, защищать которые после ввода в эксплуатацию гораздо сложнее и дороже.

Схема безопасного внедрения

Применять четыре принципа управления рисками нужно системно и последовательно. Такой подход поможет повысить защиту системы от инцидентов и свести к минимуму угрозы для бизнеса, а значит обеспечить ответственное и безопасное использование ИИ-систем в различных бизнес-процессах организации.

Продолжение: https://vk.com/wall-210601538_2024

⭐️ Обязательные нормативные акты, регламентирующие ИИ в медицине в России

1. Постановление Правительства РФ от 12 апреля 2018 г. N 447 "Об утверждении Правил взаимодействия иных информационных систем, предназначенных для сбора, хранения, обработки и предоставления информации, касающейся деятельности медицинских организаций и предоставляемых ими услуг, с информационными системами в сфере здравоохранения и медицинскими организациями" (с изменениями и дополнениями)

Постановление утверждает, что системы ИИ, работающие по SaaS-модели, должны регистрироваться как «иные системы».

К иным системам предъявляется масса требований, в том числе:

а) предотвращать несанкционированный доступ к информации и (или) передачу ее лицам, не имеющим права на доступ к информации;

б) обеспечивать своевременное обнаружение фактов несанкционированного доступа к информации;

в) обеспечивать предупреждение возможности неблагоприятных последствий нарушения порядка доступа к информации;

г) обеспечивать недопущение воздействия на технические и программные средства обработки информации, в результате которых нарушается их функционирование;

д) обеспечивать незамедлительное восстановление информации, модифицированной или уничтоженной вследствие несанкционированного доступа к ней;

е) обеспечивать постоянный контроль за обеспечением уровня защищенности информации;

ж) обеспечивать защиту информации при ее передаче по информационно-телекоммуникационным сетям;

з) обеспечивать применение сертифицированных по требованиям безопасности информации средств защиты информации;

и) обеспечивать защиту информации в ходе эксплуатации иной информационной системы;

к) обеспечивать обязательность учета и регистрации действий и идентификации участников, связанных с обработкой персональных данных в иных информационных системах

и многое другое.

2. Приказ Минздрава России № 341н от 14.06.2018 "Об утверждении Порядка обезличивания сведений о лицах, которым оказывается медицинская помощь, а также о лицах, в отношении которых проводятся медицинские экспертизы, медицинские осмотры и медицинские освидетельствования".

Устанавливает порядок обезличивания медицинских данных для защиты информации при использовании в ИИ-системах, требования к результатам обезличивания, последовательность действий и методы в процессе обезличивания.

Продолжение: https://vk.com/wall-210601538_2025