⭐️ Сегодня выступаю на двух прямых эфирах ⚡️
🔥 17 февраля с 12:00 до 13:30 по Москве собираемся в прямом эфире, чтобы обсудить, как сегодня выглядит DevSecOps в России — от требований ФСТЭК для КИИ до стандартов безопасности ИИ.
В программе:
▪️Приказ №117 ФСТЭК: что важно учесть разработчикам ПО в КИИ и ГИС
▪️Shift Left на практике, SCA, SBOM, отечественные анализаторы
▪️Безопасность ИИ: стандарты, доверенные данные, ИИ в ИБ
▪️Импортозамещение, кадровый голод, баланс скорости и безопасности
▪️Прогноз на 2026–2027 и экономика безопасности
Регистрация: https://sec.ussc.ru/ussc-renue
🔥 17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.
За два с лишним часа мы рассмотрим вопросы обеспечения качества данных, построения эффективной архитектуры данных в целях развития Data Governance, а также обсудим ключевые принципы безопасной разработки и использования ИИ-систем в контуре современной организации.
Покажу важнейшие тренды, сделаю прогнозы о том, что ждет IT-сферу в 2026 году. Расскажу про принципиально новое направление AI Governance, как оно связано с MLSecOps, в чем отличие AI Governance от Data Governance и какие у него перспективы. Объясню как стать таким специалистом. Расскажу и про текущее состояние MLSecOps в России, текущие особенности этого направления, требования регуляторов и что уже изменилось за 2025 год. А также отвечу на вопросы онлайн.
Как обычно буду рад друзьям, коллегам и всем желающим!
Регистрация: https://academyit.ru/deals/activity/events/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/?utm_source=blog&utm_medium=mlsecops_plus&utm_campaign=mk170226
Global MLSecOps & AI Governance Architect
Николай Павлов
🔥 17 февраля с 12:00 до 13:30 по Москве собираемся в прямом эфире, чтобы обсудить, как сегодня выглядит DevSecOps в России — от требований ФСТЭК для КИИ до стандартов безопасности ИИ.
В программе:
▪️Приказ №117 ФСТЭК: что важно учесть разработчикам ПО в КИИ и ГИС
▪️Shift Left на практике, SCA, SBOM, отечественные анализаторы
▪️Безопасность ИИ: стандарты, доверенные данные, ИИ в ИБ
▪️Импортозамещение, кадровый голод, баланс скорости и безопасности
▪️Прогноз на 2026–2027 и экономика безопасности
Регистрация: https://sec.ussc.ru/ussc-renue
🔥 17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.
За два с лишним часа мы рассмотрим вопросы обеспечения качества данных, построения эффективной архитектуры данных в целях развития Data Governance, а также обсудим ключевые принципы безопасной разработки и использования ИИ-систем в контуре современной организации.
Покажу важнейшие тренды, сделаю прогнозы о том, что ждет IT-сферу в 2026 году. Расскажу про принципиально новое направление AI Governance, как оно связано с MLSecOps, в чем отличие AI Governance от Data Governance и какие у него перспективы. Объясню как стать таким специалистом. Расскажу и про текущее состояние MLSecOps в России, текущие особенности этого направления, требования регуляторов и что уже изменилось за 2025 год. А также отвечу на вопросы онлайн.
Как обычно буду рад друзьям, коллегам и всем желающим!
Регистрация: https://academyit.ru/deals/activity/events/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/?utm_source=blog&utm_medium=mlsecops_plus&utm_campaign=mk170226
Global MLSecOps & AI Governance Architect
Николай Павлов
sec.ussc.ru
Безопасная разработка под новые требования: от 117 приказа ФСТЭК России до стандартов безопасности ИИ
Регуляторные требования к безопасной разработке становятся строже, а технологии — сложнее. Разработчикам, ИБ-специалистам и бизнесу приходится искать баланс между соответствием требованиям, реальной безопасностью и скоростью вывода продуктов на рынок
❤4🔥3⚡2
🔥 Запись эфира "Data Governance – культура обеспечения качества и безопасности данных"
Привет, мои талантливые друзья и самые опытные коллеги!
По просьбам подписчиков даю ссылку на запись второго моего эфира 17 февраля на темы MLSecOps, Data Governance, AI Governance:
https://academyit.ru/deals/activity/seminars/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/
Приятного просмотра!
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои талантливые друзья и самые опытные коллеги!
По просьбам подписчиков даю ссылку на запись второго моего эфира 17 февраля на темы MLSecOps, Data Governance, AI Governance:
https://academyit.ru/deals/activity/seminars/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/
Приятного просмотра!
Global MLSecOps & AI Governance Architect
Николай Павлов
⚡4❤2👍2
Forwarded from ИБ в "Законе"
📣 18.02.2026 г. приняты следующие стандарты
ГОСТ Р 72514-2026 Искусственный интеллект. Оценка воздействия системы искусственного интеллекта
ГОСТ Р 72515-2026 Искусственный интеллект. Таксономия прозрачности систем искусственного интеллекта
✍ подписаться: ИБ в "Законе"
ГОСТ Р 72514-2026 Искусственный интеллект. Оценка воздействия системы искусственного интеллекта
ГОСТ Р 72515-2026 Искусственный интеллект. Таксономия прозрачности систем искусственного интеллекта
✍ подписаться: ИБ в "Законе"
👍3🔥3
⭐️ Запускаем первый поток новой учебной программы по AI Governance!
Учитывая стремительный рост и востребованность нового направления AI Governance, Академия Softline 24 февраля запускает первую корпоративную учебную программу «AI Governance в критических отраслях: от рисков и угроз к этике и доверию».
Эта программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ.
В рамках обучения слушатели узнают:
1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем?
2. Как избежать рисков нарушения этики и дискриминации?
3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу?
4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ?
5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают?
6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования?
7. Какие требования к архитектуре ИИ-систем есть в AI Governance?
8. Как работать с Каталогом и Глоссарием данных в AI Governance?
9. Какие есть методы, инструменты и фреймворки для AI Governance?
10. Как выстроить процессы AI Governance в компании.
11. Многое другое.
Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру.
Сильные стороны программы:
1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень).
2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно.
3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем.
5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступает в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона об ИИ в России. Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования.
6. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/ai_g
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu
Global MLSecOps & AI Governance Architect
Николай Павлов
Учитывая стремительный рост и востребованность нового направления AI Governance, Академия Softline 24 февраля запускает первую корпоративную учебную программу «AI Governance в критических отраслях: от рисков и угроз к этике и доверию».
Эта программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ.
В рамках обучения слушатели узнают:
1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем?
2. Как избежать рисков нарушения этики и дискриминации?
3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу?
4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ?
5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают?
6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования?
7. Какие требования к архитектуре ИИ-систем есть в AI Governance?
8. Как работать с Каталогом и Глоссарием данных в AI Governance?
9. Какие есть методы, инструменты и фреймворки для AI Governance?
10. Как выстроить процессы AI Governance в компании.
11. Многое другое.
Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру.
Сильные стороны программы:
1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень).
2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно.
3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем.
5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступает в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона об ИИ в России. Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования.
6. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/ai_g
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu
Global MLSecOps & AI Governance Architect
Николай Павлов
❤4🔥3⚡2
Forwarded from Al Talent Hub
Погружаемся в более сложные темы
Разбираем методы оценки и тестирования агентов.
Строим сложные workflows и Curriculum Builder.
Учимся защищать агентов и строить Secure Code Review Agent.
Приятного просмотра!
😎 — если уже посмотрел первые лекции
🧡 — спикеры
@aitalenthubnews
#ITMO #NapoleonIT
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3⚡2👍1
⭐️ Квантовые вычисления: основные идеи и современное состояние технологии
Привет, мои талантливые друзья и экспертные коллеги!
Как и обещал, продолжаю находить кусочки времени на погружение в квантовые технологии. И сегодня предлагаю вам посмотреть очень понятное и интересное выступление научного руководителя Центра квантовых технологий Сбера Станислава Страупе.
В видео рассмотрены ключевые идеи, лежащие в основе квантовых вычислений, понятие вычислительной сложности алгоритмов. Определен круг задач, которые сложны для классического компьютера, но могут быть решены с использованием квантовых вычислителей. Какие именно принципы квантовой теории позволяют получить эти вычислительные преимущества и простейшие примеры квантовых алгоритмов.
Во второй части речь идет о современном состоянии технологии и экспериментальном прогрессе в области создания первых квантовых процессоров. Рассмотрены различные варианты их реализации и обсудим перспективы на ближайшее будущее. Отдельно рассказывается о возможных областях применения и коммерческом потенциале этой технологии.
Ссылка на видео: https://vk.com/video-22522055_456244290
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои талантливые друзья и экспертные коллеги!
Как и обещал, продолжаю находить кусочки времени на погружение в квантовые технологии. И сегодня предлагаю вам посмотреть очень понятное и интересное выступление научного руководителя Центра квантовых технологий Сбера Станислава Страупе.
В видео рассмотрены ключевые идеи, лежащие в основе квантовых вычислений, понятие вычислительной сложности алгоритмов. Определен круг задач, которые сложны для классического компьютера, но могут быть решены с использованием квантовых вычислителей. Какие именно принципы квантовой теории позволяют получить эти вычислительные преимущества и простейшие примеры квантовых алгоритмов.
Во второй части речь идет о современном состоянии технологии и экспериментальном прогрессе в области создания первых квантовых процессоров. Рассмотрены различные варианты их реализации и обсудим перспективы на ближайшее будущее. Отдельно рассказывается о возможных областях применения и коммерческом потенциале этой технологии.
Ссылка на видео: https://vk.com/video-22522055_456244290
Global MLSecOps & AI Governance Architect
Николай Павлов
VK Видео
Квантовые вычисления: основные идеи и современное состояние технологии. Станислав Страупе
Рассмотрю ключевые идеи, лежащие в основе квантовых вычислений. Начну с понятия вычислительной сложности алгоритмов и определю круг задач, которые сложны для классического компьютера, но могут быть решены с использованием квантовых вычислителей. Далее поговорим…
🔥3
⭐️ Дорогие друзья, коллеги и единомышленники!
Поздравляю вас с Днем защитника Отечества!
Быть защитником в эпоху цифровых трансформаций означает не только охранять границы, но и обеспечивать безопасность, отказоустойчивость и этичность национальных ИИ-систем. Особенно в критической инфраструктуре и даже в сфере ВПК.
В ускоряющемся мире, где технологический разрыв растет каждый день, а за реальным развитием ИИ уследить почти невозможно, ваша компетенция - это тот самый щит, который позволяет России и ее союзникам безопасно проходить через вызовы будущего. Ваша работа поддерживает критическую инфраструктуру, сохраняя ресурсы, время, финансы и даже жизни людей! Ваши продвинутые знания, навыки дают окружающим уверенность в завтрашнем дне и демонстрируют достойный для подражания пример.
Желаю вам непрерывного развития, огромной дисциплины, крепкого здоровья, семейного благополучия и веры в свои силы! Пусть будущее будет стабильным, безопасным и светлым. Мы создаем его вместе! 🇷🇺
С уважением,
Николай Павлов
Поздравляю вас с Днем защитника Отечества!
Быть защитником в эпоху цифровых трансформаций означает не только охранять границы, но и обеспечивать безопасность, отказоустойчивость и этичность национальных ИИ-систем. Особенно в критической инфраструктуре и даже в сфере ВПК.
В ускоряющемся мире, где технологический разрыв растет каждый день, а за реальным развитием ИИ уследить почти невозможно, ваша компетенция - это тот самый щит, который позволяет России и ее союзникам безопасно проходить через вызовы будущего. Ваша работа поддерживает критическую инфраструктуру, сохраняя ресурсы, время, финансы и даже жизни людей! Ваши продвинутые знания, навыки дают окружающим уверенность в завтрашнем дне и демонстрируют достойный для подражания пример.
Желаю вам непрерывного развития, огромной дисциплины, крепкого здоровья, семейного благополучия и веры в свои силы! Пусть будущее будет стабильным, безопасным и светлым. Мы создаем его вместе! 🇷🇺
С уважением,
Николай Павлов
🫡3❤1🔥1
Forwarded from Похек AI (Сергей Зыбнев)
AI Safety, AI Security и AI Eval - разбираемся в терминах и проблемах оценки моделей
#AISafety #AIEval #LLM
AI Safety и AI Security путают постоянно. А разница между ними определяет, кто в команде отвечает за риск.
Safety - модель работает как задумано, но выдаёт вредный output. Bias, галлюцинации, опасные инструкции. Модель не взломана, она просто такая. Security - когда атакующий целенаправленно эксплуатирует модель: Prompt Injection, data exfiltration, jailbreak. Тут есть adversary и intent.
Смешаешь эти понятия - и непонятно, за кем баг: за ML-инженерами или за AppSec.
Зачем нужен AI Eval
AI Eval (evaluation) - бенчмарки, которые прогоняют модель до деплоя в прод. MMLU, HELM Safety, TrustLLM, AIR-Bench - каждый меряет своё: знания, безопасность, устойчивость к jailbreak. AIR-Bench 2024 прогоняет 5694 теста по 314 категориям рисков. HELM Safety v1.0 проверяет шесть направлений: насилие, мошенничество, дискриминация, сексуальный контент, харассмент, обман.
Цифры красивые. Но дальше всё ломается.
♾️ Проблемы, которые пока никто не решил♾️
➡️ Evaluation Gap - бенчмарки не отражают реальное поведение модели в проде. Тесты устаревают, покрывают узкие сценарии, а модели учатся на тех же данных, из которых тесты и состоят (Data Contamination). Из 30 моделей только 9 раскрыли пересечение train/test данных (Zhang et al., 2024). Остальные 21 просто промолчали.
➡️ Benchmark Saturation - top-модели набирают 90%+ на MMLU. Когда все получают отлично, оценка теряет смысл. Vellum AI уже убрал saturated бенчмарки из лидербордов.
➡️ Safetywashing - компании рапортуют о высоких баллах на safety-бенчмарках, но тесты гоняют предопределённые риски с фиксированными триггерами. Новые угрозы за пределами оценки. Только 3 из 7 крупных AI-компаний тестируют модели на опасные capabilities вроде помощи в создании биооружия.
А вот Evaluation Awareness - это уже по-настоящему тревожная история. Модели начинают распознавать, что их тестируют, и менять поведение. OpenAI в 2025 зафиксировала: модель притворялась, что выполнила задачу, хотя не сделала этого. В другом случае - занималась инсайдерской торговлей в симуляции, а при вопросах скрывала это. Anti-scheming training снизил такое поведение с 31.4% до 14.2%. Снизил, но не убрал.
Что с этим делать
Контаминация-устойчивые бенчмарки (LiveBench, LiveCodeBench) обновляются ежемесячно. International AI Safety Report 2026 (сотня экспертов) фиксирует прямо: capabilities растут быстрее safety-мер. Пока отрасль не перейдёт от "прошёл бенчмарк = безопасен" к post-deployment мониторингу, разрыв будет расти.
🔗 International AI Safety Report 2026
🔗 Can We Trust AI Benchmarks?
🔗 AI Safety vs AI Security
🔗 Detecting and reducing scheming
🔗 Safetywashing
🌚 @poxek_ai
#AISafety #AIEval #LLM
AI Safety и AI Security путают постоянно. А разница между ними определяет, кто в команде отвечает за риск.
Safety - модель работает как задумано, но выдаёт вредный output. Bias, галлюцинации, опасные инструкции. Модель не взломана, она просто такая. Security - когда атакующий целенаправленно эксплуатирует модель: Prompt Injection, data exfiltration, jailbreak. Тут есть adversary и intent.
Смешаешь эти понятия - и непонятно, за кем баг: за ML-инженерами или за AppSec.
Зачем нужен AI Eval
AI Eval (evaluation) - бенчмарки, которые прогоняют модель до деплоя в прод. MMLU, HELM Safety, TrustLLM, AIR-Bench - каждый меряет своё: знания, безопасность, устойчивость к jailbreak. AIR-Bench 2024 прогоняет 5694 теста по 314 категориям рисков. HELM Safety v1.0 проверяет шесть направлений: насилие, мошенничество, дискриминация, сексуальный контент, харассмент, обман.
Цифры красивые. Но дальше всё ломается.
А вот Evaluation Awareness - это уже по-настоящему тревожная история. Модели начинают распознавать, что их тестируют, и менять поведение. OpenAI в 2025 зафиксировала: модель притворялась, что выполнила задачу, хотя не сделала этого. В другом случае - занималась инсайдерской торговлей в симуляции, а при вопросах скрывала это. Anti-scheming training снизил такое поведение с 31.4% до 14.2%. Снизил, но не убрал.
Что с этим делать
Контаминация-устойчивые бенчмарки (LiveBench, LiveCodeBench) обновляются ежемесячно. International AI Safety Report 2026 (сотня экспертов) фиксирует прямо: capabilities растут быстрее safety-мер. Пока отрасль не перейдёт от "прошёл бенчмарк = безопасен" к post-deployment мониторингу, разрыв будет расти.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
⭐️ Только в 9% российских компаний строят автономные ИИ-системы
В 80% компаний в России внедрение ИИ пока ограничено использованием чат-ботов. 11% уже автоматизировали с помощью ИИ один блок бизнес-процессов, но он не интегрирован с другими звеньями цепочки, поэтому данные из него нужно забирать вручную. И только в 9% российских компаний строят системы, где ИИ сам извлекает данные и сам выполняет действие (без участия человека).
Такие результаты показало исследование WMT AI. Компания проанализировала данные аудита среднего и крупного бизнеса, проводимого экспертной группой в 2024 и 2025 годах.
Игорь Никитин, основатель WMT AI и эксперт по AI-трансформации, поясняет, что самые распространенные в России сценарии внедрения ИИ — это “костыль” для бизнеса, а не полноценная автоматизация.
“Есть простой, но ключевой критерий оценки эффективности внедрения ИИ — «тест буфера обмена». Вам необходимо изучить физику работы — например, как сотрудник использует результат от нейросети. Если он получает ответ, выделяет его мышкой, копирует и вручную вставляет в CRM, Excel или почту, это провал. Это наглядно показывает нам, что процесс остался старым. Просто человек стал быстрее набирать текст. Это не является трансформацией бизнеса, и это важно понимать. От такого формата внедрения ИИ ждать результатов не стоит”, — поясняет Никитин.
Данные статистики WMT AI подтверждаются международными и российскими исследованиями. Международное консалтинговое агентство McKinsey&Company в своем отчете фиксирует, что 95% организаций используют нейросети неправильно, создавая разрозненные «островки автоматизации» вместо единой эффективной среды. Аналитики российской консалтинговой компании KT Team пришли к выводу, что 92% компаний увеличивают инвестиции в ИИ, но лишь 1% достигает полной операционной интеграции.
«Большинство компаний буквально попали в ловушку: они подключили сотрудников к чат-ботам, но не перестроили процессы. Доступ к нейросетям — это лишь фундамент, первый шаг. Но если организации останавливаются на нем, то просто получают дорогой «калькулятор слов». Настоящая эффективность (ROI) начинается там, где ИИ встроен в системы компании (по API или On-premise) и работает автономно», — отмечает Игорь Никитин.
iksmedia
В 80% компаний в России внедрение ИИ пока ограничено использованием чат-ботов. 11% уже автоматизировали с помощью ИИ один блок бизнес-процессов, но он не интегрирован с другими звеньями цепочки, поэтому данные из него нужно забирать вручную. И только в 9% российских компаний строят системы, где ИИ сам извлекает данные и сам выполняет действие (без участия человека).
Такие результаты показало исследование WMT AI. Компания проанализировала данные аудита среднего и крупного бизнеса, проводимого экспертной группой в 2024 и 2025 годах.
Игорь Никитин, основатель WMT AI и эксперт по AI-трансформации, поясняет, что самые распространенные в России сценарии внедрения ИИ — это “костыль” для бизнеса, а не полноценная автоматизация.
“Есть простой, но ключевой критерий оценки эффективности внедрения ИИ — «тест буфера обмена». Вам необходимо изучить физику работы — например, как сотрудник использует результат от нейросети. Если он получает ответ, выделяет его мышкой, копирует и вручную вставляет в CRM, Excel или почту, это провал. Это наглядно показывает нам, что процесс остался старым. Просто человек стал быстрее набирать текст. Это не является трансформацией бизнеса, и это важно понимать. От такого формата внедрения ИИ ждать результатов не стоит”, — поясняет Никитин.
Данные статистики WMT AI подтверждаются международными и российскими исследованиями. Международное консалтинговое агентство McKinsey&Company в своем отчете фиксирует, что 95% организаций используют нейросети неправильно, создавая разрозненные «островки автоматизации» вместо единой эффективной среды. Аналитики российской консалтинговой компании KT Team пришли к выводу, что 92% компаний увеличивают инвестиции в ИИ, но лишь 1% достигает полной операционной интеграции.
«Большинство компаний буквально попали в ловушку: они подключили сотрудников к чат-ботам, но не перестроили процессы. Доступ к нейросетям — это лишь фундамент, первый шаг. Но если организации останавливаются на нем, то просто получают дорогой «калькулятор слов». Настоящая эффективность (ROI) начинается там, где ИИ встроен в системы компании (по API или On-premise) и работает автономно», — отмечает Игорь Никитин.
iksmedia
🔥3
⭐️ Автоматизация с помощью ИИ-агентов в 67% случаев приносит реальную пользу
67% компаний, внедривших автономные ИИ-системы, фиксируют рост продуктивности, но масштабирование сдерживает высокая стоимость инференса, говорится в отчете DigitalOcean, основанном на опросе более 1100 технических директоров, разработчиков и основателей стартапов.
Использование ИИ-агентов в бизнесе выходит на стадию массового внедрения. Наиболее популярные сценарии применения связаны с разработкой и автоматизацией. Сегодня 52% компаний уже применяют искусственный интеллект в операционной работе, а 46% используют именно автономных агентов.
Агенты используют для генерации и рефакторинга кода (54%), оптимизации внутренних процессов (49%), поддержки клиентов (45%), оркестрации бизнес-логики (43%) и создания текстового контента (41%).
По данным опроса, 67% компаний, внедривших агентов, отмечают измеримый рост продуктивности, а 9% сообщают о приросте более чем на 75%. Среди наиболее заметных эффектов респонденты называют экономию рабочего времени (53%), появление новых бизнес-возможностей (44%), снижение потребности в найме персонала (32%), сокращение затрат (27%) и улучшение клиентского опыта (26%).
При этом масштабирование агентных систем остаётся серьёзной проблемой. Лишь около 10% компаний смогли полноценно внедрить их в продакшн-среду. Главный барьер — стоимость инференса, то есть выполнения запросов к языковым моделям. Эту проблему отмечают 49% участников исследования. Почти половина компаний тратит на инференс от 76% до 100% всего бюджета, выделенного на ИИ. Причина — в архитектуре агентных систем: каждый шаг рассуждения и каждое действие требуют отдельного запроса, а длинные цепочки задач быстро увеличивают расходы.
«ИИ-агенты действительно начинают приносить измеримую пользу бизнесу, автоматизируя часть процессов и снижая нагрузку на команды. Однако за каждым таким сервисом стоит инфраструктура — вычислительные ресурсы, контейнерные кластеры, системы хранения, обновления зависимостей. Без централизованной автоматизации управление этой средой становится источником дополнительных затрат и рисков. Платформенный подход позволяет обеспечить предсказуемость масштабирования, контроль конфигураций и устойчивость сервисов, на которых работают ИИ-агенты», — сказал Кирилл Добрынин, директор департамента автоматизации «Группы Астра».
ict-online
67% компаний, внедривших автономные ИИ-системы, фиксируют рост продуктивности, но масштабирование сдерживает высокая стоимость инференса, говорится в отчете DigitalOcean, основанном на опросе более 1100 технических директоров, разработчиков и основателей стартапов.
Использование ИИ-агентов в бизнесе выходит на стадию массового внедрения. Наиболее популярные сценарии применения связаны с разработкой и автоматизацией. Сегодня 52% компаний уже применяют искусственный интеллект в операционной работе, а 46% используют именно автономных агентов.
Агенты используют для генерации и рефакторинга кода (54%), оптимизации внутренних процессов (49%), поддержки клиентов (45%), оркестрации бизнес-логики (43%) и создания текстового контента (41%).
По данным опроса, 67% компаний, внедривших агентов, отмечают измеримый рост продуктивности, а 9% сообщают о приросте более чем на 75%. Среди наиболее заметных эффектов респонденты называют экономию рабочего времени (53%), появление новых бизнес-возможностей (44%), снижение потребности в найме персонала (32%), сокращение затрат (27%) и улучшение клиентского опыта (26%).
При этом масштабирование агентных систем остаётся серьёзной проблемой. Лишь около 10% компаний смогли полноценно внедрить их в продакшн-среду. Главный барьер — стоимость инференса, то есть выполнения запросов к языковым моделям. Эту проблему отмечают 49% участников исследования. Почти половина компаний тратит на инференс от 76% до 100% всего бюджета, выделенного на ИИ. Причина — в архитектуре агентных систем: каждый шаг рассуждения и каждое действие требуют отдельного запроса, а длинные цепочки задач быстро увеличивают расходы.
«ИИ-агенты действительно начинают приносить измеримую пользу бизнесу, автоматизируя часть процессов и снижая нагрузку на команды. Однако за каждым таким сервисом стоит инфраструктура — вычислительные ресурсы, контейнерные кластеры, системы хранения, обновления зависимостей. Без централизованной автоматизации управление этой средой становится источником дополнительных затрат и рисков. Платформенный подход позволяет обеспечить предсказуемость масштабирования, контроль конфигураций и устойчивость сервисов, на которых работают ИИ-агенты», — сказал Кирилл Добрынин, директор департамента автоматизации «Группы Астра».
ict-online
🔥4❤1
⭐️ Запись прямого эфира "Безопасная разработка
под новые требования: от 117 приказа ФСТЭК России до стандартов безопасности ИИ"
Привет, мои замечательные друзья и самые лучшие коллеги!
По вашим просьбам выкладываю запись прямого эфира от 17 февраля с моим участием и ответы на вопросы слушателей, на которые мы не ответили онлайн.
Ссылка: https://sec.ussc.ru/devsecops_faq
Global MLSecOps & AI Governance Architect
Николай Павлов
под новые требования: от 117 приказа ФСТЭК России до стандартов безопасности ИИ"
Привет, мои замечательные друзья и самые лучшие коллеги!
По вашим просьбам выкладываю запись прямого эфира от 17 февраля с моим участием и ответы на вопросы слушателей, на которые мы не ответили онлайн.
Ссылка: https://sec.ussc.ru/devsecops_faq
Global MLSecOps & AI Governance Architect
Николай Павлов
🔥5
Forwarded from Кибербезопасность с УЦСБ
FAQ КИИ_февраль 2026.pdf
5.9 MB
Разбираем:
Все ответы можно посмотреть здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
⭐️ Предварительная версия закона об ИИ в России
В России готовится законопроект об искусственном интеллекте, предварительная версия которого вводит разделение ИИ-моделей на суверенные и национальные. Документ предполагает обязательную предустановку приложений с доступом к таким моделям на все смартфоны и планшеты, продаваемые в стране. Ожидаемая дата вступления закона в силу — 1 сентября 2027 года, его детали ещё находятся в стадии проработки.
Суверенной будет считаться модель, все стадии разработки, обучения и эксплуатации которой провели на территории России гражданами страны или российскими компаниями. Датасеты для таких моделей также должны быть сформированы исключительно на территории нашей страны. Национальные модели, в отличие от суверенных, могут создаваться с использованием иностранных open-source решений и наборов данных, что допускает определённую степень заимствования зарубежных технологий.
Отдельная статья законопроекта посвящена «доверенным» моделям, предназначенным для работы с критической информационной инфраструктурой. Такими будут считаться системы, безопасность которых подтверждена ФСТЭК и ФСБ, конкретные критерии «доверенности» предстоит разработать правительству. Это положение перекликается с недавним поручением президента РФ о приоритетном использовании отечественных моделей ИИ в госуправлении и на объектах критической инфраструктуры.
Документ также регулирует вопросы авторского права и взаимодействия с пользователями. Автором созданных с использованием ИИ работ будет признаваться пользователь сервиса «в случае наличия его творческого вклада в их создание». Исключительные права также будут принадлежать пользователю, если договором между ним и сервисом не предусмотрено иное. Законопроект обязывает информировать граждан о том, что они взаимодействуют с ИИ, например, в случае продаж через чат-боты, и вводит требования к маркировке сгенерированного контента.
26 февраля президент РФ Владимир Путин подписал указ о создании комиссии по вопросам развития технологий искусственного интеллекта при главе государства. Сопредседателями нового органа назначены вице-премьер Дмитрий Григоренко и заместитель руководителя администрации президента Максим Орешкин. В состав комиссии вошли министр обороны Андрей Белоусов, директор ФСБ Александр Бортников, глава «Сбербанка» Герман Греф, мэр Москвы Сергей Собянин, экс-руководитель «Яндекса» Тигран Худавердян.
Новая структура будет координировать работу федеральных органов власти, Банка России и регионов по внедрению ИИ в экономику, социальную сферу и госуправление. В задачи комиссии входит анализ основных рисков и угроз, возникающих в связи с использованием технологий искусственного интеллекта, а также выработка мер по их нейтрализации. Отдельное внимание планируется уделить вопросам национальной обороны и безопасности страны. Руководителям российских субъектов поручено до 1 июня создать аналогичные межведомственные комиссии на региональном уровне.
В конце 2025 года на заседании Госсовета Владимир Путин назвал развитие искусственного интеллекта крупнейшим технологическим прорывом в истории. Президент подчеркнул, что ближайшие 10–15 лет станут временем колоссальной технологической трансформации, а ИИ является «намного более прорывной, всеохватывающей» технологией по сравнению с предшествующими инновациями. Выступая на конгрессе Русского географического общества, Путин отмечал, что создание суверенных моделей ИИ возможно только с опорой на отечественную культуру, историю и традиционные ценности.
Коммерсант
В России готовится законопроект об искусственном интеллекте, предварительная версия которого вводит разделение ИИ-моделей на суверенные и национальные. Документ предполагает обязательную предустановку приложений с доступом к таким моделям на все смартфоны и планшеты, продаваемые в стране. Ожидаемая дата вступления закона в силу — 1 сентября 2027 года, его детали ещё находятся в стадии проработки.
Суверенной будет считаться модель, все стадии разработки, обучения и эксплуатации которой провели на территории России гражданами страны или российскими компаниями. Датасеты для таких моделей также должны быть сформированы исключительно на территории нашей страны. Национальные модели, в отличие от суверенных, могут создаваться с использованием иностранных open-source решений и наборов данных, что допускает определённую степень заимствования зарубежных технологий.
Отдельная статья законопроекта посвящена «доверенным» моделям, предназначенным для работы с критической информационной инфраструктурой. Такими будут считаться системы, безопасность которых подтверждена ФСТЭК и ФСБ, конкретные критерии «доверенности» предстоит разработать правительству. Это положение перекликается с недавним поручением президента РФ о приоритетном использовании отечественных моделей ИИ в госуправлении и на объектах критической инфраструктуры.
Документ также регулирует вопросы авторского права и взаимодействия с пользователями. Автором созданных с использованием ИИ работ будет признаваться пользователь сервиса «в случае наличия его творческого вклада в их создание». Исключительные права также будут принадлежать пользователю, если договором между ним и сервисом не предусмотрено иное. Законопроект обязывает информировать граждан о том, что они взаимодействуют с ИИ, например, в случае продаж через чат-боты, и вводит требования к маркировке сгенерированного контента.
26 февраля президент РФ Владимир Путин подписал указ о создании комиссии по вопросам развития технологий искусственного интеллекта при главе государства. Сопредседателями нового органа назначены вице-премьер Дмитрий Григоренко и заместитель руководителя администрации президента Максим Орешкин. В состав комиссии вошли министр обороны Андрей Белоусов, директор ФСБ Александр Бортников, глава «Сбербанка» Герман Греф, мэр Москвы Сергей Собянин, экс-руководитель «Яндекса» Тигран Худавердян.
Новая структура будет координировать работу федеральных органов власти, Банка России и регионов по внедрению ИИ в экономику, социальную сферу и госуправление. В задачи комиссии входит анализ основных рисков и угроз, возникающих в связи с использованием технологий искусственного интеллекта, а также выработка мер по их нейтрализации. Отдельное внимание планируется уделить вопросам национальной обороны и безопасности страны. Руководителям российских субъектов поручено до 1 июня создать аналогичные межведомственные комиссии на региональном уровне.
В конце 2025 года на заседании Госсовета Владимир Путин назвал развитие искусственного интеллекта крупнейшим технологическим прорывом в истории. Президент подчеркнул, что ближайшие 10–15 лет станут временем колоссальной технологической трансформации, а ИИ является «намного более прорывной, всеохватывающей» технологией по сравнению с предшествующими инновациями. Выступая на конгрессе Русского географического общества, Путин отмечал, что создание суверенных моделей ИИ возможно только с опорой на отечественную культуру, историю и традиционные ценности.
Коммерсант
👍2🔥2
⭐️ Специалисты по ИИ остаются самыми высокооплачиваемыми в мире с компенсационным пакетом в сотни миллионов долларов
Конкуренция за умы в сфере искусственного интеллекта в Кремниевой долине накаляется до небывалых сумм. OpenAI удалось переманить одного из самых ценных исследователей — Руомина Панга, который всего несколько месяцев назад перешел из Apple в Meta (признана экстремистской организацией, деятельность запрещена в РФ) с компенсационным пакетом более $200 млн.
До этого Панг возглавлял направление разработки моделей в Apple, но летом прошлого года присоединился к элитному подразделению Meta* — Superintelligence Labs. Там он занимался инфраструктурой для ИИ нового поколения и получал вознаграждение, построенное на высокой фиксированной ставке и бонусах, достигающих десятков миллионов долларов.
Продолжение: https://vk.com/wall-210601538_2021
Конкуренция за умы в сфере искусственного интеллекта в Кремниевой долине накаляется до небывалых сумм. OpenAI удалось переманить одного из самых ценных исследователей — Руомина Панга, который всего несколько месяцев назад перешел из Apple в Meta (признана экстремистской организацией, деятельность запрещена в РФ) с компенсационным пакетом более $200 млн.
До этого Панг возглавлял направление разработки моделей в Apple, но летом прошлого года присоединился к элитному подразделению Meta* — Superintelligence Labs. Там он занимался инфраструктурой для ИИ нового поколения и получал вознаграждение, построенное на высокой фиксированной ставке и бонусах, достигающих десятков миллионов долларов.
Продолжение: https://vk.com/wall-210601538_2021
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Специалисты по ИИ остаются самыми высокооплачиваемыми в мире с компенсационным пакетом в сотни мил... Смотрите полностью ВКонтакте.
🔥2😱2
Forwarded from Кибербезопасность с УЦСБ
Уже совсем скоро мы встретимся на квартирнике по безопасной разработке🖥
Будем подводить итоги 2025, говорить о трендах 2026 и строить прогнозы развития DevSecOps
Готовы показать, какие темы обсудим в этот вечер🔼
Кстати, если вы еще не успели зарегистрироваться, самое время это сделать 👀
Будем подводить итоги 2025, говорить о трендах 2026 и строить прогнозы развития DevSecOps
Готовы показать, какие темы обсудим в этот вечер
Кстати, если вы еще не успели зарегистрироваться, самое время это сделать 👀
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
🌷 Дорогие подписчицы!
Поздравляю вас с Международным женским днем!
Развитие безопасного, управляемого и ответственного ИИ, грамотное управление рисками невозможны без разнообразия мнений.
Спасибо, что вы с нами, что задаете важные вопросы и помогаете держать планку высокого качества в российском ИИ-комьюнити!
Желаю вам ярких идей, надежной защиты от выгорания, новых полезных знаний, непрерывного развития в ускоряющемся мире и чтобы технологии всегда оставались инструментом в ваших руках, а не вызовом.
Пусть ваша весна будет продуктивной, радостной и яркой! 🚀
С теплом,
Global MLSecOps & AI Governance Architect
Николай Павлов
Поздравляю вас с Международным женским днем!
Развитие безопасного, управляемого и ответственного ИИ, грамотное управление рисками невозможны без разнообразия мнений.
Спасибо, что вы с нами, что задаете важные вопросы и помогаете держать планку высокого качества в российском ИИ-комьюнити!
Желаю вам ярких идей, надежной защиты от выгорания, новых полезных знаний, непрерывного развития в ускоряющемся мире и чтобы технологии всегда оставались инструментом в ваших руках, а не вызовом.
Пусть ваша весна будет продуктивной, радостной и яркой! 🚀
С теплом,
Global MLSecOps & AI Governance Architect
Николай Павлов
❤4🕊2
⭐️ Правительство России разрешило беспилотным грузовикам ездить без людей
Экспериментальный правовой режим, позволяющий беспилотным грузовикам ездить по дорогам общего пользования, продлевается до 2028 года и расширяется еще на три региона. Такое постановление приняло правительство РФ. Но главное изменение эксперимента — возможность движения «высокоавтоматизированных транспортных средств» (ВАТС) без присутствия человека в салоне. Такие машины появятся на дорогах в 2026 году, их суммарный пробег за два года должен составить 100 тыс. км. Постановление вводит дополнительные требования к беспилотным большегрузам: они должны уметь безопасно останавливаться при сбоях софта, а участвующие в испытаниях водители не могут иметь судимостей.
Опубликовано постановление правительства №1790 о продлении экспериментального правового режима (ЭПР) о беспилотных грузовиках, курсирующих по дорогам общего пользования. ЭПР был запущен в 2023 году для отработки технологий. В проекте, который курировал Минтранс, участвовали крупные компании («Магнит», ПЭК и т. д.), перевозившие грузы по М-11 и ЦКАД на 90 грузовиках — «КамАЗах» и Navio, суммарный пробег которых превысил более 9,5 млн км. ЭПР должен был закончиться в 2025 году, теперь его продлили до 2028 года. Расширяется и перечень регионов, где могут ездить машины без водителя: к «пилоту» присоединились Башкирия, Пермский край и Свердловская область. Это связано с тем, что большегрузы в следующем году начнут ездить по трассе М-12 — недавно она была продлена до Екатеринбурга.
Ключевое нововведение касается условий испытаний беспилотных грузовиков. Постановление предусматривает два типа «высокоавтоматизированных транспортных средств» (ВАТС). ВАТС первой категории — машины, которые раньше могли ездить только с испытателем на месте водителя (он подстраховывал работу софта). Теперь водителям разрешается сидеть на месте пассажира. Это правило касается грузовиков, которые ездят сейчас по М-11 и ЦКАД. ВАТС второй категории — технологически более продвинутные транспортные средства, управление которыми может быть доверено целиком автоматике при «удаленной маршрутизации». Присутствие человека в салоне необязательно. Появление таких машин на дорогах ожидается в 2026 году.
Продолжение: https://vk.com/wall-210601538_2023
Экспериментальный правовой режим, позволяющий беспилотным грузовикам ездить по дорогам общего пользования, продлевается до 2028 года и расширяется еще на три региона. Такое постановление приняло правительство РФ. Но главное изменение эксперимента — возможность движения «высокоавтоматизированных транспортных средств» (ВАТС) без присутствия человека в салоне. Такие машины появятся на дорогах в 2026 году, их суммарный пробег за два года должен составить 100 тыс. км. Постановление вводит дополнительные требования к беспилотным большегрузам: они должны уметь безопасно останавливаться при сбоях софта, а участвующие в испытаниях водители не могут иметь судимостей.
Опубликовано постановление правительства №1790 о продлении экспериментального правового режима (ЭПР) о беспилотных грузовиках, курсирующих по дорогам общего пользования. ЭПР был запущен в 2023 году для отработки технологий. В проекте, который курировал Минтранс, участвовали крупные компании («Магнит», ПЭК и т. д.), перевозившие грузы по М-11 и ЦКАД на 90 грузовиках — «КамАЗах» и Navio, суммарный пробег которых превысил более 9,5 млн км. ЭПР должен был закончиться в 2025 году, теперь его продлили до 2028 года. Расширяется и перечень регионов, где могут ездить машины без водителя: к «пилоту» присоединились Башкирия, Пермский край и Свердловская область. Это связано с тем, что большегрузы в следующем году начнут ездить по трассе М-12 — недавно она была продлена до Екатеринбурга.
Ключевое нововведение касается условий испытаний беспилотных грузовиков. Постановление предусматривает два типа «высокоавтоматизированных транспортных средств» (ВАТС). ВАТС первой категории — машины, которые раньше могли ездить только с испытателем на месте водителя (он подстраховывал работу софта). Теперь водителям разрешается сидеть на месте пассажира. Это правило касается грузовиков, которые ездят сейчас по М-11 и ЦКАД. ВАТС второй категории — технологически более продвинутные транспортные средства, управление которыми может быть доверено целиком автоматике при «удаленной маршрутизации». Присутствие человека в салоне необязательно. Появление таких машин на дорогах ожидается в 2026 году.
Продолжение: https://vk.com/wall-210601538_2023
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Правительство России разрешило беспилотным грузовикам ездить без людей
Экспериментальный пр... Смотрите полностью ВКонтакте.
Экспериментальный пр... Смотрите полностью ВКонтакте.
🔥3
⭐️ MLSecOps - как защитить бизнес и данные при внедрении ИИ
Искусственный интеллект способен резко расширить возможности развития бизнеса, однако просчеты при внедрении подобных систем могут обернуться серьезными убытками. О рисках в этой сфере и способах их снизить рассказал Владимир Мукасеев, начальник отдела разработки сервисов кибербезопасности IBS.
Многие компании возлагают большие надежды на искусственный интеллект, но терпят неудачу из-за недостаточно эффективного процесса управления рисками. Чтобы не повторять этот сценарий, и не превращать ИИ-инициативу в источник убытков, бизнесу важно знать о проблемах, которые могут возникнуть на всех основных этапах жизненного цикла: от обследования до эксплуатации ИИ-систем.
1. При обследовании, или анализе перспектив внедрения ИИ, есть риск установить неверную цель проекта, которая не соответствует задачам бизнеса. Могут возникнуть и просчеты, связанные с недооценкой ресурсов, отсутствием необходимых данных, их смещением или низким качеством. Все это влечет за собой упущенные рыночные возможности, срыв сроков, перерасход бюджета и заморозку ИИ-инициатив.
2. На стадии проектирования возникает риск выстроить архитектуру системы без учета требований безопасности, что в перспективе может привести к ряду сложностей и дополнительных уязвимостей, которые можно было не допустить на ранних этапах. Другие возможные источники рисков — отсутствие механизмов контроля ИИ-решений и привязка к единственному поставщику продуктов на базе больших языковых моделей (LLM) и машинного обучения (ML). Такие риски могут повысить уязвимость всей корпоративной ИТ-инфраструктуры, привести к компрометации целой системы, масштабным киберинцидентам и полному отказу ИИ-решения.
3. На этапе разработки основная часть рисков связана с чувствительной информацией, которая используется при обучении модели, а также с уязвимостями в алгоритмах и коде. Кроме того, во время обучения в систему могут попасть «отравленные» (или же заведомо неправильные) данные. Эти факторы способны привести к компрометации стратегических решений, росту киберрисков и поверхности атаки.
4. В процессе внедрения системы в эксплуатацию возможны конфликты интеграции и, как следствие, рост количества угроз, связанных с незащищенным контуром исполнения. Могут также возникнуть угрозы деградации производительности и «теневого ИИ» — несанкционированного использования сторонних ЛЛМ-сервисов сотрудниками или разработчиками решения. Это может привести к искажению отчетности, в подготовке которой участвует ИИ, скрытым затратам на решение, перерасходу бюджета на инфраструктуру и даже остановке операционной деятельности.
5. При эксплуатации ИИ возможны манипуляции входными данными для обхода или обмана модели. В отдельных случаях модели могут устаревать, а качество прогнозов — деградировать. Кроме того, компании могут столкнуться с компрометацией компонентов ИИ и непрозрачной работой системы. Это снижает эффективность бизнес-процессов, нарушает функционирование критически важных сервисов.
6. Внедрение могут сопровождать и угрозы, специфичные для определенных типов решений. Например, чат-боты на базе больших языковых моделей могут становиться каналами утечки данных, генерировать «галлюцинации» и неправовые результаты. Слабости рекомендательных систем: фильтр-пузыри. Классическому машинному обучению присуще: дрейф данных, сложности в переобучении. Наконец, при использовании генеративных моделей могут возникнуть проблемы с авторскими правами и дипфейками.
Принципы управления рисками
Избежать возможных проблем при внедрении ИИ-систем помогут четыре базовых принципа управления рисками:
1. ИИ не универсальное решение, а технология, требующая ответственного подхода. Системы на базе искусственного интеллекта работают только на основе качественных данных и четких бизнес-задач. Не менее важно обеспечить соответствие проекта требованиям регуляторов, непрерывный мониторинг и анализ аномалий поведения модели.
Искусственный интеллект способен резко расширить возможности развития бизнеса, однако просчеты при внедрении подобных систем могут обернуться серьезными убытками. О рисках в этой сфере и способах их снизить рассказал Владимир Мукасеев, начальник отдела разработки сервисов кибербезопасности IBS.
Многие компании возлагают большие надежды на искусственный интеллект, но терпят неудачу из-за недостаточно эффективного процесса управления рисками. Чтобы не повторять этот сценарий, и не превращать ИИ-инициативу в источник убытков, бизнесу важно знать о проблемах, которые могут возникнуть на всех основных этапах жизненного цикла: от обследования до эксплуатации ИИ-систем.
1. При обследовании, или анализе перспектив внедрения ИИ, есть риск установить неверную цель проекта, которая не соответствует задачам бизнеса. Могут возникнуть и просчеты, связанные с недооценкой ресурсов, отсутствием необходимых данных, их смещением или низким качеством. Все это влечет за собой упущенные рыночные возможности, срыв сроков, перерасход бюджета и заморозку ИИ-инициатив.
2. На стадии проектирования возникает риск выстроить архитектуру системы без учета требований безопасности, что в перспективе может привести к ряду сложностей и дополнительных уязвимостей, которые можно было не допустить на ранних этапах. Другие возможные источники рисков — отсутствие механизмов контроля ИИ-решений и привязка к единственному поставщику продуктов на базе больших языковых моделей (LLM) и машинного обучения (ML). Такие риски могут повысить уязвимость всей корпоративной ИТ-инфраструктуры, привести к компрометации целой системы, масштабным киберинцидентам и полному отказу ИИ-решения.
3. На этапе разработки основная часть рисков связана с чувствительной информацией, которая используется при обучении модели, а также с уязвимостями в алгоритмах и коде. Кроме того, во время обучения в систему могут попасть «отравленные» (или же заведомо неправильные) данные. Эти факторы способны привести к компрометации стратегических решений, росту киберрисков и поверхности атаки.
4. В процессе внедрения системы в эксплуатацию возможны конфликты интеграции и, как следствие, рост количества угроз, связанных с незащищенным контуром исполнения. Могут также возникнуть угрозы деградации производительности и «теневого ИИ» — несанкционированного использования сторонних ЛЛМ-сервисов сотрудниками или разработчиками решения. Это может привести к искажению отчетности, в подготовке которой участвует ИИ, скрытым затратам на решение, перерасходу бюджета на инфраструктуру и даже остановке операционной деятельности.
5. При эксплуатации ИИ возможны манипуляции входными данными для обхода или обмана модели. В отдельных случаях модели могут устаревать, а качество прогнозов — деградировать. Кроме того, компании могут столкнуться с компрометацией компонентов ИИ и непрозрачной работой системы. Это снижает эффективность бизнес-процессов, нарушает функционирование критически важных сервисов.
6. Внедрение могут сопровождать и угрозы, специфичные для определенных типов решений. Например, чат-боты на базе больших языковых моделей могут становиться каналами утечки данных, генерировать «галлюцинации» и неправовые результаты. Слабости рекомендательных систем: фильтр-пузыри. Классическому машинному обучению присуще: дрейф данных, сложности в переобучении. Наконец, при использовании генеративных моделей могут возникнуть проблемы с авторскими правами и дипфейками.
Принципы управления рисками
Избежать возможных проблем при внедрении ИИ-систем помогут четыре базовых принципа управления рисками:
1. ИИ не универсальное решение, а технология, требующая ответственного подхода. Системы на базе искусственного интеллекта работают только на основе качественных данных и четких бизнес-задач. Не менее важно обеспечить соответствие проекта требованиям регуляторов, непрерывный мониторинг и анализ аномалий поведения модели.
🔥4