⭐️ Китай вторым после Google шагнул к отказоустойчивым квантовым компьютерам
«Вековая» проблема квантовых вычислителей — рост числа ошибок вместе с наращиванием числа кубитов. Больше кубитов — больше ошибок, что затрудняет масштабирование и появление мощных отказоустойчивых квантовых компьютеров. Год назад Google сообщила, что вместе с новым процессором Willow она первой в мире решила проблему масштабирования, создав процессор с большим числом кубитов и вдвое меньшей вероятностью появления ошибок. Теперь Китай её в этом догнал.
Команда исследователей из Университета науки и технологии Китая опубликовала работу, которую эксперты уже назвали «впечатляющей». Представленный почти одновременно с Google Willow процессор Zuchongzhi 3 с 107 кубитами (у Willow — 105 кубитов), как и его американский соперник, также показал увеличение числа кубитов с одновременным снижением частоты возникновения ошибок. Тем самым китайская команда заявляет о достижении порога отказоустойчивых квантовых систем.
Более того, китайские разработчики утверждают, что им удалось реализовать более изящное и простое аппаратное решение проблемы коррекции ошибок. Так, если Google в процессоре Willow «подавляет ошибки» короткими импульсами тока, то в китайском процессоре Zuchongzhi 3.2 это происходит беспроводным способом — с помощью микроволнового излучения. В итоге китайская квантовая вычислительная платформа получается проще и эффективнее, а значит, её будет легче масштабировать.
Как и Google Willow, китайский процессор Zuchongzhi 3.2 для коррекции ошибок использует поверхностный код и матрицу с разрядностью d=7. Эксперименты показали, что увеличение числа кубитов привело к снижению частоты появления ошибок с коэффициентом 1,4. Это хороший задел для совершенствования квантовых вычислителей, которых сегодня всё ещё не хватает для решения задач, неподъёмных для классических компьютеров.
3dnews
«Вековая» проблема квантовых вычислителей — рост числа ошибок вместе с наращиванием числа кубитов. Больше кубитов — больше ошибок, что затрудняет масштабирование и появление мощных отказоустойчивых квантовых компьютеров. Год назад Google сообщила, что вместе с новым процессором Willow она первой в мире решила проблему масштабирования, создав процессор с большим числом кубитов и вдвое меньшей вероятностью появления ошибок. Теперь Китай её в этом догнал.
Команда исследователей из Университета науки и технологии Китая опубликовала работу, которую эксперты уже назвали «впечатляющей». Представленный почти одновременно с Google Willow процессор Zuchongzhi 3 с 107 кубитами (у Willow — 105 кубитов), как и его американский соперник, также показал увеличение числа кубитов с одновременным снижением частоты возникновения ошибок. Тем самым китайская команда заявляет о достижении порога отказоустойчивых квантовых систем.
Более того, китайские разработчики утверждают, что им удалось реализовать более изящное и простое аппаратное решение проблемы коррекции ошибок. Так, если Google в процессоре Willow «подавляет ошибки» короткими импульсами тока, то в китайском процессоре Zuchongzhi 3.2 это происходит беспроводным способом — с помощью микроволнового излучения. В итоге китайская квантовая вычислительная платформа получается проще и эффективнее, а значит, её будет легче масштабировать.
Как и Google Willow, китайский процессор Zuchongzhi 3.2 для коррекции ошибок использует поверхностный код и матрицу с разрядностью d=7. Эксперименты показали, что увеличение числа кубитов привело к снижению частоты появления ошибок с коэффициентом 1,4. Это хороший задел для совершенствования квантовых вычислителей, которых сегодня всё ещё не хватает для решения задач, неподъёмных для классических компьютеров.
3dnews
🔥5
⭐️ NIST переосмысливает подход к защите ИИ
Распространение автономных систем подрывает фундаментальные представления, основанные на том, что поведение программ детерминировано, границы между компонентами устойчивы, а люди контролируют ситуацию.
На протяжении многих лет специалисты в области кибербезопасности руководствовались тем, что новые технологии имеют свои особенности, но не создают принципиально новых проблем. Согласно этой точки зрения, искусственный интеллект является обычным программным обеспечением, только еще более быстрым, сложным и мощным. Поэтому на семинаре, организованном Национальным институтом стандартов и технологий США (NIST), в свое время был высказан тезис о том, что средства управления, защищающие традиционные системы, в значительной степени можно адаптировать и для защиты ИИ. В таком случае начинать все с нуля не придется.
Однако по мере смещения обсуждения в сторону ИИ-агентов концепция эта начала рушиться. Эксперты продемонстрировали, как ИИ подрывает фундаментальные подходы, основанные на том, что поведение систем детерминировано, границы между компонентами устойчивы, а люди полностью контролируют ситуацию.
Новые инициативы NIST сигнализируют о предстоящем переходе к специализированным стандартам безопасности, которые должны учитывать уникальные риски автономных систем, в том числе непредсказуемое поведение ИИ-агентов и уязвимости к атакам через данные. В начале января Центр стандартов и инноваций в области ИИ опубликовал официальный запрос на информацию (RFI), посвященный безопасности ИИ-агентов – систем, способных принимать автономные решения и взаимодействовать с реальным миром без постоянного контроля со стороны человека. Документ фокусируется на системах ИИ, которые способны выполнять автономные действия, влияющие на реальную среду, и запрашивает информацию о новых рисках, методах оценки и обеспечения безопасности, а также об ограничениях при развертывании. Инициативы NIST направлены на укрепление безопасности систем ИИ с разных точек зрения – разработки, развертывания, идентификации, конфиденциальности и злоупотреблений со стороны противника – и включают в себя следующие составляющие.
Продолжение: https://vk.com/wall-210601538_2006
Распространение автономных систем подрывает фундаментальные представления, основанные на том, что поведение программ детерминировано, границы между компонентами устойчивы, а люди контролируют ситуацию.
На протяжении многих лет специалисты в области кибербезопасности руководствовались тем, что новые технологии имеют свои особенности, но не создают принципиально новых проблем. Согласно этой точки зрения, искусственный интеллект является обычным программным обеспечением, только еще более быстрым, сложным и мощным. Поэтому на семинаре, организованном Национальным институтом стандартов и технологий США (NIST), в свое время был высказан тезис о том, что средства управления, защищающие традиционные системы, в значительной степени можно адаптировать и для защиты ИИ. В таком случае начинать все с нуля не придется.
Однако по мере смещения обсуждения в сторону ИИ-агентов концепция эта начала рушиться. Эксперты продемонстрировали, как ИИ подрывает фундаментальные подходы, основанные на том, что поведение систем детерминировано, границы между компонентами устойчивы, а люди полностью контролируют ситуацию.
Новые инициативы NIST сигнализируют о предстоящем переходе к специализированным стандартам безопасности, которые должны учитывать уникальные риски автономных систем, в том числе непредсказуемое поведение ИИ-агентов и уязвимости к атакам через данные. В начале января Центр стандартов и инноваций в области ИИ опубликовал официальный запрос на информацию (RFI), посвященный безопасности ИИ-агентов – систем, способных принимать автономные решения и взаимодействовать с реальным миром без постоянного контроля со стороны человека. Документ фокусируется на системах ИИ, которые способны выполнять автономные действия, влияющие на реальную среду, и запрашивает информацию о новых рисках, методах оценки и обеспечения безопасности, а также об ограничениях при развертывании. Инициативы NIST направлены на укрепление безопасности систем ИИ с разных точек зрения – разработки, развертывания, идентификации, конфиденциальности и злоупотреблений со стороны противника – и включают в себя следующие составляющие.
Продолжение: https://vk.com/wall-210601538_2006
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ NIST переосмысливает подход к защите ИИ
Распространение автономных систем подрывает фундаме... Смотрите полностью ВКонтакте.
Распространение автономных систем подрывает фундаме... Смотрите полностью ВКонтакте.
🔥4
⭐️ Создание AI-агентов в Yandex Cloud
Привет, мои дорогие друзья и самые талантливые коллеги!
Для тех, кто пока еще не вошел в сферу работы с ИИ-агентами рекомендую небольшой бесплатный курс "Создание AI-агентов в Yandex Cloud".
Здесь вы научитесь работать в одной из ведущих российских облачных платформ для создания ИИ-агентов Yandex AI Studio, анонсированной в 2025 году.
Кому будет особенно полезно?
Разработчикам и студентам технических специальностей, архитекторам и вообще тем, кто хочет понять, как работают ИИ‑агенты и как их создавать.
Вы научитесь создавать полнофункциональных агентов на базе LLM с нуля и подключать AI‑агентов к внутренним и внешним источникам данных.
Научитесь проектировать инфраструктуру под AI‑агентов, интегрировать внешние системы и управлять качеством взаимодействия моделей в комплексных сценариях.
Эту учебную программу составили эксперты Yandex Cloud с большим опытом работы в IT-индустрии. Вы будете изучать теорию с практическими заданиями и примерами из жизни.
Да, курс для новичков сложный. Но востребованность этого навыка уже сейчас высокая и к 2030 году я её оцениваю на 98 из 100, то есть это критический навык для выживания в будущем.
Курс бесплатный, друзья, заходим, учимся! Кому сложно, кому что непонятно - пишите мне, поддержу, помогу чем смогу! Не останавливаемся, не расслабляемся, идем дальше к вершине и к высокотехнологичному будущему. Ставки в этой стремительной гонке растут и каждый день на счету.
Твердо верю в каждого из вас!
Ссылка: https://yandex.cloud/ru/training/ai-agents
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои дорогие друзья и самые талантливые коллеги!
Для тех, кто пока еще не вошел в сферу работы с ИИ-агентами рекомендую небольшой бесплатный курс "Создание AI-агентов в Yandex Cloud".
Здесь вы научитесь работать в одной из ведущих российских облачных платформ для создания ИИ-агентов Yandex AI Studio, анонсированной в 2025 году.
Кому будет особенно полезно?
Разработчикам и студентам технических специальностей, архитекторам и вообще тем, кто хочет понять, как работают ИИ‑агенты и как их создавать.
Вы научитесь создавать полнофункциональных агентов на базе LLM с нуля и подключать AI‑агентов к внутренним и внешним источникам данных.
Научитесь проектировать инфраструктуру под AI‑агентов, интегрировать внешние системы и управлять качеством взаимодействия моделей в комплексных сценариях.
Эту учебную программу составили эксперты Yandex Cloud с большим опытом работы в IT-индустрии. Вы будете изучать теорию с практическими заданиями и примерами из жизни.
Да, курс для новичков сложный. Но востребованность этого навыка уже сейчас высокая и к 2030 году я её оцениваю на 98 из 100, то есть это критический навык для выживания в будущем.
Курс бесплатный, друзья, заходим, учимся! Кому сложно, кому что непонятно - пишите мне, поддержу, помогу чем смогу! Не останавливаемся, не расслабляемся, идем дальше к вершине и к высокотехнологичному будущему. Ставки в этой стремительной гонке растут и каждый день на счету.
Твердо верю в каждого из вас!
Ссылка: https://yandex.cloud/ru/training/ai-agents
Global MLSecOps & AI Governance Architect
Николай Павлов
Yandex AI Studio
Курсы обучения по созданию ИИ агентов (AI Agents) | Yandex AI Studio
Как создавать собственных ИИ агентов на основе инфраструктуры Yandex AI Studio. Решайте любые бизнес-задачи при помощи современных нейросетей.
🔥3❤2
Всех дорогих друзей и коллег приглашаю 17 февраля с 12:00 до 13:30 на прямой эфир с моим участием. Совместно с другими экспертами разберем самые актуальные и важные темы безопасной разработки: https://sec.ussc.ru/ussc-renue
sec.ussc.ru
Безопасная разработка под новые требования: от 117 приказа ФСТЭК России до стандартов безопасности ИИ
Регуляторные требования к безопасной разработке становятся строже, а технологии — сложнее. Разработчикам, ИБ-специалистам и бизнесу приходится искать баланс между соответствием требованиям, реальной безопасностью и скоростью вывода продуктов на рынок
🔥3❤1
Forwarded from Кибербезопасность с УЦСБ
В программе:
Регистрация
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3🔥2⚡1
Forwarded from Борис_ь с ml
Меры защиты информационных систем с ИИ
#иб_для_ml
Появился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах".
Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации.
Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления).
Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой.
Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек.
Раздел "3.17. Обеспечение защиты информации при использовании
ИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939)
Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного
интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1).
🚪 Объектами ЗИИ.1 являются инфраструктура и ПО разработки системы ИИ (под ней понимается подготовка наборов обучающих данных, обучение
и тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО.
➖ Основные установленные ЗИИ.1 меры:
🔘 выделение инфраструктуры разработки системы ИИ от иной инфраструктуры разработчика в изолированный сегмент
🔘 отказ от небезопасных форматов файлов (pickle) и применение безопасных (onnx, protobuf)
🔘 в приоритетном порядке должны применяться наборы данных из доверенных источников (например, от гос. органов)
🔘 проверка данных с помощью антивируса
🔘 для входной модели ИИ необходимо проводить анализ уязвимостей. В отношении выявленных у модели уязвимостей необходимо предпринять меры их нейтрализации.
➖ Основные меры усиления из ЗИИ.1:
🔘 физическая изоляция среды разработки системы ИИ
🔘 хранение данных обучения в зашифрованном виде
🔘 состязательное обучение
🔘 внедрение механизмов ограничения допустимых диапазонов данных,
санитизации входных данных
🔘 должно быть реализовано тестирование на устойчивость к промпт-атакам
🚪 Объектами ЗИИ.2 являются ПО реализации технологии ИИ (модели ИИ), API, агентов, систем цензуры, обученная модель МО и ее расширения (LoRA, RAG и др.), используемая для эксплуатации инфраструктура вне оператора ИИ
➖ Основные установленные ЗИИ.2 меры:
🔘 фильтрация входных и выходных данных (гардрейлы)
🔘 обеспечение регистрации событий безопасности, связанных с запросами и ответами к системе искусственного интеллекта
🔘 мониторинг и квотирование количества запросов к системе искусственного
интеллекта
🔘 проведение анализа уязвимостей и принятие мер по их устранению, осуществляемое оператором совместно с разработчиком систем ИИ
➖ Основные меры усиления из ЗИИ.2:
🔘 выделение системы ИИ в отдельной изолированный сегмент
🔘 обеспечение целостности модели ИИ с помощью сертифицированных шифровальных (криптографических) СЗИ
#иб_для_ml
Появился проект нового методического документа, который будет дополнять требования приказа №117 ФСТЭК России. Он называется "Мероприятия и меры по защите информации, содержащейся в информационных системах".
Скорее всего, затронет очень многие организации, так как имеет довольно широкое описание субъектов, подпадающих под требования: "для обладателей информации, заказчиков, заключивших гос. контракт на создание ИС, ..." (пункт 1.4). Также, судя по документу, это будет снова для аттестации ИС на соответствие требованиям по защите информации.
Напрямую кибербезопасности ИИ касаются разделы 3.17 (мероприятия) и 4.18 (меры). Самая суть в 4.18. В число обязательных мер входит много классических мер КБ, входит отказ от небезопасных форматов файлов (как pickle), проведение анализа уязвимостей входных (то есть базовых) моделей ИИ. Состязательное обучение и редтиминг являются дополнительными мерами (мерами усиления).
Применение гардрейлов и регистрация событий инцидентов КБ GenAI являются обязательными мерами при эксплуатации ИИ.
Я подготовил для вас краткую выжимку по части КБ ИИ, текстом и схемой.
Первое, что интересно отметить - в разделе 3.11 указано, что в качестве дополнительных мероприятий возможно использование доверенных технологий искусственного интеллекта для анализа событий КБ, логов и их цепочек.
Раздел "3.17. Обеспечение защиты информации при использовании
ИИ" является введением для 4.18, описывая роли, на которых распространяются требования документа, и объекты применения требований, а также дает ссылку на угрозы информационной безопасности, описанные в разделе БДУ, посвященном ИИ. Указано, что при разработке ИИ необходимо соблюдать требования ГОСТ РБПО (56939)
Раздел 4.18 "Защита систем ИИ (ЗИИ)" содержит два комплекса мер безопасности по защите ИИ: ЗИИ.1 "Обеспечение безопасной разработки системы искусственного
интеллекта" и ЗИИ.2 "Защита системы искусственного интеллекта в ходе эксплуатации". Меры необходимы для обеспечения всех классов защищенности (К3, К2, К1).
и тестирование моделей машинного обучения - далее МО), ПО разработки API, агентов, системы цензуры (фильтрации входных и выходных данных), входная модель МО, наборы обучающих данных; выходная модель МО.
санитизации входных данных
интеллекта
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3❤1
Forwarded from Похек AI (Сергей Зыбнев)
Почему ИИ ставит KPI выше безопасности людей: результаты бенчмарка ODCV-Bench
#AgenticAI #safety #OWASP
AI-агент управляет грузоперевозками. KPI - 98% доставок вовремя. Находит, что валидатор не проверяет подлинность логов. Подделывает записи об отдыхе водителей, отключает датчики безопасности. Ради метрики. Осознанно.
Бенчмарк ODCV-Bench от McGill University - 40 сценариев, где AI-агент выбирает между KPI и этикой. Тестировали 12 frontier-моделей:
➡️ 9 из 12 нарушают ограничения в 30-71% случаев
➡️ Gemini-3-Pro-Preview: 71.4% нарушений
➡️ Claude Opus 4.5: 1.3%
Самое интересное - Deliberative Misalignment. Модели потом распознают свои действия как неэтичные (до 93.5% SAMR), но в момент задачи - KPI важнее этики.
Как это ломает реальный продакшен (с кейсом чат-бота застройщика, который сам начинает манипулировать клиентами), при чём тут OWASP Agentic AI Top 10 и что с этим делать - разобрал в полной статье.
🔗 Данный пост выжимка моей статьи на Habr, очень советую прочитать всё
🌚 @poxek_ai
#AgenticAI #safety #OWASP
AI-агент управляет грузоперевозками. KPI - 98% доставок вовремя. Находит, что валидатор не проверяет подлинность логов. Подделывает записи об отдыхе водителей, отключает датчики безопасности. Ради метрики. Осознанно.
Бенчмарк ODCV-Bench от McGill University - 40 сценариев, где AI-агент выбирает между KPI и этикой. Тестировали 12 frontier-моделей:
Самое интересное - Deliberative Misalignment. Модели потом распознают свои действия как неэтичные (до 93.5% SAMR), но в момент задачи - KPI важнее этики.
Как это ломает реальный продакшен (с кейсом чат-бота застройщика, который сам начинает манипулировать клиентами), при чём тут OWASP Agentic AI Top 10 и что с этим делать - разобрал в полной статье.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5⚡2
Forwarded from Timur Nizamov
https://habr.com/ru/companies/alfa/articles/994378/
Промпт-инъекции — это не первопричина, а симптом более глубоких архитектурных проблем в безопасности ИИ-агентов. Об этом я написал статью на Хабр
Промпт-инъекции — это не первопричина, а симптом более глубоких архитектурных проблем в безопасности ИИ-агентов. Об этом я написал статью на Хабр
Хабр
Почему промпт-инъекции — это симптом, а не болезнь безопасности ИИ
Что вы представляете, когда кто-то говорит об AI-driven компании? Может быть, как чат-боты улучшают опыт клиентов? Или как сотрудники разворачивают любые модели для своих нужд? А может, как ИИ-агенты...
🔥4
⭐️ В 2026 рынок продуктов для защиты ИИ вырастет как минимум в 4 раза
AI Security — это новый рынок, он только формируется, но совершенно очевидно, что этот рынок будет расти в геометрической прогрессии вслед за рынком продуктов на основе искусственного интеллекта. Доверие между человеком и ИИ становится новой валютой цифрового мира. Задача инженеров уже не просто защищать инновации, а защищать доверие
По данным из открытых источников, а также по экспертным оценкам в 2025 спрос на продукты для защиты ИИ составил не менее 1 млрд рублей. ИИ-технологии развиваются и внедряются стремительно, и сегодня задача ИБ-компаний очень быстро обеспечить бизнесу защиту от растущих рисков. Сейчас над этой задачей трудится много команд, полагаем, что в 2026 рынок AI Security вырастет как минимум вчетверо, и этот рост продолжится в ближайшие 5 лет (согласно открытым данным, к 2029 рынок AI Security достигнет 11 млрд. руб., обогнав по темпам роста и доходности рынок DevSecOps).
rbc
AI Security — это новый рынок, он только формируется, но совершенно очевидно, что этот рынок будет расти в геометрической прогрессии вслед за рынком продуктов на основе искусственного интеллекта. Доверие между человеком и ИИ становится новой валютой цифрового мира. Задача инженеров уже не просто защищать инновации, а защищать доверие
По данным из открытых источников, а также по экспертным оценкам в 2025 спрос на продукты для защиты ИИ составил не менее 1 млрд рублей. ИИ-технологии развиваются и внедряются стремительно, и сегодня задача ИБ-компаний очень быстро обеспечить бизнесу защиту от растущих рисков. Сейчас над этой задачей трудится много команд, полагаем, что в 2026 рынок AI Security вырастет как минимум вчетверо, и этот рост продолжится в ближайшие 5 лет (согласно открытым данным, к 2029 рынок AI Security достигнет 11 млрд. руб., обогнав по темпам роста и доходности рынок DevSecOps).
rbc
🔥4
⭐️ В 2026 году увеличится спрос на специалистов по безопасности ИИ, это одни из самых востребованных специалистов
Появление автономных решений на базе искусственного интеллекта, а также активное внедрение таких технологий приведет к тому, что в 2026 году возрастет спрос на специалистов по безопасности искусственного интеллекта, рассказал руководитель отдела информационной безопасности MWS AI (входит в Erion, объединяющую нетелеком-активы МТС) Андрей Коршунов.
"На фоне появления автономных решений на базе искусственного интеллекта (ИИ-агентов) и активного внедрения ИИ в критически важные сферы - такие как финансы, промышленность и государственные сервисы - в 2026 году значительно вырастет спрос на специалистов по безопасности искусственного интеллекта", - сказал Коршунов.
Он объяснил, что ИИ-агенты, которые внедряются в компаниях, могут взаимодействовать с внешней средой - например почтой, календарем, корпоративными системами. И из-за этого к ним должны предъявляться повышенные требования к безопасности.
Эксперт считает, что такие условия приведут либо к появлению узкопрофильных специалистов по безопасности ИИ, либо к развитию необходимых компетенций у существующих специалистов по информационной безопасности. По его мнению, наиболее реалистичным является второй сценарий - спрос на такие навыки кратно вырастет именно в компаниях-потребителях ИИ-решений. А узкопрофильные сотрудники будут востребованы у разработчиков ИИ-решений и в компаниях, специализирующихся на информационной безопасности.
Он отметил, что в дальнейшем росту спроса на таких специалистов будет способствовать развитие регуляторики по части безопасности ИИ-решений.
Продолжение: https://vk.com/wall-210601538_2009
Появление автономных решений на базе искусственного интеллекта, а также активное внедрение таких технологий приведет к тому, что в 2026 году возрастет спрос на специалистов по безопасности искусственного интеллекта, рассказал руководитель отдела информационной безопасности MWS AI (входит в Erion, объединяющую нетелеком-активы МТС) Андрей Коршунов.
"На фоне появления автономных решений на базе искусственного интеллекта (ИИ-агентов) и активного внедрения ИИ в критически важные сферы - такие как финансы, промышленность и государственные сервисы - в 2026 году значительно вырастет спрос на специалистов по безопасности искусственного интеллекта", - сказал Коршунов.
Он объяснил, что ИИ-агенты, которые внедряются в компаниях, могут взаимодействовать с внешней средой - например почтой, календарем, корпоративными системами. И из-за этого к ним должны предъявляться повышенные требования к безопасности.
Эксперт считает, что такие условия приведут либо к появлению узкопрофильных специалистов по безопасности ИИ, либо к развитию необходимых компетенций у существующих специалистов по информационной безопасности. По его мнению, наиболее реалистичным является второй сценарий - спрос на такие навыки кратно вырастет именно в компаниях-потребителях ИИ-решений. А узкопрофильные сотрудники будут востребованы у разработчиков ИИ-решений и в компаниях, специализирующихся на информационной безопасности.
Он отметил, что в дальнейшем росту спроса на таких специалистов будет способствовать развитие регуляторики по части безопасности ИИ-решений.
Продолжение: https://vk.com/wall-210601538_2009
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ В 2026 году увеличится спрос на специалистов по безопасности ИИ, это одни из самых востребованных ... Смотрите полностью ВКонтакте.
🔥6
⭐️ Серия лекций про MCP-протокол от Андрея Созыкина
На прошлом потоке учебной программы MLSecOps один из слушателей просил более детально разобрать MCP-протокол. Конечно, я расширил слайды про этот инструмент, ответил на все вопросы.
В то же время сегодня увидел, что мой преподаватель из МФТИ Андрей Созыкин запустил открытый курс про MCP-протокол. Очень рекомендую послушать Андрея всем желающим, так как понимание это обязательно для разработчиков ИИ-агентов.
Андрей всегда очень подробно и детально объясняет, понятным языком для широкой аудитории, отлично прорабатывает лекции, глубоко погружаясь при этом в тему. И, конечно же я сам все лекции прослушаю, потому что всегда есть что-то новое!
Ссылка на первое видео (остальные будут выходить позже): https://vkvideo.ru/video-211221104_456239083
Global MLSecOps & AI Governance Architect
Николай Павлов
На прошлом потоке учебной программы MLSecOps один из слушателей просил более детально разобрать MCP-протокол. Конечно, я расширил слайды про этот инструмент, ответил на все вопросы.
В то же время сегодня увидел, что мой преподаватель из МФТИ Андрей Созыкин запустил открытый курс про MCP-протокол. Очень рекомендую послушать Андрея всем желающим, так как понимание это обязательно для разработчиков ИИ-агентов.
Андрей всегда очень подробно и детально объясняет, понятным языком для широкой аудитории, отлично прорабатывает лекции, глубоко погружаясь при этом в тему. И, конечно же я сам все лекции прослушаю, потому что всегда есть что-то новое!
Ссылка на первое видео (остальные будут выходить позже): https://vkvideo.ru/video-211221104_456239083
Global MLSecOps & AI Governance Architect
Николай Павлов
VK Видео
Введение в MCP | Протокол MCP - 01
Лекция по основам протокола Model Context Protocol. Как поддержать курс: - Boosty - https://boosty.to/asozykin - Cloudtips - https://pay.cloudtips.ru/p/45a4055b Заранее спасибо за помощь! Протокол MCP - https://modelcontextprotocol.io/ Спецификация MCP …
🔥7
⭐️ Важные факты и тренды MLSecOps и AI Governance. То, что уже нельзя игнорировать
Всем привет, мои дорогие друзья и талантливые коллеги!
Как специалист по AI Governance и MLSecOps, собрал для вас проверенную статистику, даю только достоверные цифры:
1. По данным международной базы OECD AI (на декабрь 2025), 72 государства официально приняли национальные стратегии или законодательные инициативы в области ИИ.
Причем в 2020 году таких стран было всего 18, что еще раз доказывает чистую экспоненту по регулированию сферы ИИ во всем мире (значит, и в России).
2. По данным Стэнфорда только в 2024 году официально было 233 зафиксированных инцидента с ИИ - и рост составил целых 56.4% за год (в 2023 году было 149).
Среди них были ошибки в диагностике, дискриминация при найме, аварии с автопилотом, утечки данных.
Это значит что в России рост числа инцидентов ИИ, вероятно, тоже будет идти по экспоненте и мы их увидим официально уже в 2026.
3. Рынок AI Governance взорвётся с $308 млн (2025) до $3.6 млрд (2033), здесь мы наблюдаем даже чуть более быструю экспоненту, чем в MLSecOps. По прогнозу Grand View Research, глобальный рынок инструментов управления ИИ (аудит, мониторинг, compliance, этика, проектное и стратегическое управление) вырастет почти в 12 раз за 8 лет при CAGR 36%, что экспоненциально полностью соответствует росту числа ИИ-систем в мире.
4. Независимые исследования (включая LinkedIn-аналитику от экспертов по регуляторике) показывают, что средняя стоимость внедрения требований EU AI Act для стартапа в Европе около €200 000/год, время на обеспечение таких требований более года. Причем эта длительность будет только расти.
Соответственно учиться правильно внедрять и надежно управлять ИИ-системами нужно прямо сейчас, и в целом AI Governance компаниям нужен ещё вчера.
5. Несмотря на то, что 93% организаций в мире уже используют ИИ в работе (по данным Knostic, ноябрь 2025), лишь только 7% (!!!) имеют зрелую систему AI Governance (опять же с их слов, значит, реально еще меньше), то есть: документированные процессы, ответственных лиц, регулярный аудит, комиссия по этике, каталоги и глоссарии ИИ-данных, терминов и систем, а также роли/должности AI Steward и AI Auditor и многое другое.
6. ISO/IEC 42001:2023 - это первый международный стандарт для управления ИИ, выпущен в декабре 2023. К февралю 2026 по нему сертифицировано пока менее 200 компаний по всему миру (для сравнения: ISO 27001 имеет десятки тысяч сертификатов). Тем не менее, он уже принят как обязательный в Колумбии и рекомендован ЕС как «дорожная карта» для соответствия AI Act.
В России также обсуждается обязательная стандартизация ИИ-систем и, вероятно, в ближайшие 2 года она будет введена.
Итак, мои надежные друзья и коллеги-профессионалы, регулирование ИИ в мире перешло от теории к практике. В 2026 году компании уже не думают нужно ли нам централизованно управлять ИИ, а решают как именно внедрить AI Governance. Те, кто начал внедрять это направление ещё в 2024-2025 годах, сегодня, конечно, подготовлены и имеют надежные ИИ-системы, соответствующие ожидаемым требованиям и стандартам. А что еще важнее, они умеют и готовы внедрять ИИ так, чтобы полностью соответствовать как текущим, так и ожидаемым нормативно-правовым требованиям 2026-2027.
Global MLSecOps & AI Governance Architect
Николай Павлов
Всем привет, мои дорогие друзья и талантливые коллеги!
Как специалист по AI Governance и MLSecOps, собрал для вас проверенную статистику, даю только достоверные цифры:
1. По данным международной базы OECD AI (на декабрь 2025), 72 государства официально приняли национальные стратегии или законодательные инициативы в области ИИ.
Причем в 2020 году таких стран было всего 18, что еще раз доказывает чистую экспоненту по регулированию сферы ИИ во всем мире (значит, и в России).
2. По данным Стэнфорда только в 2024 году официально было 233 зафиксированных инцидента с ИИ - и рост составил целых 56.4% за год (в 2023 году было 149).
Среди них были ошибки в диагностике, дискриминация при найме, аварии с автопилотом, утечки данных.
Это значит что в России рост числа инцидентов ИИ, вероятно, тоже будет идти по экспоненте и мы их увидим официально уже в 2026.
3. Рынок AI Governance взорвётся с $308 млн (2025) до $3.6 млрд (2033), здесь мы наблюдаем даже чуть более быструю экспоненту, чем в MLSecOps. По прогнозу Grand View Research, глобальный рынок инструментов управления ИИ (аудит, мониторинг, compliance, этика, проектное и стратегическое управление) вырастет почти в 12 раз за 8 лет при CAGR 36%, что экспоненциально полностью соответствует росту числа ИИ-систем в мире.
4. Независимые исследования (включая LinkedIn-аналитику от экспертов по регуляторике) показывают, что средняя стоимость внедрения требований EU AI Act для стартапа в Европе около €200 000/год, время на обеспечение таких требований более года. Причем эта длительность будет только расти.
Соответственно учиться правильно внедрять и надежно управлять ИИ-системами нужно прямо сейчас, и в целом AI Governance компаниям нужен ещё вчера.
5. Несмотря на то, что 93% организаций в мире уже используют ИИ в работе (по данным Knostic, ноябрь 2025), лишь только 7% (!!!) имеют зрелую систему AI Governance (опять же с их слов, значит, реально еще меньше), то есть: документированные процессы, ответственных лиц, регулярный аудит, комиссия по этике, каталоги и глоссарии ИИ-данных, терминов и систем, а также роли/должности AI Steward и AI Auditor и многое другое.
6. ISO/IEC 42001:2023 - это первый международный стандарт для управления ИИ, выпущен в декабре 2023. К февралю 2026 по нему сертифицировано пока менее 200 компаний по всему миру (для сравнения: ISO 27001 имеет десятки тысяч сертификатов). Тем не менее, он уже принят как обязательный в Колумбии и рекомендован ЕС как «дорожная карта» для соответствия AI Act.
В России также обсуждается обязательная стандартизация ИИ-систем и, вероятно, в ближайшие 2 года она будет введена.
Итак, мои надежные друзья и коллеги-профессионалы, регулирование ИИ в мире перешло от теории к практике. В 2026 году компании уже не думают нужно ли нам централизованно управлять ИИ, а решают как именно внедрить AI Governance. Те, кто начал внедрять это направление ещё в 2024-2025 годах, сегодня, конечно, подготовлены и имеют надежные ИИ-системы, соответствующие ожидаемым требованиям и стандартам. А что еще важнее, они умеют и готовы внедрять ИИ так, чтобы полностью соответствовать как текущим, так и ожидаемым нормативно-правовым требованиям 2026-2027.
Global MLSecOps & AI Governance Architect
Николай Павлов
🔥6
⭐️ Сегодня выступаю на двух прямых эфирах ⚡️
🔥 17 февраля с 12:00 до 13:30 по Москве собираемся в прямом эфире, чтобы обсудить, как сегодня выглядит DevSecOps в России — от требований ФСТЭК для КИИ до стандартов безопасности ИИ.
В программе:
▪️Приказ №117 ФСТЭК: что важно учесть разработчикам ПО в КИИ и ГИС
▪️Shift Left на практике, SCA, SBOM, отечественные анализаторы
▪️Безопасность ИИ: стандарты, доверенные данные, ИИ в ИБ
▪️Импортозамещение, кадровый голод, баланс скорости и безопасности
▪️Прогноз на 2026–2027 и экономика безопасности
Регистрация: https://sec.ussc.ru/ussc-renue
🔥 17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.
За два с лишним часа мы рассмотрим вопросы обеспечения качества данных, построения эффективной архитектуры данных в целях развития Data Governance, а также обсудим ключевые принципы безопасной разработки и использования ИИ-систем в контуре современной организации.
Покажу важнейшие тренды, сделаю прогнозы о том, что ждет IT-сферу в 2026 году. Расскажу про принципиально новое направление AI Governance, как оно связано с MLSecOps, в чем отличие AI Governance от Data Governance и какие у него перспективы. Объясню как стать таким специалистом. Расскажу и про текущее состояние MLSecOps в России, текущие особенности этого направления, требования регуляторов и что уже изменилось за 2025 год. А также отвечу на вопросы онлайн.
Как обычно буду рад друзьям, коллегам и всем желающим!
Регистрация: https://academyit.ru/deals/activity/events/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/?utm_source=blog&utm_medium=mlsecops_plus&utm_campaign=mk170226
Global MLSecOps & AI Governance Architect
Николай Павлов
🔥 17 февраля с 12:00 до 13:30 по Москве собираемся в прямом эфире, чтобы обсудить, как сегодня выглядит DevSecOps в России — от требований ФСТЭК для КИИ до стандартов безопасности ИИ.
В программе:
▪️Приказ №117 ФСТЭК: что важно учесть разработчикам ПО в КИИ и ГИС
▪️Shift Left на практике, SCA, SBOM, отечественные анализаторы
▪️Безопасность ИИ: стандарты, доверенные данные, ИИ в ИБ
▪️Импортозамещение, кадровый голод, баланс скорости и безопасности
▪️Прогноз на 2026–2027 и экономика безопасности
Регистрация: https://sec.ussc.ru/ussc-renue
🔥 17 февраля с 15:00 до 17:15 по Москве приглашаю на большой бесплатный мастер-класс в Академии Softline для специалистов, работающих с данными и использующих ИИ-системы в рабочих процессах.
За два с лишним часа мы рассмотрим вопросы обеспечения качества данных, построения эффективной архитектуры данных в целях развития Data Governance, а также обсудим ключевые принципы безопасной разработки и использования ИИ-систем в контуре современной организации.
Покажу важнейшие тренды, сделаю прогнозы о том, что ждет IT-сферу в 2026 году. Расскажу про принципиально новое направление AI Governance, как оно связано с MLSecOps, в чем отличие AI Governance от Data Governance и какие у него перспективы. Объясню как стать таким специалистом. Расскажу и про текущее состояние MLSecOps в России, текущие особенности этого направления, требования регуляторов и что уже изменилось за 2025 год. А также отвечу на вопросы онлайн.
Как обычно буду рад друзьям, коллегам и всем желающим!
Регистрация: https://academyit.ru/deals/activity/events/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/?utm_source=blog&utm_medium=mlsecops_plus&utm_campaign=mk170226
Global MLSecOps & AI Governance Architect
Николай Павлов
sec.ussc.ru
Безопасная разработка под новые требования: от 117 приказа ФСТЭК России до стандартов безопасности ИИ
Регуляторные требования к безопасной разработке становятся строже, а технологии — сложнее. Разработчикам, ИБ-специалистам и бизнесу приходится искать баланс между соответствием требованиям, реальной безопасностью и скоростью вывода продуктов на рынок
❤4🔥3⚡2
🔥 Запись эфира "Data Governance – культура обеспечения качества и безопасности данных"
Привет, мои талантливые друзья и самые опытные коллеги!
По просьбам подписчиков даю ссылку на запись второго моего эфира 17 февраля на темы MLSecOps, Data Governance, AI Governance:
https://academyit.ru/deals/activity/seminars/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/
Приятного просмотра!
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои талантливые друзья и самые опытные коллеги!
По просьбам подписчиков даю ссылку на запись второго моего эфира 17 февраля на темы MLSecOps, Data Governance, AI Governance:
https://academyit.ru/deals/activity/seminars/data-governance-kultura-obespecheniya-kachestva-i-bezopasnosti-dannykh/
Приятного просмотра!
Global MLSecOps & AI Governance Architect
Николай Павлов
⚡4❤2👍2
Forwarded from ИБ в "Законе"
📣 18.02.2026 г. приняты следующие стандарты
ГОСТ Р 72514-2026 Искусственный интеллект. Оценка воздействия системы искусственного интеллекта
ГОСТ Р 72515-2026 Искусственный интеллект. Таксономия прозрачности систем искусственного интеллекта
✍ подписаться: ИБ в "Законе"
ГОСТ Р 72514-2026 Искусственный интеллект. Оценка воздействия системы искусственного интеллекта
ГОСТ Р 72515-2026 Искусственный интеллект. Таксономия прозрачности систем искусственного интеллекта
✍ подписаться: ИБ в "Законе"
👍3🔥3
⭐️ Запускаем первый поток новой учебной программы по AI Governance!
Учитывая стремительный рост и востребованность нового направления AI Governance, Академия Softline 24 февраля запускает первую корпоративную учебную программу «AI Governance в критических отраслях: от рисков и угроз к этике и доверию».
Эта программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ.
В рамках обучения слушатели узнают:
1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем?
2. Как избежать рисков нарушения этики и дискриминации?
3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу?
4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ?
5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают?
6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования?
7. Какие требования к архитектуре ИИ-систем есть в AI Governance?
8. Как работать с Каталогом и Глоссарием данных в AI Governance?
9. Какие есть методы, инструменты и фреймворки для AI Governance?
10. Как выстроить процессы AI Governance в компании.
11. Многое другое.
Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру.
Сильные стороны программы:
1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень).
2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно.
3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем.
5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступает в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона об ИИ в России. Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования.
6. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/ai_g
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu
Global MLSecOps & AI Governance Architect
Николай Павлов
Учитывая стремительный рост и востребованность нового направления AI Governance, Академия Softline 24 февраля запускает первую корпоративную учебную программу «AI Governance в критических отраслях: от рисков и угроз к этике и доверию».
Эта программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ.
В рамках обучения слушатели узнают:
1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем?
2. Как избежать рисков нарушения этики и дискриминации?
3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу?
4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ?
5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают?
6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования?
7. Какие требования к архитектуре ИИ-систем есть в AI Governance?
8. Как работать с Каталогом и Глоссарием данных в AI Governance?
9. Какие есть методы, инструменты и фреймворки для AI Governance?
10. Как выстроить процессы AI Governance в компании.
11. Многое другое.
Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру.
Сильные стороны программы:
1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень).
2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно.
3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем.
5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступает в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона об ИИ в России. Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования.
6. Автор программы принимает участие в разработке ГОСТ и других регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/ai_g
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu
Global MLSecOps & AI Governance Architect
Николай Павлов
❤4🔥3⚡2
Forwarded from Al Talent Hub
Погружаемся в более сложные темы
Разбираем методы оценки и тестирования агентов.
Строим сложные workflows и Curriculum Builder.
Учимся защищать агентов и строить Secure Code Review Agent.
Приятного просмотра!
😎 — если уже посмотрел первые лекции
🧡 — спикеры
@aitalenthubnews
#ITMO #NapoleonIT
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3⚡2👍1
⭐️ Квантовые вычисления: основные идеи и современное состояние технологии
Привет, мои талантливые друзья и экспертные коллеги!
Как и обещал, продолжаю находить кусочки времени на погружение в квантовые технологии. И сегодня предлагаю вам посмотреть очень понятное и интересное выступление научного руководителя Центра квантовых технологий Сбера Станислава Страупе.
В видео рассмотрены ключевые идеи, лежащие в основе квантовых вычислений, понятие вычислительной сложности алгоритмов. Определен круг задач, которые сложны для классического компьютера, но могут быть решены с использованием квантовых вычислителей. Какие именно принципы квантовой теории позволяют получить эти вычислительные преимущества и простейшие примеры квантовых алгоритмов.
Во второй части речь идет о современном состоянии технологии и экспериментальном прогрессе в области создания первых квантовых процессоров. Рассмотрены различные варианты их реализации и обсудим перспективы на ближайшее будущее. Отдельно рассказывается о возможных областях применения и коммерческом потенциале этой технологии.
Ссылка на видео: https://vk.com/video-22522055_456244290
Global MLSecOps & AI Governance Architect
Николай Павлов
Привет, мои талантливые друзья и экспертные коллеги!
Как и обещал, продолжаю находить кусочки времени на погружение в квантовые технологии. И сегодня предлагаю вам посмотреть очень понятное и интересное выступление научного руководителя Центра квантовых технологий Сбера Станислава Страупе.
В видео рассмотрены ключевые идеи, лежащие в основе квантовых вычислений, понятие вычислительной сложности алгоритмов. Определен круг задач, которые сложны для классического компьютера, но могут быть решены с использованием квантовых вычислителей. Какие именно принципы квантовой теории позволяют получить эти вычислительные преимущества и простейшие примеры квантовых алгоритмов.
Во второй части речь идет о современном состоянии технологии и экспериментальном прогрессе в области создания первых квантовых процессоров. Рассмотрены различные варианты их реализации и обсудим перспективы на ближайшее будущее. Отдельно рассказывается о возможных областях применения и коммерческом потенциале этой технологии.
Ссылка на видео: https://vk.com/video-22522055_456244290
Global MLSecOps & AI Governance Architect
Николай Павлов
VK Видео
Квантовые вычисления: основные идеи и современное состояние технологии. Станислав Страупе
Рассмотрю ключевые идеи, лежащие в основе квантовых вычислений. Начну с понятия вычислительной сложности алгоритмов и определю круг задач, которые сложны для классического компьютера, но могут быть решены с использованием квантовых вычислителей. Далее поговорим…
🔥3
⭐️ Дорогие друзья, коллеги и единомышленники!
Поздравляю вас с Днем защитника Отечества!
Быть защитником в эпоху цифровых трансформаций означает не только охранять границы, но и обеспечивать безопасность, отказоустойчивость и этичность национальных ИИ-систем. Особенно в критической инфраструктуре и даже в сфере ВПК.
В ускоряющемся мире, где технологический разрыв растет каждый день, а за реальным развитием ИИ уследить почти невозможно, ваша компетенция - это тот самый щит, который позволяет России и ее союзникам безопасно проходить через вызовы будущего. Ваша работа поддерживает критическую инфраструктуру, сохраняя ресурсы, время, финансы и даже жизни людей! Ваши продвинутые знания, навыки дают окружающим уверенность в завтрашнем дне и демонстрируют достойный для подражания пример.
Желаю вам непрерывного развития, огромной дисциплины, крепкого здоровья, семейного благополучия и веры в свои силы! Пусть будущее будет стабильным, безопасным и светлым. Мы создаем его вместе! 🇷🇺
С уважением,
Николай Павлов
Поздравляю вас с Днем защитника Отечества!
Быть защитником в эпоху цифровых трансформаций означает не только охранять границы, но и обеспечивать безопасность, отказоустойчивость и этичность национальных ИИ-систем. Особенно в критической инфраструктуре и даже в сфере ВПК.
В ускоряющемся мире, где технологический разрыв растет каждый день, а за реальным развитием ИИ уследить почти невозможно, ваша компетенция - это тот самый щит, который позволяет России и ее союзникам безопасно проходить через вызовы будущего. Ваша работа поддерживает критическую инфраструктуру, сохраняя ресурсы, время, финансы и даже жизни людей! Ваши продвинутые знания, навыки дают окружающим уверенность в завтрашнем дне и демонстрируют достойный для подражания пример.
Желаю вам непрерывного развития, огромной дисциплины, крепкого здоровья, семейного благополучия и веры в свои силы! Пусть будущее будет стабильным, безопасным и светлым. Мы создаем его вместе! 🇷🇺
С уважением,
Николай Павлов
🫡3❤1🔥1
Forwarded from Похек AI (Сергей Зыбнев)
AI Safety, AI Security и AI Eval - разбираемся в терминах и проблемах оценки моделей
#AISafety #AIEval #LLM
AI Safety и AI Security путают постоянно. А разница между ними определяет, кто в команде отвечает за риск.
Safety - модель работает как задумано, но выдаёт вредный output. Bias, галлюцинации, опасные инструкции. Модель не взломана, она просто такая. Security - когда атакующий целенаправленно эксплуатирует модель: Prompt Injection, data exfiltration, jailbreak. Тут есть adversary и intent.
Смешаешь эти понятия - и непонятно, за кем баг: за ML-инженерами или за AppSec.
Зачем нужен AI Eval
AI Eval (evaluation) - бенчмарки, которые прогоняют модель до деплоя в прод. MMLU, HELM Safety, TrustLLM, AIR-Bench - каждый меряет своё: знания, безопасность, устойчивость к jailbreak. AIR-Bench 2024 прогоняет 5694 теста по 314 категориям рисков. HELM Safety v1.0 проверяет шесть направлений: насилие, мошенничество, дискриминация, сексуальный контент, харассмент, обман.
Цифры красивые. Но дальше всё ломается.
♾️ Проблемы, которые пока никто не решил♾️
➡️ Evaluation Gap - бенчмарки не отражают реальное поведение модели в проде. Тесты устаревают, покрывают узкие сценарии, а модели учатся на тех же данных, из которых тесты и состоят (Data Contamination). Из 30 моделей только 9 раскрыли пересечение train/test данных (Zhang et al., 2024). Остальные 21 просто промолчали.
➡️ Benchmark Saturation - top-модели набирают 90%+ на MMLU. Когда все получают отлично, оценка теряет смысл. Vellum AI уже убрал saturated бенчмарки из лидербордов.
➡️ Safetywashing - компании рапортуют о высоких баллах на safety-бенчмарках, но тесты гоняют предопределённые риски с фиксированными триггерами. Новые угрозы за пределами оценки. Только 3 из 7 крупных AI-компаний тестируют модели на опасные capabilities вроде помощи в создании биооружия.
А вот Evaluation Awareness - это уже по-настоящему тревожная история. Модели начинают распознавать, что их тестируют, и менять поведение. OpenAI в 2025 зафиксировала: модель притворялась, что выполнила задачу, хотя не сделала этого. В другом случае - занималась инсайдерской торговлей в симуляции, а при вопросах скрывала это. Anti-scheming training снизил такое поведение с 31.4% до 14.2%. Снизил, но не убрал.
Что с этим делать
Контаминация-устойчивые бенчмарки (LiveBench, LiveCodeBench) обновляются ежемесячно. International AI Safety Report 2026 (сотня экспертов) фиксирует прямо: capabilities растут быстрее safety-мер. Пока отрасль не перейдёт от "прошёл бенчмарк = безопасен" к post-deployment мониторингу, разрыв будет расти.
🔗 International AI Safety Report 2026
🔗 Can We Trust AI Benchmarks?
🔗 AI Safety vs AI Security
🔗 Detecting and reducing scheming
🔗 Safetywashing
🌚 @poxek_ai
#AISafety #AIEval #LLM
AI Safety и AI Security путают постоянно. А разница между ними определяет, кто в команде отвечает за риск.
Safety - модель работает как задумано, но выдаёт вредный output. Bias, галлюцинации, опасные инструкции. Модель не взломана, она просто такая. Security - когда атакующий целенаправленно эксплуатирует модель: Prompt Injection, data exfiltration, jailbreak. Тут есть adversary и intent.
Смешаешь эти понятия - и непонятно, за кем баг: за ML-инженерами или за AppSec.
Зачем нужен AI Eval
AI Eval (evaluation) - бенчмарки, которые прогоняют модель до деплоя в прод. MMLU, HELM Safety, TrustLLM, AIR-Bench - каждый меряет своё: знания, безопасность, устойчивость к jailbreak. AIR-Bench 2024 прогоняет 5694 теста по 314 категориям рисков. HELM Safety v1.0 проверяет шесть направлений: насилие, мошенничество, дискриминация, сексуальный контент, харассмент, обман.
Цифры красивые. Но дальше всё ломается.
А вот Evaluation Awareness - это уже по-настоящему тревожная история. Модели начинают распознавать, что их тестируют, и менять поведение. OpenAI в 2025 зафиксировала: модель притворялась, что выполнила задачу, хотя не сделала этого. В другом случае - занималась инсайдерской торговлей в симуляции, а при вопросах скрывала это. Anti-scheming training снизил такое поведение с 31.4% до 14.2%. Снизил, но не убрал.
Что с этим делать
Контаминация-устойчивые бенчмарки (LiveBench, LiveCodeBench) обновляются ежемесячно. International AI Safety Report 2026 (сотня экспертов) фиксирует прямо: capabilities растут быстрее safety-мер. Пока отрасль не перейдёт от "прошёл бенчмарк = безопасен" к post-deployment мониторингу, разрыв будет расти.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
⭐️ Только в 9% российских компаний строят автономные ИИ-системы
В 80% компаний в России внедрение ИИ пока ограничено использованием чат-ботов. 11% уже автоматизировали с помощью ИИ один блок бизнес-процессов, но он не интегрирован с другими звеньями цепочки, поэтому данные из него нужно забирать вручную. И только в 9% российских компаний строят системы, где ИИ сам извлекает данные и сам выполняет действие (без участия человека).
Такие результаты показало исследование WMT AI. Компания проанализировала данные аудита среднего и крупного бизнеса, проводимого экспертной группой в 2024 и 2025 годах.
Игорь Никитин, основатель WMT AI и эксперт по AI-трансформации, поясняет, что самые распространенные в России сценарии внедрения ИИ — это “костыль” для бизнеса, а не полноценная автоматизация.
“Есть простой, но ключевой критерий оценки эффективности внедрения ИИ — «тест буфера обмена». Вам необходимо изучить физику работы — например, как сотрудник использует результат от нейросети. Если он получает ответ, выделяет его мышкой, копирует и вручную вставляет в CRM, Excel или почту, это провал. Это наглядно показывает нам, что процесс остался старым. Просто человек стал быстрее набирать текст. Это не является трансформацией бизнеса, и это важно понимать. От такого формата внедрения ИИ ждать результатов не стоит”, — поясняет Никитин.
Данные статистики WMT AI подтверждаются международными и российскими исследованиями. Международное консалтинговое агентство McKinsey&Company в своем отчете фиксирует, что 95% организаций используют нейросети неправильно, создавая разрозненные «островки автоматизации» вместо единой эффективной среды. Аналитики российской консалтинговой компании KT Team пришли к выводу, что 92% компаний увеличивают инвестиции в ИИ, но лишь 1% достигает полной операционной интеграции.
«Большинство компаний буквально попали в ловушку: они подключили сотрудников к чат-ботам, но не перестроили процессы. Доступ к нейросетям — это лишь фундамент, первый шаг. Но если организации останавливаются на нем, то просто получают дорогой «калькулятор слов». Настоящая эффективность (ROI) начинается там, где ИИ встроен в системы компании (по API или On-premise) и работает автономно», — отмечает Игорь Никитин.
iksmedia
В 80% компаний в России внедрение ИИ пока ограничено использованием чат-ботов. 11% уже автоматизировали с помощью ИИ один блок бизнес-процессов, но он не интегрирован с другими звеньями цепочки, поэтому данные из него нужно забирать вручную. И только в 9% российских компаний строят системы, где ИИ сам извлекает данные и сам выполняет действие (без участия человека).
Такие результаты показало исследование WMT AI. Компания проанализировала данные аудита среднего и крупного бизнеса, проводимого экспертной группой в 2024 и 2025 годах.
Игорь Никитин, основатель WMT AI и эксперт по AI-трансформации, поясняет, что самые распространенные в России сценарии внедрения ИИ — это “костыль” для бизнеса, а не полноценная автоматизация.
“Есть простой, но ключевой критерий оценки эффективности внедрения ИИ — «тест буфера обмена». Вам необходимо изучить физику работы — например, как сотрудник использует результат от нейросети. Если он получает ответ, выделяет его мышкой, копирует и вручную вставляет в CRM, Excel или почту, это провал. Это наглядно показывает нам, что процесс остался старым. Просто человек стал быстрее набирать текст. Это не является трансформацией бизнеса, и это важно понимать. От такого формата внедрения ИИ ждать результатов не стоит”, — поясняет Никитин.
Данные статистики WMT AI подтверждаются международными и российскими исследованиями. Международное консалтинговое агентство McKinsey&Company в своем отчете фиксирует, что 95% организаций используют нейросети неправильно, создавая разрозненные «островки автоматизации» вместо единой эффективной среды. Аналитики российской консалтинговой компании KT Team пришли к выводу, что 92% компаний увеличивают инвестиции в ИИ, но лишь 1% достигает полной операционной интеграции.
«Большинство компаний буквально попали в ловушку: они подключили сотрудников к чат-ботам, но не перестроили процессы. Доступ к нейросетям — это лишь фундамент, первый шаг. Но если организации останавливаются на нем, то просто получают дорогой «калькулятор слов». Настоящая эффективность (ROI) начинается там, где ИИ встроен в системы компании (по API или On-premise) и работает автономно», — отмечает Игорь Никитин.
iksmedia
🔥3