⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance
ВОПРОС:
Николай, какой должна быть структура документа стратегии по развитии искусственного интеллекта в компании (по направлению MLSecOps), какие эффекты для бизнеса она должна учитывать (возврат инвестиций, увеличение выручки)?
ОТВЕТ:
Добрый день и благодарю за Ваш вопрос!
Важно подчеркнуть сразу, что я опишу Вам примерный типовой обезличенный шаблон. А Вы уже можете адаптировать его под свою компанию. Данный шаблон не является однозначной рекомендацией, Вам обязательно нужно внести в него корректировки и доработки с учетом специфики Вашей компании и её ИИ-систем.
1. ТИТУЛЬНЫЙ ЛИСТ.
Оформляется стандартно, в соответствии с внутренними методическими требованиями Вашей компании. В шапке название компании, ниже справа - "Утверждаю", фамилия, инициалы, должность утверждающего лица, место для подписи.
Далее ниже по центру название документа, например, "Стратегия по развитию ИИ в компании (направление MLSecOps). Версия 1.0". Обязательно указываем, что версия первая, так как этот документ (стратегия) будет изменяться и дорабатываться со временем.
В нижней части титульной страницы указываем город и год.
2. РЕЗЮМЕ.
Как правило, занимает одну, максимум две страницы. Здесь можно написать определение стратегии по развитию ИИ компании в направлении именно MLSecOps (или даже просто можно называть "Стратегия MLSecOps", или "Политика по безопасности и отказоустойчивости ИИ-систем" компании).
Далее пишем цель этой стратегии, можно добавить задачи ("для достижения указанной цели поставлены следующие задачи..."). Задачи пишем в неопределенной форме ("разработать...", "установить..." и т.п.).
Далее либо в этом пункте, либо в отдельном, следующем, мы указываем ключевые инвестиции, потребности и ожидаемый ROI (то есть отдачу от возврата инвестиций).
Желательно указать также 3 наиболее ярких и очевидных бизнес-эффекта, может быть и не переводить их в деньги, но так, чтобы было ясно, что это точно нужно, нужно защищать ИИ-системы и обеспечивать их отказоустойчивость.
То есть в кратком Резюме мы цепляем бизнес, погружаем в тему и тут же говорим на языке денег почему нужно изучать документ дальше, в чем его конкретная выгода.
Продолжение: https://vk.com/wall-210601538_2045
ВОПРОС:
Николай, какой должна быть структура документа стратегии по развитии искусственного интеллекта в компании (по направлению MLSecOps), какие эффекты для бизнеса она должна учитывать (возврат инвестиций, увеличение выручки)?
ОТВЕТ:
Добрый день и благодарю за Ваш вопрос!
Важно подчеркнуть сразу, что я опишу Вам примерный типовой обезличенный шаблон. А Вы уже можете адаптировать его под свою компанию. Данный шаблон не является однозначной рекомендацией, Вам обязательно нужно внести в него корректировки и доработки с учетом специфики Вашей компании и её ИИ-систем.
1. ТИТУЛЬНЫЙ ЛИСТ.
Оформляется стандартно, в соответствии с внутренними методическими требованиями Вашей компании. В шапке название компании, ниже справа - "Утверждаю", фамилия, инициалы, должность утверждающего лица, место для подписи.
Далее ниже по центру название документа, например, "Стратегия по развитию ИИ в компании (направление MLSecOps). Версия 1.0". Обязательно указываем, что версия первая, так как этот документ (стратегия) будет изменяться и дорабатываться со временем.
В нижней части титульной страницы указываем город и год.
2. РЕЗЮМЕ.
Как правило, занимает одну, максимум две страницы. Здесь можно написать определение стратегии по развитию ИИ компании в направлении именно MLSecOps (или даже просто можно называть "Стратегия MLSecOps", или "Политика по безопасности и отказоустойчивости ИИ-систем" компании).
Далее пишем цель этой стратегии, можно добавить задачи ("для достижения указанной цели поставлены следующие задачи..."). Задачи пишем в неопределенной форме ("разработать...", "установить..." и т.п.).
Далее либо в этом пункте, либо в отдельном, следующем, мы указываем ключевые инвестиции, потребности и ожидаемый ROI (то есть отдачу от возврата инвестиций).
Желательно указать также 3 наиболее ярких и очевидных бизнес-эффекта, может быть и не переводить их в деньги, но так, чтобы было ясно, что это точно нужно, нужно защищать ИИ-системы и обеспечивать их отказоустойчивость.
То есть в кратком Резюме мы цепляем бизнес, погружаем в тему и тут же говорим на языке денег почему нужно изучать документ дальше, в чем его конкретная выгода.
Продолжение: https://vk.com/wall-210601538_2045
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance
ВОП... Смотрите полностью ВКонтакте.
ВОП... Смотрите полностью ВКонтакте.
⚡2🔥1
⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance
ВОПРОС:
Как связать ущерб от ИИ-инцидентов с бизнес-стратегией бизнеса (стратегические цели/проекты) и возвратом инвестиций (ROSI или ROI)?
ОТВЕТ:
Чтобы связать ущерб от ИИ-инцидентов с бизнес-стратегией компании и рассчитать возврат инвестиций (так называемый ROSI), нужно уметь говорить с руководством в первую очередь на языке денег и целей, а не только в части технических уязвимостей. И нужно оценивать это с позиции уже работающей ИИ-системы, исходить из того, что будет если она остановится, сколько денег мы тут потеряем, а не только анализировать последствия инцидента.
Здесь можно выделить такие шаги:
Шаг 1. Берем стратегическую ИИ-систему. Например: «Запустить ИИ-помощника для клиентов и увеличить продажи на 10%».
Шаг 2. Оцениваем, что будет, если такая ИИ-система сломается. Не «хакеры атакуют модель», а вообще, что будет если «помощник начнет выдавать ошибки»? Сколько мы потратим на восстановление, на ликвидацию угрозы. Сколько потеряем потом денег в результате последствий – какой будет мультипликативный ущерб? Например, клиенты уйдут, значит, мы потеряем около 5% выручки (50 млн.) + заплатим штрафы + рухнет цена акций на бирже, значит, придется повысить дивиденды.
Шаг 3. Считаем риск. Умножаем вероятность этого сбоя (например, 20% в год) на сумму всех потерь (50 млн.). Получаем «ожидаемый ущерб» или «потенциальный ущерб» - 10 млн. в год.
Шаг 4. Оцениваем защиту. Если решение за 4 млн. в год предотвращает 80% таких инцидентов, мы этим «спасаем» 8 млн. тыс. (80% от $10 млн.). И экономим этим условно тоже 4 млн.
Шаг 5. Считаем ROSI. Формула простая: (Спасенные деньги − Стоимость защиты) / Стоимость защиты. В нашем примере: (8 млн. – 4 млн.) / 4 млн. = 100%. То есть защитная мера очень эффективна и окупится в течение полугода.
Архитектор MLSecOps и AI Governance
Николай Павлов
ВОПРОС:
Как связать ущерб от ИИ-инцидентов с бизнес-стратегией бизнеса (стратегические цели/проекты) и возвратом инвестиций (ROSI или ROI)?
ОТВЕТ:
Чтобы связать ущерб от ИИ-инцидентов с бизнес-стратегией компании и рассчитать возврат инвестиций (так называемый ROSI), нужно уметь говорить с руководством в первую очередь на языке денег и целей, а не только в части технических уязвимостей. И нужно оценивать это с позиции уже работающей ИИ-системы, исходить из того, что будет если она остановится, сколько денег мы тут потеряем, а не только анализировать последствия инцидента.
Здесь можно выделить такие шаги:
Шаг 1. Берем стратегическую ИИ-систему. Например: «Запустить ИИ-помощника для клиентов и увеличить продажи на 10%».
Шаг 2. Оцениваем, что будет, если такая ИИ-система сломается. Не «хакеры атакуют модель», а вообще, что будет если «помощник начнет выдавать ошибки»? Сколько мы потратим на восстановление, на ликвидацию угрозы. Сколько потеряем потом денег в результате последствий – какой будет мультипликативный ущерб? Например, клиенты уйдут, значит, мы потеряем около 5% выручки (50 млн.) + заплатим штрафы + рухнет цена акций на бирже, значит, придется повысить дивиденды.
Шаг 3. Считаем риск. Умножаем вероятность этого сбоя (например, 20% в год) на сумму всех потерь (50 млн.). Получаем «ожидаемый ущерб» или «потенциальный ущерб» - 10 млн. в год.
Шаг 4. Оцениваем защиту. Если решение за 4 млн. в год предотвращает 80% таких инцидентов, мы этим «спасаем» 8 млн. тыс. (80% от $10 млн.). И экономим этим условно тоже 4 млн.
Шаг 5. Считаем ROSI. Формула простая: (Спасенные деньги − Стоимость защиты) / Стоимость защиты. В нашем примере: (8 млн. – 4 млн.) / 4 млн. = 100%. То есть защитная мера очень эффективна и окупится в течение полугода.
Архитектор MLSecOps и AI Governance
Николай Павлов
🔥3
⭐️ Управление ИИ-системами (AI Governance) в критических отраслях: как управлять рисками, соответствовать требованиям регуляторов и эффективно внедрять ИИ
Искусственный интеллект уже давно перестал быть экспериментом и стал обязательной инфраструктурой критических отраслей. Но вместе с возможностями растут и риски: от отравления данных и утечек информации до несоответствия новым требованиям регуляторов.
Ошибки ИИ-системы в финансовом секторе, медицине или промышленности стоят слишком дорого. Хаотичное внедрение ИИ без стратегического управления (AI Governance) — это путь к репутационным потерям и штрафам.
Приглашаем на вебинар, на котором рассмотрим, как эффективно управлять рисками и соответствовать требованиям регуляторов при внедрении искусственного интеллекта в критических отраслях.
Дата: 23 апреля 2026
Время: 11:00 - 12:30 мск
Участие бесплатное
Спикер: Николай Павлов, архитектор MLSecOps и AI Governance, Академия АйТИ (ГК Softline).
Николай регулярно вносит предложения и дополнения в нормативно-правовые акты, регулирующие ИИ в России (ГОСТ, ПНСТ, ФЗ).
На вебинаре разберём:
1. Архитектура AI Governance и управление рисками
+ В чем отличие AI Governance от направлений Data Governance и MLSecOps?
+ Классификация ИИ-систем по уровням риска: от «минимального» до «неприемлемого» - что ожидает российские ИИ-системы?
+ Примеры инцидентов AI Governance, методы оценки ущерба и построение риск-матриц (включая оценку мультипликативного эффекта).
2. Регуляторный ландшафт и вызовы времени
+ Обзор ключевых требований: 117 Приказа ФСТЭК, национальных стандартов РФ, включая ПНСТ «ИИ в КИИ» и ожидаемый Федеральный закон «Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации»
+ Почему этика и ответственность становятся критическими факторами для бизнеса? Что нужно сделать уже сейчас?
3. Практическое внедрение и управление ИИ-системами
+ Пошаговый план внедрения: от оценки зрелости до дорожной карты.
+ Ролевая модель AI Governance: Data Steward, Data Owner в контексте ИИ.
+ Инцидент-менеджмент: роли, плэйбуки и постмортемы.
+ Как обосновать экономический эффект от защитных мер и рассчитать KPI системы AI Governance?
+ Как провести базовый аудит AIG в компании?
Регистрация по ссылке: https://academyit.ru/deals/activity/events/ai-governance-v-kriticheskikh-otraslyakh-kak-upravlyat-riskami-sootvetstvovat-regulyatoram-i-effekti/?bx_sender_conversion_id=19832312&utm_source=email&utm_medium=email&utm_campaign=w23042026_AIGovernance
Архитектор MLSecOps и AI Governance
Николай Павлов
Искусственный интеллект уже давно перестал быть экспериментом и стал обязательной инфраструктурой критических отраслей. Но вместе с возможностями растут и риски: от отравления данных и утечек информации до несоответствия новым требованиям регуляторов.
Ошибки ИИ-системы в финансовом секторе, медицине или промышленности стоят слишком дорого. Хаотичное внедрение ИИ без стратегического управления (AI Governance) — это путь к репутационным потерям и штрафам.
Приглашаем на вебинар, на котором рассмотрим, как эффективно управлять рисками и соответствовать требованиям регуляторов при внедрении искусственного интеллекта в критических отраслях.
Дата: 23 апреля 2026
Время: 11:00 - 12:30 мск
Участие бесплатное
Спикер: Николай Павлов, архитектор MLSecOps и AI Governance, Академия АйТИ (ГК Softline).
Николай регулярно вносит предложения и дополнения в нормативно-правовые акты, регулирующие ИИ в России (ГОСТ, ПНСТ, ФЗ).
На вебинаре разберём:
1. Архитектура AI Governance и управление рисками
+ В чем отличие AI Governance от направлений Data Governance и MLSecOps?
+ Классификация ИИ-систем по уровням риска: от «минимального» до «неприемлемого» - что ожидает российские ИИ-системы?
+ Примеры инцидентов AI Governance, методы оценки ущерба и построение риск-матриц (включая оценку мультипликативного эффекта).
2. Регуляторный ландшафт и вызовы времени
+ Обзор ключевых требований: 117 Приказа ФСТЭК, национальных стандартов РФ, включая ПНСТ «ИИ в КИИ» и ожидаемый Федеральный закон «Об основах государственного регулирования сфер применения технологий искусственного интеллекта в Российской Федерации»
+ Почему этика и ответственность становятся критическими факторами для бизнеса? Что нужно сделать уже сейчас?
3. Практическое внедрение и управление ИИ-системами
+ Пошаговый план внедрения: от оценки зрелости до дорожной карты.
+ Ролевая модель AI Governance: Data Steward, Data Owner в контексте ИИ.
+ Инцидент-менеджмент: роли, плэйбуки и постмортемы.
+ Как обосновать экономический эффект от защитных мер и рассчитать KPI системы AI Governance?
+ Как провести базовый аудит AIG в компании?
Регистрация по ссылке: https://academyit.ru/deals/activity/events/ai-governance-v-kriticheskikh-otraslyakh-kak-upravlyat-riskami-sootvetstvovat-regulyatoram-i-effekti/?bx_sender_conversion_id=19832312&utm_source=email&utm_medium=email&utm_campaign=w23042026_AIGovernance
Архитектор MLSecOps и AI Governance
Николай Павлов
⚡2🔥1
⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance
ВОПРОС:
Бизнес готов передавать критичные данные и процессы в ИИ, и мы планируем глубокую интеграцию ключевых бизнес-систем с облачными ИИ-моделями из-за отсутствия собственных мощностей. Вопрос в комплексной архитектуре доверия: как организовать пайплайн данных, чтобы соблюсти требования регуляторов и при этом исключить попадание конфиденциальных сведений в контур обучения внешней модели?
Существуют ли проверенные сценарии безопасного шаринга данных с облаком без потери контроля над ними?
ОТВЕТ:
Добрый день и благодарю за Ваш вопрос.
Да, это абсолютно решаемая задача, и многие российские компании уже её решают. Постараюсь ответить так, чтобы большинству участников вебинара это было доступно.
Главная идея тут проста - Ваши данные могут использоваться для получения ответа от ИИ-системы, но при этом они не должны становиться частью его памяти или использоваться для обучения (или дообучения).
Чтобы этого добиться, нужно выстроить многослойную защиту, начиная с юридической части. При заключении договора с провайдером облачных услуг необходимо прописать жесткие условия: запрет на использование Ваших данных для дообучения моделей и обязательство удалить их сразу же после обработки, сохранить об этой операции запись (логи), хранить их и быть готовыми в любое время дня и ночи предоставить эти логи по Вашему требованию.
Это база, на которую накладываются и технические меры. Сам пайплайн данных строится по принципу фильтра. То есть перед отправкой в облако Ваша информация должна проходить через специальный шлюз на вашей стороне, который автоматически находит и маскирует конфиденциальные сведения, например, заменяет фамилии, номера счетов, номера банковских карт или паспортные данные, СНИЛС и другие персональные, коммерческие данные на специальные коды.
В результате в облако уходит уже обезличенный запрос, безопасный. И модель выдает ответ, с этими же кодами обезличенными, а на вашей стороне эти коды снова заменяются на исходные данные. Для такой тактики можно использовать шаблоны промптом, протестированные заранее, чтобы точно знать, что мы отправляем допустим паспортные данные, серия, номер (обезличенные конечно) и модель точно их вернет при определенной структуре шаблона, не изменит, не потеряет цифры на конце и т.п. Таким образом, в этом сценарии провайдер технически уже не увидит критичной, конфиденциальной информации.
При этом чтобы соблюсти требования регуляторов, важно вести полный журнал событий, хранить и проверять логи. Нужно фиксировать, какие данные, в каком виде и когда передавались, и гарантировать, что серверы физически находятся в российской юрисдикции.
В итоге базовая формула здесь юридический запрет на обучение + техническая изоляция данных через шлюзы и шифрование + постоянный аудит, фиксация действий в логах. Это все позволяет пользоваться облачным ИИ, не передавая ему контроль над вашей информацией.
Подчеркну здесь, что это лишь общая картина при ответе на Ваш вопрос. Он не является однозначной рекомендацией к действию. Зная специфику Ваших систем, можно предложить более прицельные и эффективные меры.
Отвечаю на вторую часть вопроса – проверенные сценарии безопасного шаринга.
На практике для безопасного шаринга часто используется сценарий, когда конфиденциальные данные вообще никогда не покидают локальный контур. И в облачную модель передаются только или обезличенные эмбеддинги, или же текстовые запросы без чувствительного контекста.
Продолжение: https://vk.com/wall-210601538_2048
ВОПРОС:
Бизнес готов передавать критичные данные и процессы в ИИ, и мы планируем глубокую интеграцию ключевых бизнес-систем с облачными ИИ-моделями из-за отсутствия собственных мощностей. Вопрос в комплексной архитектуре доверия: как организовать пайплайн данных, чтобы соблюсти требования регуляторов и при этом исключить попадание конфиденциальных сведений в контур обучения внешней модели?
Существуют ли проверенные сценарии безопасного шаринга данных с облаком без потери контроля над ними?
ОТВЕТ:
Добрый день и благодарю за Ваш вопрос.
Да, это абсолютно решаемая задача, и многие российские компании уже её решают. Постараюсь ответить так, чтобы большинству участников вебинара это было доступно.
Главная идея тут проста - Ваши данные могут использоваться для получения ответа от ИИ-системы, но при этом они не должны становиться частью его памяти или использоваться для обучения (или дообучения).
Чтобы этого добиться, нужно выстроить многослойную защиту, начиная с юридической части. При заключении договора с провайдером облачных услуг необходимо прописать жесткие условия: запрет на использование Ваших данных для дообучения моделей и обязательство удалить их сразу же после обработки, сохранить об этой операции запись (логи), хранить их и быть готовыми в любое время дня и ночи предоставить эти логи по Вашему требованию.
Это база, на которую накладываются и технические меры. Сам пайплайн данных строится по принципу фильтра. То есть перед отправкой в облако Ваша информация должна проходить через специальный шлюз на вашей стороне, который автоматически находит и маскирует конфиденциальные сведения, например, заменяет фамилии, номера счетов, номера банковских карт или паспортные данные, СНИЛС и другие персональные, коммерческие данные на специальные коды.
В результате в облако уходит уже обезличенный запрос, безопасный. И модель выдает ответ, с этими же кодами обезличенными, а на вашей стороне эти коды снова заменяются на исходные данные. Для такой тактики можно использовать шаблоны промптом, протестированные заранее, чтобы точно знать, что мы отправляем допустим паспортные данные, серия, номер (обезличенные конечно) и модель точно их вернет при определенной структуре шаблона, не изменит, не потеряет цифры на конце и т.п. Таким образом, в этом сценарии провайдер технически уже не увидит критичной, конфиденциальной информации.
При этом чтобы соблюсти требования регуляторов, важно вести полный журнал событий, хранить и проверять логи. Нужно фиксировать, какие данные, в каком виде и когда передавались, и гарантировать, что серверы физически находятся в российской юрисдикции.
В итоге базовая формула здесь юридический запрет на обучение + техническая изоляция данных через шлюзы и шифрование + постоянный аудит, фиксация действий в логах. Это все позволяет пользоваться облачным ИИ, не передавая ему контроль над вашей информацией.
Подчеркну здесь, что это лишь общая картина при ответе на Ваш вопрос. Он не является однозначной рекомендацией к действию. Зная специфику Ваших систем, можно предложить более прицельные и эффективные меры.
Отвечаю на вторую часть вопроса – проверенные сценарии безопасного шаринга.
На практике для безопасного шаринга часто используется сценарий, когда конфиденциальные данные вообще никогда не покидают локальный контур. И в облачную модель передаются только или обезличенные эмбеддинги, или же текстовые запросы без чувствительного контекста.
Продолжение: https://vk.com/wall-210601538_2048
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance
ВО... Смотрите полностью ВКонтакте.
ВО... Смотрите полностью ВКонтакте.
🔥4
⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance
ВОПРОС:
В чем заключается обучение обычных пользователей при работе с ИИ в AI Governance. Чему их учить?
ОТВЕТ:
Добрый день и спасибо за Ваш вопрос! Он актуален и компании всё активнее обращают внимание именно на обучение пользователей при работе с ИИ-системами.
И это не просто очередной курс по промпт-инжинирингу или базовый ML, а целенаправленное формирование культуры ответственного и безопасного использования искусственного интеллекта. В таком обучении нужно заложить и этику, и выгоды компании, и немного подсветить тренды, и описать инциденты, и реагирование на них, и дать сотрудникам чек-листы, инструкции на закрепление, и многое другое.
Вам нужно добиться, сделать так, чтобы каждый сотрудник, работающий с Вашими ИИ-системами, понимал не только как работать, но и какие риски это несет, какой будет ущерб и как действовать корректно, правильно, чтобы не навредить с одной стороны, а с другой – чтобы выполнить работу.
У программы обучения могут быть такие разделы:
1. Базовая грамотность.
Расскажите про то, что такое ИИ и как он работает. Пользователи должны понимать фундаментальные ограничения технологии, особенно на реальных примерах Вашей компании. Очень важно учить людей не просто слепо доверять результату, а критически оценивать его, сформировать понимание, что у ИИ есть галлюцинации, что важно все же проверять ключевые выводы, относиться критически. Нужно помнить, что ответственность за принятое решение всегда остаётся на сотруднике, а не на модели.
2. Безопасность данных.
Это самый важный, на мой взгляд, блок. Ваши сотрудники должны чётко знать, какую информацию можно, а какую категорически нельзя вводить в публичные или внешние ИИ-инструменты и даже во внутренние ИИ. Нужно учить распознавать типы конфиденциальных данных (персональные данные – их все возможные виды и типы, коммерческая тайна, куда могут относиться и технологические решения, врачебная тайна и другие). Надо понимать принципы классификации таких данных и сформировать понимание, куда обращаться, если случайно отправил чувствительные данные. Здесь же можно объяснить, как правильно маскировать информацию перед запросом, если уж нужно что-то отправить критичное в модель, какую-то чувствительную информацию, чтобы при этом и данные отправить и ответ получить эффективный. Сотрудникам нужно также рассказать, как работать с внутренними ИИ-системами, если есть какие-то специфичные моменты по безопасности.
3. Этика и предвзятость.
Также пользователей нужно обучить замечать признаки предвзятости в результатах, например, при подборе кандидатов, оценке кредитоспособности и генерации контента. Ваши сотрудники должны изначально хотя бы примерно понимать, почему это может происходить, и знать, как эскалировать такие случаи, куда обращаться.
Продолжение: https://vk.com/wall-210601538_2049
ВОПРОС:
В чем заключается обучение обычных пользователей при работе с ИИ в AI Governance. Чему их учить?
ОТВЕТ:
Добрый день и спасибо за Ваш вопрос! Он актуален и компании всё активнее обращают внимание именно на обучение пользователей при работе с ИИ-системами.
И это не просто очередной курс по промпт-инжинирингу или базовый ML, а целенаправленное формирование культуры ответственного и безопасного использования искусственного интеллекта. В таком обучении нужно заложить и этику, и выгоды компании, и немного подсветить тренды, и описать инциденты, и реагирование на них, и дать сотрудникам чек-листы, инструкции на закрепление, и многое другое.
Вам нужно добиться, сделать так, чтобы каждый сотрудник, работающий с Вашими ИИ-системами, понимал не только как работать, но и какие риски это несет, какой будет ущерб и как действовать корректно, правильно, чтобы не навредить с одной стороны, а с другой – чтобы выполнить работу.
У программы обучения могут быть такие разделы:
1. Базовая грамотность.
Расскажите про то, что такое ИИ и как он работает. Пользователи должны понимать фундаментальные ограничения технологии, особенно на реальных примерах Вашей компании. Очень важно учить людей не просто слепо доверять результату, а критически оценивать его, сформировать понимание, что у ИИ есть галлюцинации, что важно все же проверять ключевые выводы, относиться критически. Нужно помнить, что ответственность за принятое решение всегда остаётся на сотруднике, а не на модели.
2. Безопасность данных.
Это самый важный, на мой взгляд, блок. Ваши сотрудники должны чётко знать, какую информацию можно, а какую категорически нельзя вводить в публичные или внешние ИИ-инструменты и даже во внутренние ИИ. Нужно учить распознавать типы конфиденциальных данных (персональные данные – их все возможные виды и типы, коммерческая тайна, куда могут относиться и технологические решения, врачебная тайна и другие). Надо понимать принципы классификации таких данных и сформировать понимание, куда обращаться, если случайно отправил чувствительные данные. Здесь же можно объяснить, как правильно маскировать информацию перед запросом, если уж нужно что-то отправить критичное в модель, какую-то чувствительную информацию, чтобы при этом и данные отправить и ответ получить эффективный. Сотрудникам нужно также рассказать, как работать с внутренними ИИ-системами, если есть какие-то специфичные моменты по безопасности.
3. Этика и предвзятость.
Также пользователей нужно обучить замечать признаки предвзятости в результатах, например, при подборе кандидатов, оценке кредитоспособности и генерации контента. Ваши сотрудники должны изначально хотя бы примерно понимать, почему это может происходить, и знать, как эскалировать такие случаи, куда обращаться.
Продолжение: https://vk.com/wall-210601538_2049
VK
MLSECOPS | AI GOVERNANCE | IT TRENDS. Пост со стены.
⭐️ Ответы на вопросы слушателей международных учебных программ по MLSecOps и AI Governance
ВО... Смотрите полностью ВКонтакте.
ВО... Смотрите полностью ВКонтакте.
🔥2
⭐️ По просьбе подписчиков выкладываю запись моего вебинара "Управление ИИ-системами (AI Governance) в критических отраслях: как управлять рисками, соответствовать требованиям регуляторов и эффективно внедрять ИИ"
Ссылка: https://academyit.ru/deals/activity/seminars/upravlenie-ii-sistemami-ai-governance-v-kriticheskikh-otraslyakh-kak-upravlyat-riskami-sootvetstvova/?bx_sender_conversion_id=19987265&utm_source=email&utm_medium=email&utm_campaign=w23042026_AIGovernance
Архитектор MLSecOps и AI Governance
Николай Павлов
Ссылка: https://academyit.ru/deals/activity/seminars/upravlenie-ii-sistemami-ai-governance-v-kriticheskikh-otraslyakh-kak-upravlyat-riskami-sootvetstvova/?bx_sender_conversion_id=19987265&utm_source=email&utm_medium=email&utm_campaign=w23042026_AIGovernance
Архитектор MLSecOps и AI Governance
Николай Павлов
🔥2
⭐️ Записи докладов конференции MLечный путь от Selectel
Приветик, мои дорогие друзья и коллеги-профессионалы!
Вот и стали доступны записи всех докладов ежегодной конференции MLечный путь 2026 от компании Selectel. Это, стандартно, одна из ведущих российских конференций в сфере ИИ. Ребята обозначили массу трендов, поделились как бизнесовой практикой сферы ИИ (включая оценку инвестиций в ИИ, риски и остальные практики AI Governance), так и технологическими решениями (включая решения по защите ИИ-систем, MLSecOps)! Ну и, конечно же, затронули тему ИИ-агентов.
Поэтому - как всегда - смотрим внимательно, фиксируем себе массу нового и полезного, кому что непонятно, пишите в личку, подскажу.
Бизнес трек: https://vkvideo.ru/video-11462611_456240088
Технический трек: https://vkvideo.ru/video-11462611_456240089
Архитектор MLSecOps и AI Governance
Николай Павлов
Приветик, мои дорогие друзья и коллеги-профессионалы!
Вот и стали доступны записи всех докладов ежегодной конференции MLечный путь 2026 от компании Selectel. Это, стандартно, одна из ведущих российских конференций в сфере ИИ. Ребята обозначили массу трендов, поделились как бизнесовой практикой сферы ИИ (включая оценку инвестиций в ИИ, риски и остальные практики AI Governance), так и технологическими решениями (включая решения по защите ИИ-систем, MLSecOps)! Ну и, конечно же, затронули тему ИИ-агентов.
Поэтому - как всегда - смотрим внимательно, фиксируем себе массу нового и полезного, кому что непонятно, пишите в личку, подскажу.
Бизнес трек: https://vkvideo.ru/video-11462611_456240088
Технический трек: https://vkvideo.ru/video-11462611_456240089
Архитектор MLSecOps и AI Governance
Николай Павлов
VK Видео
MLечный путь Бизнес трек
Официальный сайт Selectel — https://slc.tl/hbJ0Q Подписывайтесь на Selectel в социальных сетях: Telegram — https://slc.tl/4pkff VK — https://vk.com/selectel Подписывайтесь на блоги Selectel: Хабр — https://habr.com/ru/company/selectel/ Академия Selectel…
🔥3
⭐️ Как устроена безопасность Yandex AI Studio?
Рекомендую посмотреть это видео о том, как обеспечивается безопасная архитектура платформы для сборки ИИ-агентов Yahdex AI Studio: http://vk.com/video-200452713_456240411
Очень интересные моменты, есть и базовые, которые обязательны всегда и везде. Выступает Евгений Барановский, менеджер GenAI-проектов. Как обычно в Яндексе - все четко, наглядно, по существу и без лишней воды.
Архитектор MLSecOps и AI Governance
Николай Павлов
Рекомендую посмотреть это видео о том, как обеспечивается безопасная архитектура платформы для сборки ИИ-агентов Yahdex AI Studio: http://vk.com/video-200452713_456240411
Очень интересные моменты, есть и базовые, которые обязательны всегда и везде. Выступает Евгений Барановский, менеджер GenAI-проектов. Как обычно в Яндексе - все четко, наглядно, по существу и без лишней воды.
Архитектор MLSecOps и AI Governance
Николай Павлов
VK Видео
Как устроена безопасность Yandex AI Studio
Евгений Барановский, менеджер GenAI-проектов рассказывает про то, как устроен слой безопасности платформы Yandex AI Studio. Из видео вы узнаете про: — соответствие ФЗ, стандартам и аудитам; — ролевую модель и разграничение доступов; — изоляцию пользовательских…
👍2⚡1🔥1
Forwarded from Yandex Scale 2026
Yandex Scale возвращается — сохраняйте дату🆗
📅 24 сентября 2026 года
Отмечайте в календаре: мы уже готовим флагманскую технологическую конференцию Yandex Cloud для ИТ-специалистов, инженеров, руководителей и всех, кто работает с облачными технологиями.
Подробности о формате, программе и регистрации расскажем позже.
➡️ Следите за новостями в @yandexscale и в официальном канале Yandex Cloud @yandexcloudnews.
Отмечайте в календаре: мы уже готовим флагманскую технологическую конференцию Yandex Cloud для ИТ-специалистов, инженеров, руководителей и всех, кто работает с облачными технологиями.
Подробности о формате, программе и регистрации расскажем позже.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2⚡1
⭐️ MLSecOps Engineer (AI Safety) в Okko
MLSecOps Engineer (AI Safety) — это специалист, который отвечает за безопасность и надежность систем искусственного интеллекта.
Обязанности:
+ Участие в разработке архитектуры и дизайна стандартизированного размещения ИИ агентов, сегментировании и изолировании контекстов агента (разделение памяти, защита системных промптов);
+ Внедрение и настройка инструментов перехвата и валидации промптов (guardrails), написание правил детекции атак (Jailbreaking, Prompt Injection) и фильтрации вывода;
+ Построение пайплайна безопасной загрузки данных (RAG), реализация механизмов санитизации данных (очистка PII, секретов) до попадания в векторный индекс, настройка прав доступа (RBAC) на уровне чанков данных в векторной базе данных;
+ Разработка и поддержка набора автотестов для ежедневного тестирования безопасности агента;
+ Разработка валидаторов для структурированного вывода, проверка планов агента на безопасность перед исполнением (pydantic).
Требования:
+ Свободное владение Python;
+ Знание LangChain и/или LlamaIndex, умение писать кастомные callbacks, chains, tools;
+ Понимание OWASP Top 10 for LLM, знание механик атак (prompt injection, indirect injection, data poisoning, model denial of service);
+ Понимание работы векторных баз данных (Pinecone, Milvus, Qdrant);
+ Базовое понимание Docker и CI/CD для интеграции проверок в общий пайплайн.
Мы предлагаем:
+ Необходимое оборудование и софт для работы;
+ Официальное трудоустройство;
+ ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки;
+ Льготные условия ипотеки в рамках зарплатного проекта;
+ Бесплатная подписка на сервисы партнеров;
+ Корпоративный спорт;
+ Насыщенная корпоративная жизнь;
+ Электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам.
Ссылка на вакансию: https://hh.ru/vacancy/132741607
Архитектор MLSecOps и AI Governance
Николай Павлов
MLSecOps Engineer (AI Safety) — это специалист, который отвечает за безопасность и надежность систем искусственного интеллекта.
Обязанности:
+ Участие в разработке архитектуры и дизайна стандартизированного размещения ИИ агентов, сегментировании и изолировании контекстов агента (разделение памяти, защита системных промптов);
+ Внедрение и настройка инструментов перехвата и валидации промптов (guardrails), написание правил детекции атак (Jailbreaking, Prompt Injection) и фильтрации вывода;
+ Построение пайплайна безопасной загрузки данных (RAG), реализация механизмов санитизации данных (очистка PII, секретов) до попадания в векторный индекс, настройка прав доступа (RBAC) на уровне чанков данных в векторной базе данных;
+ Разработка и поддержка набора автотестов для ежедневного тестирования безопасности агента;
+ Разработка валидаторов для структурированного вывода, проверка планов агента на безопасность перед исполнением (pydantic).
Требования:
+ Свободное владение Python;
+ Знание LangChain и/или LlamaIndex, умение писать кастомные callbacks, chains, tools;
+ Понимание OWASP Top 10 for LLM, знание механик атак (prompt injection, indirect injection, data poisoning, model denial of service);
+ Понимание работы векторных баз данных (Pinecone, Milvus, Qdrant);
+ Базовое понимание Docker и CI/CD для интеграции проверок в общий пайплайн.
Мы предлагаем:
+ Необходимое оборудование и софт для работы;
+ Официальное трудоустройство;
+ ДМС со стоматологией, офисный врач, доплата больничного листа, корпоративные скидки;
+ Льготные условия ипотеки в рамках зарплатного проекта;
+ Бесплатная подписка на сервисы партнеров;
+ Корпоративный спорт;
+ Насыщенная корпоративная жизнь;
+ Электронная библиотека издательства МИФ, в которую входят почти 2 тыс. единиц контента по бизнесу, саморазвитию, здоровому образу жизни и другим актуальным темам.
Ссылка на вакансию: https://hh.ru/vacancy/132741607
Архитектор MLSecOps и AI Governance
Николай Павлов
hh.ru
Вакансия MLSecOps Engineer (AI Safety) в Москве, работа в компании Okko
Зарплата: не указана. Москва. Требуемый опыт: 3–6 лет. Занятость: полная. Дата публикации: 04.05.2026.
🔥3⚡2
⭐️ Запускаем второй поток новой учебной программы по AI Governance!
Учитывая стремительный рост и востребованность нового направления AI Governance, Академия Softline с 19 по 30 мая проводит второй поток новой корпоративной учебной программы «AI Governance в критических отраслях: от рисков и угроз к этике и доверию».
Учебная программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ. Это первая в России программа по AI Governance в критических отраслях.
В рамках обучения слушатели узнают:
1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем?
2. Как избежать рисков нарушения этики и дискриминации?
3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу?
4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ?
5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают?
6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования?
7. Какие требования к архитектуре ИИ-систем есть в AI Governance?
8. Как работать с Каталогом и Глоссарием данных в AI Governance?
9. Какие есть методы, инструменты и фреймворки для AI Governance?
10. Как выстроить процессы AI Governance в компании.
11. Многое другое.
Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру.
Сильные стороны программы:
1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень).
2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно.
3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем.
5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступил в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона о регулировании ИИ в России (он сейчас на обсуждении, макет уже разработан). Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования.
6. Автор программы принимает участие в разработке ГОСТ, ПНСТ, ФЗ и других нормативно-правовых регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/ai_g
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu/
По итогам обучения выдается удостоверение о повышении квалификации.
Global MLSecOps & AI Governance Architect
Николай Павлов
Учитывая стремительный рост и востребованность нового направления AI Governance, Академия Softline с 19 по 30 мая проводит второй поток новой корпоративной учебной программы «AI Governance в критических отраслях: от рисков и угроз к этике и доверию».
Учебная программа составлена на основе самых передовых трендов в сфере ИИ и опирается на практический опыт, полученный в ходе реальных аудитов ИИ-систем в России, Китае и странах СНГ. Это первая в России программа по AI Governance в критических отраслях.
В рамках обучения слушатели узнают:
1. Как обеспечить нормативно-правовое соответствие и юридическую защиту при внедрении и эксплуатации ИИ-систем?
2. Как избежать рисков нарушения этики и дискриминации?
3. Как добиваться того, чтобы ИИ-системы приносили максимальную пользу бизнесу? Как оценить эту пользу?
4. Как правильно оценивать риски, потенциальный и мультипликативный экономический ущерб от угроз ИИ?
5. Как эффективно управлять ИИ-проектами, какие роли и должности в разработке ИИ за что отвечают?
6. Как обучать пользователей безопасной работе с ИИ? Какие есть явные и неявные требования?
7. Какие требования к архитектуре ИИ-систем есть в AI Governance?
8. Как работать с Каталогом и Глоссарием данных в AI Governance?
9. Какие есть методы, инструменты и фреймворки для AI Governance?
10. Как выстроить процессы AI Governance в компании.
11. Многое другое.
Важно, что все практические задания будут связаны между собой и направлены на выстраивание процессов AI Governance, поэтому слушатели могут выполнять их на примере собственных компаний, что уже поможет Вам построить базовую архитектуру.
Сильные стороны программы:
1. Опора на лучшие практики AI Governance российских и китайских компаний (города Гуань-Чжоу, Шень-Чжень).
2. Бесплатная техническая поддержка всех слушателей программы по вопросам AI Governance в процессе и после проведения учебной программы бессрочно.
3. Через практические задания строится архитектура AI Governance в компаниях слушателей программы силами самих слушателей при поддержке опытного эксперта. По итогам Вы программы Вы получите реальные рекомендации по внедрению и обеспечению комплаентности, этичности, нормативно-правового соответствия ИИ-систем. А также реализуете практические меры, создавая этим реальную пользу для бизнеса, оцененную в денежном эквиваленте на основе оценки рисков.
4. Направление AI Governance, как и направление MLSecOps - очень перспективное и стремительно растущее по экспоненте. Это направление только зарождается и обучение сейчас принесет очень существенные преимущества в будущем.
5. Программа на полностью согласуется с российскими ГОСТ для ИИ и особенно актуальна сейчас, когда с 1 марта вступил в силу 117 Приказ ФСТЭК. В течение 2026 года ожидается принятие закона о регулировании ИИ в России (он сейчас на обсуждении, макет уже разработан). Будем разбирать, как именно соблюдать все необходимые и ожидаемые требования.
6. Автор программы принимает участие в разработке ГОСТ, ПНСТ, ФЗ и других нормативно-правовых регламентов в сфере безопасности и отказоустойчивости ИИ-систем в России, регулярно проводит аудиты ИИ-систем в разных отраслях.
Более подробная информация и возможность записаться по ссылке (смотреть без включенного VPN):
https://academyit.ru/courses/ai_g
Дополнительная ссылка:
https://edu.softline.com/vendors/akademiya-ayti/ai-governance-v-kriticheskih-otraslyah-ot-riskov-i-ugroz-k-etike-i-doveriyu/
По итогам обучения выдается удостоверение о повышении квалификации.
Global MLSecOps & AI Governance Architect
Николай Павлов
🔥3
Forwarded from AM Live
Мы пересели с лошади на спорткар, но ремней безопасности ещё нет
Пока ИИ был чат-ботом, главный страх был простой: модель скажет лишнее, соврёт или обойдёт ограничение.
С агентными системами риск другой.
ИИ получает доступ к почте, календарю, документам и начинает выполнять действия от имени пользователя.
Значит, защищать нужно уже не только ответы модели.
Нужно контролировать, что она может сделать.
В монологе на AM Толк День в Городских лабораториях ВЭБ.РФ Евгений Кокуйкин, генеральный директор HiveTrace, говорит о новой точке риска: когда ИИ перестаёт быть окном для запроса и становится участником бизнес-процесса.
Смотрите, почему безопасность ИИ теперь начинается не с фильтрации текста, а с контроля действий.
📺 YouTube 📺 RuTube 📺 VK
Пока ИИ был чат-ботом, главный страх был простой: модель скажет лишнее, соврёт или обойдёт ограничение.
С агентными системами риск другой.
ИИ получает доступ к почте, календарю, документам и начинает выполнять действия от имени пользователя.
Значит, защищать нужно уже не только ответы модели.
Нужно контролировать, что она может сделать.
В монологе на AM Толк День в Городских лабораториях ВЭБ.РФ Евгений Кокуйкин, генеральный директор HiveTrace, говорит о новой точке риска: когда ИИ перестаёт быть окном для запроса и становится участником бизнес-процесса.
Смотрите, почему безопасность ИИ теперь начинается не с фильтрации текста, а с контроля действий.
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥3
⭐️ ИИ-агенты переходят в формат бизнес-советников
Согласно прогнозу IBM и Oxford Economics, к 2030 году главным риском для компаний станет не возможность ошибки, а излишняя осторожность. 79% топ-менеджеров ожидают, что искусственный интеллект (ИИ) будет напрямую влиять на выручку бизнеса. Прогнозируется рост продуктивности на 42%, появление ИИ-советников в советах директоров и переход компаний к моделям AI-First.
Промедление с внедрением ИИ сегодня может создавать потенциально более опасный риск фатального отставания в конкурентной гонке. В динамично развивающихся сферах деятельности каждый квартал задержки - это упущенный потенциал роста. Кроме того, компания теряет привлекательность для сильных специалистов, которые хотят работать с передовыми технологиями.
"Пока одни топ-менеджеры продолжают "отмахиваться" от технологий, другие всесторонне используют ИИ как "спарринг-партнера" при подготовке к заседаниям, в качестве ассистента и симулятора, который способен в кратчайшие сроки перерабатывать большие объемы отчетов и операционки", - говорит академический руководитель образовательной программы "Прикладные нейросетевые технологии" факультета компьютерных наук НИУ ВШЭ Руслан Каюмов.
Он объясняет, что это помогает сократить информационный разрыв между, например, членами совета директоров и рядовыми сотрудниками, что напрямую повышает обоснованность управленческих решений.
Логичный следующий шаг в данном контексте - повсеместный переход к ИИ-советникам для топ-менеджемента, которые будут готовить аналитику, сценарии и рекомендации. Реалистичный горизонт составляет до трех лет, а компании в IT и финансах уже экспериментируют с такими решениями. В более консервативных секторах процесс может растянуться, но вектор очевиден, отмечает Каюмов.
Но к 2030 году на первый план выйдет стратегический риск - упущение возможностей из-за излишней осторожности. В контексте искусственного интеллекта это означает, что компания, которая чрезмерно фокусируется на минимизации гипотетических сбоев ИИ и замедляет его внедрение, может безвозвратно отстать от конкурентов. Скорость инноваций и адаптации становится критическим фактором выживания. Пока одна организация будет годами тестировать идеальную, но локальную модель, её более смелые конкуренты уже перепроектируют свои бизнес-процессы, создадут новые продукты и "захватят" рынок.
Продолжение: https://vk.com/wall-210601538_2057
Согласно прогнозу IBM и Oxford Economics, к 2030 году главным риском для компаний станет не возможность ошибки, а излишняя осторожность. 79% топ-менеджеров ожидают, что искусственный интеллект (ИИ) будет напрямую влиять на выручку бизнеса. Прогнозируется рост продуктивности на 42%, появление ИИ-советников в советах директоров и переход компаний к моделям AI-First.
Промедление с внедрением ИИ сегодня может создавать потенциально более опасный риск фатального отставания в конкурентной гонке. В динамично развивающихся сферах деятельности каждый квартал задержки - это упущенный потенциал роста. Кроме того, компания теряет привлекательность для сильных специалистов, которые хотят работать с передовыми технологиями.
"Пока одни топ-менеджеры продолжают "отмахиваться" от технологий, другие всесторонне используют ИИ как "спарринг-партнера" при подготовке к заседаниям, в качестве ассистента и симулятора, который способен в кратчайшие сроки перерабатывать большие объемы отчетов и операционки", - говорит академический руководитель образовательной программы "Прикладные нейросетевые технологии" факультета компьютерных наук НИУ ВШЭ Руслан Каюмов.
Он объясняет, что это помогает сократить информационный разрыв между, например, членами совета директоров и рядовыми сотрудниками, что напрямую повышает обоснованность управленческих решений.
Логичный следующий шаг в данном контексте - повсеместный переход к ИИ-советникам для топ-менеджемента, которые будут готовить аналитику, сценарии и рекомендации. Реалистичный горизонт составляет до трех лет, а компании в IT и финансах уже экспериментируют с такими решениями. В более консервативных секторах процесс может растянуться, но вектор очевиден, отмечает Каюмов.
Но к 2030 году на первый план выйдет стратегический риск - упущение возможностей из-за излишней осторожности. В контексте искусственного интеллекта это означает, что компания, которая чрезмерно фокусируется на минимизации гипотетических сбоев ИИ и замедляет его внедрение, может безвозвратно отстать от конкурентов. Скорость инноваций и адаптации становится критическим фактором выживания. Пока одна организация будет годами тестировать идеальную, но локальную модель, её более смелые конкуренты уже перепроектируют свои бизнес-процессы, создадут новые продукты и "захватят" рынок.
Продолжение: https://vk.com/wall-210601538_2057
🔥3
Forwarded from Андрей Созыкин (Andrey Sozykin)
Постквантовый алгоритм шифрования ML-KEM
Возможно вы обратили внимание в видео с практикой по установке соединения TLS, что для обмена ключами симметричного шифрования использовался гибридный алгоритм Диффи-Хеллмана на эллиптических кривых и ML-KEM. Как работает алгоритм Диффи-Хеллмана мы разбирали в курсе, а что за алгоритм ML-KEM? И для чего он нужен?
ML-KEM (Module-Lattice-Based Key-Encapsulation Mechanism) - это постквантовый алгоритм шифрования. В нем используется криптография на решетке (lattice-based cryptography), взломать такие алгоритмы квантовые компьютеры не смогут.
ML-KEM стандартизован NIST в документе FIPS 203. В нем определены три варианта ML-KEM-512, ML-KEM-768 и ML-KEM-1024, которые отличаются параметрами алгоритма ML-KEM, скоростью работы и уровнем безопасности. В видео при установке соединения TLS использовался вариант ML-KEM-768.
Зачем внедрять алгоритмы постквантового шифрования сейчас, когда квантовых компьютеров еще нет? Внедрение новых технологий в компьютерных сетях, как правило, занимает длительное время. Поэтому лучше начать делать это заранее, чтобы успеть к появлению квантовых компьютеров 😊
Для чего комбинировать алгоритмы Диффи-Хеллмана на эллиптических кривых и ML-KEM? Сейчас ML-KEM еще плохо изучен и если в нем найдут уязвимости, то алгоритма Диффи-Хеллмана будет достаточно для эффективной защиты (пока не появятся квантовые компьютеры 😊).
На Хабре есть отличная статья "Разбираем байты постквантовой ML-KEM на примере «браузерного» TLS", рекомендую изучить ее, если хотите детально разобраться, как именно ML-KEM используется при установке соединения TLS 1.3.
Возможно вы обратили внимание в видео с практикой по установке соединения TLS, что для обмена ключами симметричного шифрования использовался гибридный алгоритм Диффи-Хеллмана на эллиптических кривых и ML-KEM. Как работает алгоритм Диффи-Хеллмана мы разбирали в курсе, а что за алгоритм ML-KEM? И для чего он нужен?
ML-KEM (Module-Lattice-Based Key-Encapsulation Mechanism) - это постквантовый алгоритм шифрования. В нем используется криптография на решетке (lattice-based cryptography), взломать такие алгоритмы квантовые компьютеры не смогут.
ML-KEM стандартизован NIST в документе FIPS 203. В нем определены три варианта ML-KEM-512, ML-KEM-768 и ML-KEM-1024, которые отличаются параметрами алгоритма ML-KEM, скоростью работы и уровнем безопасности. В видео при установке соединения TLS использовался вариант ML-KEM-768.
Зачем внедрять алгоритмы постквантового шифрования сейчас, когда квантовых компьютеров еще нет? Внедрение новых технологий в компьютерных сетях, как правило, занимает длительное время. Поэтому лучше начать делать это заранее, чтобы успеть к появлению квантовых компьютеров 😊
Для чего комбинировать алгоритмы Диффи-Хеллмана на эллиптических кривых и ML-KEM? Сейчас ML-KEM еще плохо изучен и если в нем найдут уязвимости, то алгоритма Диффи-Хеллмана будет достаточно для эффективной защиты (пока не появятся квантовые компьютеры 😊).
На Хабре есть отличная статья "Разбираем байты постквантовой ML-KEM на примере «браузерного» TLS", рекомендую изучить ее, если хотите детально разобраться, как именно ML-KEM используется при установке соединения TLS 1.3.
⚡4
⭐️ Мурашко: Минздрав планирует снижать нагрузку на медиков за счет введения ИИ
Министерство здравоохранения РФ планирует снизить документационную нагрузку на медицинских сотрудников за счет внедрения технологий искусственного интеллекта (ИИ). Об этом 11 мая сообщил глава ведомства Михаил Мурашко.
По его словам, одна из разработок с использованием ИИ уже внедряется в практику. Система позволяет быстро анализировать электронную историю болезни и карту пациента, а затем выдавать врачу, медсестре или сотруднику приемного отделения скорой помощи необходимую информацию.
Мурашко подчеркнул, что время анализа медицинских данных с помощью ИИ составляет всего несколько секунд. Раньше аналогичный процесс мог занимать до получаса.
С его слов, "есть еще ряд других программных продуктов, которые позволяют сократить это всё, и ряд решений технологических: фиксация, транскрибация речи, суммаризация. Это всё очень активно приходит в нашу практику».
РИА
Министерство здравоохранения РФ планирует снизить документационную нагрузку на медицинских сотрудников за счет внедрения технологий искусственного интеллекта (ИИ). Об этом 11 мая сообщил глава ведомства Михаил Мурашко.
По его словам, одна из разработок с использованием ИИ уже внедряется в практику. Система позволяет быстро анализировать электронную историю болезни и карту пациента, а затем выдавать врачу, медсестре или сотруднику приемного отделения скорой помощи необходимую информацию.
Мурашко подчеркнул, что время анализа медицинских данных с помощью ИИ составляет всего несколько секунд. Раньше аналогичный процесс мог занимать до получаса.
С его слов, "есть еще ряд других программных продуктов, которые позволяют сократить это всё, и ряд решений технологических: фиксация, транскрибация речи, суммаризация. Это всё очень активно приходит в нашу практику».
РИА
🔥2😱2
⭐️ GoCloud 2026
Все записи конференции GoCloud 2026, доклады очень ценные, презентована масса уникальных разработок, представлены замечательные тренды и прогнозы развития ИИ-агентов.
Радует, что несколько раз упомянута и отечественная разработка HiveTrace, которая эффективно зарекомендовала себя как одна из лучших защитных систем для LLMs, RAGs и ИИ-агентов. Ребята рассказывают интересно и доступным языком, очень рекомендую посмотреть хотя бы часть этих ярких выступлений.
Ссылка на доклады конференции (доступны онлайн бесплатно): https://cloud.ru/gocloud
Архитектор MLSecOps и AI Governance
Николай Павлов
Все записи конференции GoCloud 2026, доклады очень ценные, презентована масса уникальных разработок, представлены замечательные тренды и прогнозы развития ИИ-агентов.
Радует, что несколько раз упомянута и отечественная разработка HiveTrace, которая эффективно зарекомендовала себя как одна из лучших защитных систем для LLMs, RAGs и ИИ-агентов. Ребята рассказывают интересно и доступным языком, очень рекомендую посмотреть хотя бы часть этих ярких выступлений.
Ссылка на доклады конференции (доступны онлайн бесплатно): https://cloud.ru/gocloud
Архитектор MLSecOps и AI Governance
Николай Павлов
👍3⚡2
⭐️ Безопасная интеграция с облачными ИИ-моделями: как защитить данные при передаче в облако
Можно ли безопасно подключать облачные ИИ-модели к внутренним системам компании и при этом не передавать контроль над конфиденциальными данными внешнему провайдеру? Наш эксперт рассказал, как выстроить трёхуровневую архитектуру доверия для безопасной интеграции с облачными ИИ-моделями — без риска утечки конфиденциальных данных и с соблюдением требований регуляторов.
Данные могут использоваться для получения ответа от ИИ-системы, но не должны становиться частью её памяти или использоваться для обучения и дообучения моделей. Это достижимо при построении многослойной защиты.
Трёхуровневая архитектура доверия
1. Юридический уровень
При заключении договора с облачным провайдером необходимо зафиксировать основные юридические меры защиты:
+ запрет на использование ваших данных для дообучения моделей;
+ обязательство удалить данные сразу после обработки;
+ право на внеплановый аудит;
+ требование вести и хранить логи операций;
+ готовность провайдера предоставить эти логи по вашему запросу в любое время.
Соответственно при любом изменении договора эти моменты важно проверять и, возможно, добавлять новые детали. Например, если конфиденциальность критична, в договоре фиксируется, что запросы обрабатываются исключительно автоматически, без привлечения операторов.
Важно четко обозначить и запрет на передачу данных третьим лицам без письменного согласования и предоставление реестра всех вовлечённых инфраструктурных партнёров (с их контактными данными) по первому запросу.
Как дополнительную меру важно прописать в договоре SLA по инцидентам и возможные штрафные санкции, то есть зафиксировать сроки уведомления (например, от 1 ч до 12 ч по внутренним правилам согласно договору, и как минимум 72 ч по ФЗ №152). В идеале прописать и финансовую ответственность за нарушение запрета на обучение или утечку, как следствие - право на одностороннее расторжение без компенсаций в случае доказанных утечек.
А, значит, на случай прекращения сотрудничества в договоре стоит и прописать обязательное предоставление акта криптографического уничтожения данных, право на экспорт остатков в машиночитаемом формате, сроки полной деинсталляции.
2. Технический уровень: шлюз-фильтр
Пайплайн данных строится по принципу фильтрации на вашей стороне:
+ перед отправкой в облако информация проходит через локальный шлюз, который автоматически находит и маскирует конфиденциальные сведения (ФИО, номера счетов, банковских карт, паспортные данные, СНИЛС, коммерческая тайна и другие), заменяя их на специальные коды;
+ соответственно в облако уходит уже обезличенный запрос;
+ модель отрабатывает и возвращает ответ с теми же кодами;
+ на вашей стороне коды заменяются обратно на исходные данные, в результате получается полноценный интерпретируемый ответ.
Для надёжности такого шлюз-фильтра используются заранее протестированные, доверенные шаблоны промптов, гарантирующие, что структура данных (например, серия и номер паспорта) сохранится без искажений.
Для повышения надежности на техническом уровне следует рассмотреть архитектуру двойного фильтра на входе в модель. Например, проверяем у себя и создаем проверку на уровне облачного провайдера. В том редком случае, когда наш фильтр не срабатывает, провайдер информирует нас. При этом не обязательно дублировать архитектуру двух фильтров - очевидно, что для экономии денег, фильтр на стороне провайдера скорее будет проще и оперативнее.
И как одна из простых, но дополнительных и крайне важных мер - необходимо считать количество отправленных запросов в облако и количество полученных ответов, и затем сверять это с данными провайдера. При необходимости можно сверять и размеры такой информации, хотя бы выборочно.
3. Уровень аудита и соответствия требованиям регуляторов
+ ведение полного журнала событий: фиксация, какие данные, в каком виде и когда передавались;
+ гарантия физического размещения серверов в российской юрисдикции;
+ регулярная проверка и хранение логов.
Можно ли безопасно подключать облачные ИИ-модели к внутренним системам компании и при этом не передавать контроль над конфиденциальными данными внешнему провайдеру? Наш эксперт рассказал, как выстроить трёхуровневую архитектуру доверия для безопасной интеграции с облачными ИИ-моделями — без риска утечки конфиденциальных данных и с соблюдением требований регуляторов.
Данные могут использоваться для получения ответа от ИИ-системы, но не должны становиться частью её памяти или использоваться для обучения и дообучения моделей. Это достижимо при построении многослойной защиты.
Трёхуровневая архитектура доверия
1. Юридический уровень
При заключении договора с облачным провайдером необходимо зафиксировать основные юридические меры защиты:
+ запрет на использование ваших данных для дообучения моделей;
+ обязательство удалить данные сразу после обработки;
+ право на внеплановый аудит;
+ требование вести и хранить логи операций;
+ готовность провайдера предоставить эти логи по вашему запросу в любое время.
Соответственно при любом изменении договора эти моменты важно проверять и, возможно, добавлять новые детали. Например, если конфиденциальность критична, в договоре фиксируется, что запросы обрабатываются исключительно автоматически, без привлечения операторов.
Важно четко обозначить и запрет на передачу данных третьим лицам без письменного согласования и предоставление реестра всех вовлечённых инфраструктурных партнёров (с их контактными данными) по первому запросу.
Как дополнительную меру важно прописать в договоре SLA по инцидентам и возможные штрафные санкции, то есть зафиксировать сроки уведомления (например, от 1 ч до 12 ч по внутренним правилам согласно договору, и как минимум 72 ч по ФЗ №152). В идеале прописать и финансовую ответственность за нарушение запрета на обучение или утечку, как следствие - право на одностороннее расторжение без компенсаций в случае доказанных утечек.
А, значит, на случай прекращения сотрудничества в договоре стоит и прописать обязательное предоставление акта криптографического уничтожения данных, право на экспорт остатков в машиночитаемом формате, сроки полной деинсталляции.
2. Технический уровень: шлюз-фильтр
Пайплайн данных строится по принципу фильтрации на вашей стороне:
+ перед отправкой в облако информация проходит через локальный шлюз, который автоматически находит и маскирует конфиденциальные сведения (ФИО, номера счетов, банковских карт, паспортные данные, СНИЛС, коммерческая тайна и другие), заменяя их на специальные коды;
+ соответственно в облако уходит уже обезличенный запрос;
+ модель отрабатывает и возвращает ответ с теми же кодами;
+ на вашей стороне коды заменяются обратно на исходные данные, в результате получается полноценный интерпретируемый ответ.
Для надёжности такого шлюз-фильтра используются заранее протестированные, доверенные шаблоны промптов, гарантирующие, что структура данных (например, серия и номер паспорта) сохранится без искажений.
Для повышения надежности на техническом уровне следует рассмотреть архитектуру двойного фильтра на входе в модель. Например, проверяем у себя и создаем проверку на уровне облачного провайдера. В том редком случае, когда наш фильтр не срабатывает, провайдер информирует нас. При этом не обязательно дублировать архитектуру двух фильтров - очевидно, что для экономии денег, фильтр на стороне провайдера скорее будет проще и оперативнее.
И как одна из простых, но дополнительных и крайне важных мер - необходимо считать количество отправленных запросов в облако и количество полученных ответов, и затем сверять это с данными провайдера. При необходимости можно сверять и размеры такой информации, хотя бы выборочно.
3. Уровень аудита и соответствия требованиям регуляторов
+ ведение полного журнала событий: фиксация, какие данные, в каком виде и когда передавались;
+ гарантия физического размещения серверов в российской юрисдикции;
+ регулярная проверка и хранение логов.
🔥3🐳1
В рамках этого уровня требуется проводить регулярные тренировки по реагированию на инциденты с ИИ (промпт-инъекции, отравление данных, дрейф данных, дрейф модели и другие), внесение сценариев в программу обучения сотрудников, работающих с ИИ-системами. При этом это должны быть не только указанные типы инцидентов, специфичные для ИИ, но и инциденты общего плана, хорошо известные командам ИБ и SRE (DoS-атаки, падение сервера, компрометация системы, требующая восстановления или запуска резервирования и другие типы).
Таким образом, базовая формула трехуровневой архитектуры доверия: это юридический запрет на обучение + техническая изоляция данных через шлюзы и шифрование + регулярный аудит.
Ссылка на полную версию статьи (смотреть без VPN): https://academyit.ru/articles/tematika3/bezopasnaya-integratsiya-s-oblachnymi-ii-modelyami-kak-zashchitit-dannye-pri-peredache-v-oblako/
Архитектор MLSecOps и AI Governance
Николай Павлов
Таким образом, базовая формула трехуровневой архитектуры доверия: это юридический запрет на обучение + техническая изоляция данных через шлюзы и шифрование + регулярный аудит.
Ссылка на полную версию статьи (смотреть без VPN): https://academyit.ru/articles/tematika3/bezopasnaya-integratsiya-s-oblachnymi-ii-modelyami-kak-zashchitit-dannye-pri-peredache-v-oblako/
Архитектор MLSecOps и AI Governance
Николай Павлов
🔥3😱1