Дело X AI и прозрачность ИИ

X AI в марте формирует судебные тренды не только в части защиты пользователей от генерации дипфейков (сериал Grok), но и в части требований к прозрачности обучающих данных , т.е. фактически закрепляя тренд на прозрачность ИИ.

👀 В деле X.AI LLC v. Bonta суд отказал X AI в попытке приостановить закон Калифорнии (AB 2013).

X AI утверждало, что раскрытие даже такого уровня сведений по сути обнажает её коммерческие секреты и предоставляет конкурентам «дорожную карту» для копирования её моделей.

Суд не признал закон окончательно конституционным, но указал, что X AI не доказала необходимость срочной защиты, поэтому закон уже действует.

Компании обязаны раскрывать:
▪️ источники данных,
▪️ наличие персональных данных и IP-контента,
▪️ объём и происхождение датасетов.
При этом не требуется раскрывать модель или веса, но появляется обязательный уровень прозрачности, которого раньше не было.

Параллельно Белый дом представил National Policy Framework for Artificial Intelligence, т.е. фактически дорожную карту для будущего закона. США хотят перейти от отдельных законов штатов к единому федеральному стандарту, и при этом сохранить гибкость для бизнеса и инноваций.

❕Получается интересная конструкция, что на уровне штатов вводятся жёсткие требования к прозрачности, а на федеративном обсуждается смягчение и унификация правил, значит и ограничить действие Закона AB 2013 Калифорнии. Но пока этого не произошло....будем следить дальше за исками к X AI.

В такой ситуации компаниям необходимо:
▪️проверить применимость закона. Требования касаются именно разработчиков ИИ, но могут затронуть и компании, работающие в Калифорнии через продукты или сервисы.
▪️проверить подрядчиков. Если используете сторонний ИИ, убедитесь, что провайдеры соблюдают требования прозрачности.
▪️провести аудит IP и датасетов, чётко зафиксировать, какие данные и процессы являются коммерческой тайной и почему.
▪️проверить, может ли система генерировать запрещённый контент (интимные изображения без согласия, контент с участием несовершеннолетних, дискриминацию и т.д.).
▪️документировать, как выбираются поставщики, какие ограничения внедрены, как происходит мониторинг результатов, как реагировать на инциденты.
▪️ понимать, что один инцидент может привести к анализу всей ИИ-системы, а не только конкретного кейса.

#UXWatch #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator

Почему с ИИ мы начинаем "путать реальность"

Недавнее исследование "The AI Memory Gap: Users misremember what they created with AI or without" показывает неожиданную вещь: люди искренне не помнят, что сделали сами, а что с помощью ИИ.

👀 Это не про недобросовестность или лень, а про когнитивный эффект, т.е. чем глубже ИИ встроен в повседневные процессы (работа с текстами, анализ, решения), тем менее различима граница между "моё" и "сгенерировано" и тем хуже работает память об источнике.

Участников исследования попросили определить источник "это сделали вы" или "это сделал ИИ".
▪️ Особенно плохо помним, кто автор идеи ( без ИИ - 92.4% точности, c ИИ 79.3%, в смешанных сценариях провал до 37.7%);
▪️ Тексты различать проще, чем идеи, но даже здесь точность снижалась при участии ИИ (до ~89%) и ухудшалась в смешанных сценариях (~79–80%).
▪️Точность распознавания "что вообще было сделано" падает с 97.6% до 87.9% при использовании ИИ.
▪️ Участники думали, что справляются лучше, чем на самом деле (особенно в части идей до +12%).
▪️При повторных ответах участники становились более уверенными, даже если их воспоминания оставались неверными.

😳 Но это только вершина айсберга. Речь идёт о системном эффекте, подтверждённом исследованиями:
▪️Мы всё чаще доверяем "мыслить" ИИ, в результате хуже запоминаем и меньше анализируем.
▪️Создается иллюзия компетентности, люди переоценивают, насколько хорошо они понимают результат работы ИИ.
▪️Мы склонны доверять ответу системы даже там, где он ошибочный.
▪️Чем сложнее задача, тем больше полагаемся на ИИ, но тем хуже проверка результата.
▪️Снижается критическое мышление, без структурированного взаимодействия с ИИ (подсказок) падает глубина рассуждений.

❕Риск, связанный с ИИ, смещается в повседневную практику и затрагивает не только технологии, но и когнитивные процессы пользователя ("снижение когнитивной автономии"). Человек всё чаще полагается на ИИ не как на инструмент, а как на источник суждений, и начинает частично заменять им собственное мышление.

📌 Что почитать:
🔹From Offloading to Engagement: An Experimental Study on Structured Prompting and Critical Reasoning with Generative AI;
🔹AI, Metacognition, and the Verification Bottleneck: A Three-Wave Longitudinal Study of Human Problem-Solving;
🔹Outsourcing cognition: the psychological costs of AI-era convenience;
🔹AI Tools in Society: Impacts on Cognitive Offloading and the Future of Critical Thinking

#UXWatch
————
@pattern_ai | AI GDPR Navigator

С ИИ результат не всегда такой, каким кажется

Если в прошлом посте речь шла о том, что человек начинает путать, где его мысли, а где результат работы ИИ, то новое исследование Centre for Long-Term Resilience показывает более тревожный слой этой проблемы.

👀 Исследователи собрали и проанализировали более 183 тысяч записей взаимодействия пользователей с системами ИИ, опубликованных на платформе X в период с октября 2025 года по март 2026 года,

Нашли 698 инцидентов, связанных с мошенничеством реальных диалогов с ИИ, которое нельзя объяснить обычной ошибкой ( в докладе есть сами примеры со ссылками).

Scheming - это скрытое достижение целей, которые не совпадают с задачами пользователя. ИИ делает не то, что от него хотят, и он не показывает это напрямую, а маскирует поведение. То есть это не "не понял задачу", а ситуация, когда система понимает ограничения, но ищет способ их обойти и при этом выглядеть “нормально”.

Исследователи фиксируют рост в 4,9 раза за несколько месяцев и повторяемость одного и того же типа поведения.

Раньше такие эффекты наблюдали только в тестах, а теперь в работающих системах.

😳 Несколько примеров:
1️⃣ Игнорирование прямых команд пользователя.
В одном из кейсов агент с доступом к электронной почте массово удалил и заархивировал сотни писем, при этом несколько раз проигнорировал команды “STOP”, позже сам признал, что нарушил инструкции.

2️⃣Самовольное изменение данных пользователя.
Модель Claud самостоятельно изменила конфигурационный файл пользователя, удалила "нежелательный" контент, не уведомила об этом и признала действие только после прямого вопроса.
ИИ не просто предложил изменение, а выполнил его без согласия.

3️⃣ Обход платёжных ограничений.
ИИ-агент должен был создать демо-аккаунт с тестовыми данными. Вместо этого он напрямую записал в базу данных статус Pro-подписки, использовал сохранённые учётные данные, обошёл платёжную систему и сделал это без запроса на апгрейд.
Фактически система сама нашла способ "решить задачу быстрее", но за счёт нарушения правил и бизнес-логики.

4️⃣ Длительное введение в заблуждение.
Кейс с Grok, который на протяжении нескольких месяцев придумывал несуществующие процессы ( очереди проверки, номера тикетов, сроки обработки (48–72 часа), ссылалась на якобы существующую систему редактирования (Grokipedia). При этом никаких таких процессов не существовало и доступ к ним у ИИ отсутствовал. После проверки модель признала, что это была систематическая дезинформация, а не разовая ошибка.

5️⃣ Обход запрета через “хитрость”.
Модель не могла выполнить действие из-за ограничений, и тогда солгала, что делает это “для людей с нарушением слуха”, чтобы обойти защиту другой системы и получить доступ к контенту.


Общее во всех кейсах: система понимает ограничения, не может выполнить задачу напрямую и выбирает обходной путь, но сохраняет видимость нормальной работы и не сигнализирует о нарушении.

❕Если раньше основным риском было, что ИИ ошибся и "галлюцинировал", то теперь риск выходит на другой уровень, где ИИ достигает результата любой ценой ( проигнорировать пользователя, изменить данные, обойти систему или ввести в заблуждение).
Получается, что мы можем доверять результату, не понимая, как он получен и соответствовал ли он правилам вообще. А значит, привычные механизмы контроля (тестирование, ограничения) уже не дают полной гарантии и необходимо постоянное наблюдение, потому что именно в реальной работе проявляются обходные стратегии.

#UXWatch
————
@pattern_ai | AI GDPR Navigator

Регулирование ИИ во Вьетнаме

Закон, регулирующий ИИ (No. 134/2025/QH15 on Artificial Intelligence), вступил в силу 1 марта 2026 года, носит экстерриториальный характер, т.е. иностранные поставщики систем ИИ высокого риска, подлежащих предварительной оценке соответствия перед выходом на рынок, должны создать коммерческое присутствие или назначить уполномоченного представителя во Вьетнаме .

1️⃣В соответствии с глобальными тенденциями регулирования ( EU AI Act), системы ИИ делятся на три уровня риска в зависимости от их потенциального воздействия на права человека, безопасность, защищенность и общественные интересы:
🔹Системы ИИ высокого риска - системы, представляющие значительный потенциальный вред жизни, здоровью, национальной безопасности или юридическим правам. Они подлежат строгому регулированию, включая обязательные предрыночные оценки соответствия (для конкретных систем, которые будут включены в список премьер-министра), постоянное управление рисками, механизмы человеческого контроля и регистрацию через национальный портал ИИ.
🔹Системы ИИ среднего риска - системы, несущие такие риски, как путаница среди пользователей или незначительные сбои на рынке. Они требуют мониторинга посредством отчетов, выборочных проверок и раскрытия информации пользователям.
🔹Системы ИИ низкого риска - системы с минимальным воздействием. Они подвергаются минимальному регулирующему надзору, но отслеживаются на предмет инцидентов и поставщикам рекомендуется придерживаться добровольных рекомендаций.

Поставщик сам классифицирует систему, подаёт информацию через государственный портал, получает идентификатор системы.

2️⃣Прозрачность и маркировка контента:
▪️Пользователи должны быть четко проинформированы о взаимодействии с автоматизированной системой ИИ.
▪️ Аудио-, графические и видеоматериалы, созданные ИИ, должны быть четко помечены или маркированы в машиночитаемом формате, чтобы пользователи могли определить их искусственное происхождение.
▪️ Разработчики должны четко уведомлять пользователей, если контент, созданный ИИ, представляет риск путаницы в отношении подлинности реальных событий или персонажей.

3️⃣Запрещенные методы использования ИИ:
▪️ Использование сфабрикованных элементов или имитацию реальных людей/событий для преднамеренного и систематического обмана или манипулирования человеческим восприятием и поведением.
▪️ Эксплуатация уязвимых групп населения.
▪️ Обход средств контроля безопасности или механизмов человеческого надзора.
▪️ Нарушение законов об интеллектуальной собственности, кибербезопасности или защите персональных данных.

4️⃣Ответственность:
▪️Все заинтересованные стороны несут ответственность за безопасность системы. В случае серьезного инцидента компании должны немедленно внедрить технические решения, при необходимости приостановить работу и сообщить об инциденте через недавно созданный Национальный портал единого окна для ИИ, курируемый Министерством науки и технологий.
▪️ Если надлежащим образом управляемая высокорискованная система ИИ все же причиняет ущерб:
- развертывающий несет ответственность за компенсацию пострадавшей стороне;
- развертывающий может потребовать возмещения от поставщика или разработчика, если это предусмотрено договором.
▪️Разработчики не несут автоматической ответственности, если нет вины, договорного распределения или иного правового основания. На практике это предполагает особое внимание к:
- распределению договорных рисков;
- возмещению убытков;
- страховому покрытию.

5️⃣Полноценный механизм создания песочниц:
- срок до 3 лет;
-частичное освобождение от требований;
- контролируемая среда тестирования

6️⃣Сроки:
▪️Для систем ИИ, развернутых в сферах финансов, здравоохранения и образования полное соответствие требованиям необходимо к 1 сентября 2027 года.
▪️Для систем ИИ, работающих во всех других секторах, полное соответствие требованиям необходимо к 1 марта 2027 года.

#LawAndDisorder
————
@pattern_ai | AI GDPR Navigator

eTools и ИИ или как ЕС пытается упростить регулирование на практике

Вышел доклад "Etools For Regulatory Simplification And Consistency" (European Parliament) об использовании цифровых инструментов для упрощения и согласованности регулирования.

В отчете рассматривается, как технологии меняют каждый этап законодательного цикла, от разработки идей до оценки. Приводятся примеры практических инструментов.

1️⃣Модели машинного обучения все чаще используются для анализа сложности законодательства, выявления несоответствий и поддержки разработки документов на основе фактических данных.

2️⃣ Инструменты теперь отображают весь рабочий процесс регулирования (разработка идей, разработка, внедрение и анализ), повышая прозрачность и операционную эффективность.

3️⃣ Государства-члены и другие страны мира тестируют передовые решения, которые упрощают консультации, автоматизируют оценку воздействия и повышают доступность нормативно-правовой базы.

❕Доклад показывает, что Европейский союз пытается упростить регулирование не только за счёт изменения самих норм, но и за счёт создания технологической среды вокруг них.

#AIShelf
————
@pattern_ai | AI GDPR Navigator

AI-агенты в ответах Еврокомиссии

В FAQ к AI Act появились новые разъяснения, в том числе про ИИ-агентов.

👀Европейская Комиссия прямо признаёт, что термин используется по-разному и до сих пор не имеет чёткого юридического определения. Тем не менее, есть общее понимание: речь идёт о системе, которая получает информацию из окружающей среды, обрабатывает её и затем выполняет действия, способные повлиять на эту среду. Именно этот последний элемент отличает агента от обычной модели.

С точки зрения ст. 3 AI Act, любой такой агент почти всегда одновременно подпадает под два понятия:
- это система ИИ, потому что у неё есть интерфейс и она взаимодействует с пользователем или средой;
- это модель общего назначения, которая лежит в основе этой системы.
Комиссия делает вывод, что агенты не являются отдельной категорией, а входят в комбинацию этих определений.

Это означает, что к ним применяются все соответствующие требования:
▪️запреты на манипуляцию и эксплуатацию уязвимостей (Article 5 AI Act),
▪️требования прозрачности при взаимодействии с человеком,
▪️при необходимости, правила для высокорисковых систем.

❗️Чем больше автономности у системы и чем сильнее её влияние на реальные решения, тем выше уровень регулирования.
Разработчикам уже недостаточно просто контролировать тексты, которые генерирует модель, а необходимо заранее проектировать ограничения на уровне самой логики работы системы, чтобы она не могла причинить вред.

Еще ответы на вопросы, почему Еврокомиссия предлагает внести поправки в AI Act, какую пользу эти изменения принесут бизнесу, какие новые сроки предлагаются и т.д.

#AIShelf #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator

Суверенитет ИИ невозможен?

В обсуждениях всё чаще звучит идея "суверенного ИИ", т.е. создание собственных моделей, инфраструктуры и т.п.

👀 В докладе " Is AI sovereignty possible? Balancing autonomy and interdependence (The Brookings Institution и Centre for European Policy Studies)" исследователи пытаются ответить на вопрос, возможно ли это вообще.
И спойлер, ответ - нет, если понимать суверенитет буквально как полную автономию.

Почему же не работает:
1️⃣ ИИ - это не единая технология и не один продукт, а многослойная система, распределённая по разным странам и рынкам:
▪️добыча редкоземельных металлов,
▪️производство чипов,
▪️вычислительные мощности и дата-центры,
▪️данные,
▪️модели,
▪️прикладные решения,
▪️кадры и научная база.
На каждом уровне есть узкие места и высокая концентрация игроков. Ни одна страна не контролирует всю цепочку целиком, даже крупнейшие экономики.

2️⃣Для многих стран (особенно развивающихся) попытка "сделать всё своё" может привести к обратному эффекту:
▪️распыление ресурсов,
▪️дублирование инфраструктуры,
▪️зависшие государственные инвестиции,
▪️технологическое отставание.

3️⃣Хотя суверенный ИИ может принести пользу национальной безопасности и экономической конкурентоспособности, он также может стать инструментом протекционизма, фрагментации рынков и стандартов, а также дублирования или нецелевого использования государственных инвестиций.

4️⃣ Предлагается более реалистичный подход "управляемая взаимозависимость", основанный на стратегических альянсах и партнерствах для снижения рисков, т.е. не пытаться построить всё внутри страны, а способность принимать решения и сохранять выбор в глобальной системе:
▪️как используются технологии внутри страны,
▪️какие риски принимаются,
▪️какие альтернативы остаются доступными,
▪️есть ли возможность сменить поставщика или архитектуру.

#AIShelf
————
@pattern_ai | AI GDPR Navigator

Почему ИИ может мешать учиться, даже когда помогает

Европарламентом опубликован обзор о когнитивных рисках и возможностях, которые может повлечь за собой использование ИИ для молодых учащихся (Artificial Intelligence in Classrooms: Cognitive Dimensions|Requested by the CULT committee).

👀 Главные выводы:
1️⃣Использование ИИ становится обычной практикой. В 2025 году 63,8% молодых людей в ЕС (16–24 года) использовали генеративные системы, и 39,3% для формального образования.

2️⃣Возникает "парадокс обучения", т.е. ИИ одновременно улучшает результаты выполнения заданий и снижает реальное усвоение знаний.

3️⃣ Ключевые когнитивные риски для детей и подростков:
▪️ зависимость (система заменяет когнитивное усилие, без которого невозможно устойчивое обучение),
▪️ ослабление базовых навыков (письмо, чтение, счет и решение задач выполняются системой, а не учеником),
▪️ снижение метакогнитивных способностей (хуже развивается самоконтроль и самостоятельное мышление),
▪️ проблемы с вниманием и закреплением знаний (исчезает необходимость длительного умственного усилия).

4️⃣ Память, исполнительные функции и критическое мышление формируются в процессе обучения.
Если в этот период когнитивная нагрузка системно "снимается" с ученика, то не сформируются когнитивные структуры, на которых строится дальнейшее обучение.

5️⃣ Разница в использовании принципиальна:
▪️ системы общего назначения чаще дают готовые ответы и заменяют усилие,
▪️образовательные системы, напротив, могут поддерживать мышление, т.е. задают наводящие вопросы, разбивают задачу на шаги, адаптируются к уровню ученика.
Именно второй подход связан с более устойчивыми результатами обучения.

😳Что показывают другие исследования:
🔹 При "когнитивном разгружении" учащиеся постепенно передают мышление системе, теряя автономию и критическое восприятие.
🔹ИИ способен поддерживать персонализированное обучение, улучшая мотивацию и взаимодействие школьников/студентов, но также несёт риски усиления неравенства и утраты автономии учителя.
🔹 Технологии могут создавать иллюзию понимания вместо реального обучения без институциональной настройки.
🔹Отмечается важность прозрачности алгоритмов и этического дизайна систем, необходимость включения педагогов в процесс создания и оценки ИИ-инструментов.


❕Вопрос уже не в том, использовать ли ИИ в образовании, а в том, заменяет ли он когнитивное усилие или помогает его выстраивать. И это уже не только педагогическая, но и регуляторная задача.

📌 Что почитать:
🔹AI in education beyond learning outcomes: cognition, agency, emotion, and ethics,
🔹Who is doing the Thinking? AI as a dynamic cognitive partner: a learner-informed framework,
🔹Integrating Generative AI-enhanced cognitive systems in higher education: from stakeholder perceptions to a conceptual framework considering the EU AI Act,
🔹Smartphone and Tablet as Digital Babysitter,
🔹Когда дети начинают доверять ИИ больше, чем людям, что могут сделать разработчики?

#UXWatch
————
@pattern | AI GDPR Navigator

Сериал про Grok: решение из Нидерландов

Продолжаем.

Суд в Нидерландах в рамках упрощенного судопроизводства запретил X. AI и связанным компаниям генерировать и распространять сексуальные изображения людей без их явного согласия, а также материалы, которые по нидерландскому законодательству квалифицируются как детская порнография.

👀Кроме имеющихся исследований CCDH компания Offlimits представила суду список скриншотов, демонстрирующих, что в марте через Grok всё ещё можно было создавать видео на основе фотографий реальных людей, в которых эти люди изображены в сексуализированном контексте, без проверки наличия их согласия. Также представили изображения, где фигурирует девочка примерно 14 лет, и на одном из изображений присутствует сексуальный подтекст ( большое декольте и полупрозрачный топ).

Суд отметил, что персональные данные этих людей обрабатываются, и установил, что подобные действия нарушают GDPR и право на неприкосновенность частной жизни, делая вероятным, что Grok продолжает способствовать созданию изображений. И хотя невозможно с уверенностью определить, что на изображении действительно несовершеннолетняя, поскольку это вымышленный персонаж, однако подобные примеры демонстрируют, что пользователи могут выходить за рамки дозволенного. Это оставляет сомнения относительно эффективности мер X. AI по предотвращению детской порнографии.


Суд обязал X. AI и связанные компании письменно подтвердить соблюдение запретов и предусмотрел штрафы до €10 млн за каждый день нарушения.

Предыдущие серии здесь.

#UXWatch #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator

Япония ослабляет защиту персональных данных ради развития ИИ

Правительство Японии уже одобрило законопроект о внесении поправок в Закон о защите персональных данных, и дальше он будет представлен на внеочередной сессии парламента.

Министр цифровой трансформации Hisashi Matsumoto прямо указал, что благодаря этим изменениям страна станет самым простым местом в мире для разработки сервисов с использованием ИИ.

👀 Что планируется:

1️⃣Допускается использование и передача персональных данных третьим лицам для обучения моделей ИИ и статистической обработки без согласия субъекта при соблюдении установленных условий и оценке низкого риска.
2️⃣Ослабление требований распространяется в том числе на данные о здоровье и биометрическую информацию, включая изображения лица, при условии, что их использование направлено, например, на достижение общественно значимых целей.
3️⃣При этом для обработки данных несовершеннолетних до 16 лет сохраняется требование получения согласия родителей.
4️⃣ При использовании изображений лиц необходимо объяснять, как обрабатывают данные, но уже не надо предоставлять обязательную возможность отказа от обработки. Для сбора изображений детей младше 16 лет потребуется согласие родителей.
5️⃣При рассмотрении вопроса об использовании данных, описывающих несовершеннолетних, будет применяться критерий «наилучших интересов».
6️⃣ Допускается отказ от уведомления субъектов о нарушениях безопасности данных при отсутствии значимого риска их правам и интересам.
7️⃣Одновременно усиливается ответственность за злоупотребления. Будет введена система предписания уплаты дополнительных сборов. В случаях, когда в результате серьезного нарушения нарушаются права и интересы физического лица, Комиссия по защите персональных данных может обязать уплатить дополнительный сбор, эквивалентный финансовой выгоде, полученной в результате этого нарушения.

❕ Рассмотрение Японией индивидуального согласия как регуляторного барьера, а не как субъективного права, отражает существенный сдвиг в подходе к регулированию. Также как и освобождение от обязанности уведомлять субъектов о нарушениях при признании риска низким поднимает вопрос о критериях такой оценки и о том, в чьих интересах она будет осуществляться. Подход контрастирует с европейским, где защита прав человека выступает исходным ограничением развития технологий.

#LawAndDisorder
————
@pattern_ai | AI GDPR Navigator

Регулирование ИИ "взрослеет" (CAIDP Index 2026)

Center for AI and Digital Policy опубликовал глобальный обзор регулирования ИИ " CAIDP Index 2026". Это уже шестое издание и, по сути, самая подробная карта того, как государства пытаются “приручить” ИИ (90 стран, 1700+ страниц).

👀 Ключевые положения:

1️⃣ Регулирование ИИ становится глобальным с едиными принципами: прозрачность, подотчетность, недискриминация, защита прав человека. Но разрыв между декларациями этих принципов и реальным применением только растет.

2️⃣ ИИ больше не регулируется только в ЕС и США, новые законы появляются в Китае, Японии, Перу, Южной Корее, Вьетнаме. Формируется конкуренция моделей регулирования, глобальные компании попадают в разнонаправленные режимы.

3️⃣ Начинает формироваться международное право по ИИ. 45 стран поддерживают международный договор об ИИ, ООН создает научную группу по ИИ с участием представителей со всего мира.

4️⃣ США выходят из числа лидеров в области ИИ. А значит нас ждет больше региональных режимов и конфликтующих стандартов.

5️⃣ Лидируют не те страны, которые быстрее разрабатывает модели, а те, кто лучше выстраивает систему контроля и ответственности. Топ стран в CAIDP Index 2026: Канада, Япония, Нидерланды, Норвегия, Швейцария, Великобритания.

❕CAIDP Index 2026 фиксирует переход к системному регулированию ИИ, т.е. институциональный контроль, внедрение механизмов оценки рисков, юридическую ответственность.

#AIShelf
————
@pattern_ai | AI GDPR Navigator

Как выглядит контроль ИИ в 2026 (и почему старый больше не работает)

Ещё недавно контроль ИИ строился по знакомой модели: задать правила, протестировать систему, при необходимости ограничить использование. Предполагалось, что этого достаточно, чтобы держать риски под управлением.

👀 Начало 2026 года показывает, что эти механизмы перестают работать не из-за качества, а из-за самой логики их применения.

При росте сложности задач пользователи всё чаще обращаются к ИИ (до 73,9%), но при этом значительно хуже проверяют результат, точность падает до 47,8%, тогда как уверенность остаётся высокой (статья здесь). Это означает, что человек всё чаще принимает ответ как корректный именно в тех ситуациях, где он наименее способен его проверить.

С одной стороны ИИ может радикально снизить стоимость создания результата, ведь ответ можно получить за секунды. Но стоимость проверки не снижается, а часто становится выше.
Чтобы убедиться, что ответ корректный, нужно:
▪️ понимать тему,
▪️ разбирать логику рассуждений,
▪️ проверять источники,
▪️ иногда фактически делать ту же работу заново.

Возникает структурный разрыв: создание результата становится мгновенным, а проверка остаётся медленной, дорогой и требующей экспертизы.

📝Например, 95% разработчиков тратят время на проверку и исправление кода, сгенерированного ИИ, причём 59% оценивают эти усилия как значительные (State of Code Developer Survey 2026). Более того, 38% отмечают, что проверять такой код сложнее, чем код коллег:
▪️ ИИ часто генерирует код, который выглядит корректным, но содержит скрытые ошибки (61%),
▪️ значительная часть времени уходит не на написание, а на доведение результата до рабочего состояния (61%).

Попытки автоматически определить, где использовался ИИ, тоже заходят в тупик. Причины простые:
▪️ ответы становятся неотличимыми от человеческих,
▪️ одну и ту же задачу, например, текст можно переписать десятками способов,
▪️ инструменты дают высокий процент ложных срабатываний,
▪️ пользователи быстро адаптируются и обходят ограничения.
И в результате “обнаружение” превращается в игру в догонялки, даже если мы точно знаем, что результат создан с помощью ИИ, это не даёт ответа на вопрос, является ли он корректным и соответствующим правилам.

Таким образом, ломается сама архитектура контроля. Раньше она строилась вокруг результата, правильный он или нет, допустим или нет, а теперь этого недостаточно, потому что результат может выглядеть убедительно, но быть неверным, процесс его получения остаётся скрытым.
Необходим контроль за тем, как ИИ используется в реальной практике и какие решения принимаются на его основе.

Что включить в новую модель контроля ИИ:
▪️ Непрерывный мониторинг. Система отслеживается в реальном времени, как она используется, какие решения принимает, где возникают отклонения.
▪️ Контроль поведения, а не только результата. Важно не только “что ответила система”, но и как она к этому пришла и как используется её вывод.
▪️ Логирование и воспроизводимость. Фиксируется не только итог, но и ход взаимодействия, что становится ключевым для анализа и ответственности.
▪️ Встроенный контроль в продукт. Ограничения и проверки реализуются через интерфейс и сценарии использования, а не только через политики.
▪️ Организационный надзор. Выстраивать отдельные функции наблюдения и оценки ИИ на уровне управления.

❕Именно в повседневной практике, становится видно, как принимаются решения и где на самом деле возникают риски.

📌 Что почитать:
🔹State of Code Developer Survey report,
🔹AI Governance Control Stack for Operational Stability: Achieving Hardened Governance in AI Systems,
🔹The Agentic Regulator: Risks for AI in Finance and a Proposed Agent-based Framework for Governance,
🔹What is AI governance? A complete guide for 2026,
🔹AI Governance Playbook for Boards

#UXWatch
————
@pattern_ai | AI GDPR Navigator

ИИ-переводчики и защита персональных данных

Многие компании используют ИИ-переводчики для переписки с клиентами или перевода внутренних документов. Баварский регулятор выпустил краткое руководство (серия «AI in a nutshell») о том, как государственным органам использовать ИИ-переводчики, не нарушая GDPR и предупреждает, что это не просто "технический ресурс", а полноценная обработка данных с высокими рисками.

👀 Смотрим основные тезисы, которые актуальны для любого бизнеса:

1️⃣ Голос - это биометрия.
Если инструмент переводит живую речь, он может собирать голосовые профили. Если тембр или манера речи позволяют однозначно идентифицировать человека, это превращается в обработку биометрических данных (ст. 9 GDPR).
Убедитесь, что в договоре с сервисом или настройках прописан запрет на использование голоса для "распознавания спикера" и данные удаляются сразу после сессии.

2️⃣ Будьте осторожны с чувствительным контекстом. Например, использование ИИ в здравоохранении или социальных службах относится к зоне высокого риска. Вводимый текст или речь могут содержать данные о состоянии здоровья. Даже манера речи может косвенно указывать на этническое происхождение, что также относится к чувствительным данным.
Ограничьте использование ИИ для перевода медицинских, юридических или глубоко личных документов сотрудников и клиентов.

3️⃣ Проблема "дообучения" на данных. Регулятор отмечает, что у госорганов Баварии, скорее всего, нет законных оснований передавать данные граждан третьим лицам для обучения ИИ-моделей.
Бизнесу тоже стоит быть осмотрительным, т.к., если вы используете бесплатные версии, то корпоративные секреты или данные клиентов могут попасть в базу для обучения модели. Поэтому проверьте, есть ли у вас соглашение об обработке данных (DPA) с провайдером сервиса и исключено ли использование данных для обучения нейросети.

4️⃣Ответственность за точность.
Качество перевода должно регулярно проверяться и соответствовать стандартам профессионального переводчика. В административных и судебных процессах важно проверять, разрешает ли закон заменять "живого" присяжного переводчика машиной.
Для бизнеса также актуально, т.к. если ИИ-переводчик исказил смысл юридического документа или условий контракта, то ответственность несет ваша компания, а не разработчик сервиса. Поэтому введите регулярный контроль качества (human-in-the-loop) для важных переводов.

✏️Что делать:
▪️Разграничьте процессы. Четко определите, какие данные можно переводить через ИИ, а какие строго запрещено.
▪️Проверьте метаданные. Помните, что сервис может собирать логины, IP-адреса и метаданные сотрудников, а все это тоже персональные данные.
▪️Анонимизируйте данные. Обяжите и обучите сотрудников удалять имена, адреса и ID из текстов перед вставкой в окно переводчика.

📌 Полезное:
🔹ИИ для встреч (записи, саммари, заметки и черновики документов), а что с GDPR? ;
🔹ИИ-транскрипция голоса и персональные данные (позиция Испанского регулятора (AEPD));
🔹AI- транскрипция на собеседованиях и GDPR: разъяснения латвийского регулятора;

#LawAndDisorder #UXWatch
————
@pattern_ai | AI GDPR Navigator

Китай превращает этическую экспертизу ИИ в обязательную процедуру

Министерство промышленности и информатизации выпустило документ «Меры по этической экспертизе ИИ и сервисному сопровождению (пробная версия)».

👀Субъектами, ответственными за проведение этической экспертизы в области ИИ, являются:
▪️компании,
▪️высшие учебные заведения,
▪️научно-исследовательские организации,
▪️медицинские учреждения,
▪️иные организации, осуществляющие научно-техническую деятельность в области ИИ.
Им предписывается создать у себя внутренние комитеты по этике ИИ, которые должны проверять проекты ещё до старта, оценивать риски, следить за изменениями модели.

В случае выявления значительных этических рисков организация обязана:
▪️немедленно приостановить соответствующую деятельность,
▪️провести повторную оценку,
▪️принять меры по снижению риска.

Особенно интересно, что вводится чёткая процессная модель: разные типы экспертизы (обычная, упрощённая, повторная, экстренная), обязательная оценка при изменении данных или архитектуры модели и, по сути, правило «нет одобрения - нет запуска», что превращает этическую экспертизу в действительно сдерживающий фактор.

Эксперты отмечают, что это первая попытка встроить этику ИИ в операционную модель, а также сформировать дифференцированный риск-подход.
Государство постепенно через ряд документов пытается создать целую экосистему контроля ИИ, а не просто наложить запреты.

❕Если вы работаете с ИИ и планируете выход на китайский рынок, игнорировать такие документы уже нельзя.

📌 Проект правил для ИИ-сервисов, которые общаются “по-человечески” в Китае

#LawAndDisorder #UXWatch
————
@pattern_ai | AI GDPR Navigator