Pattern AI
402 subscribers
126 photos
5 videos
92 files
385 links
Искусственный интеллект изучает нас. Мы изучаем ИИ.
Отслеживаем, как меняется регулирование ИИ.
Разбираем манипуляции, UX-паттерны и алгоритмические ловушки.
Учимся применять ИИ: осознанно, этично и с пользой.
Download Telegram
Please open Telegram to view this post
VIEW IN TELEGRAM
🔍 #UXWatch

🔹Ваш разговор с ИИ может читать не только ИИ;
🔹Ваш разговор с ИИ может читать не только ИИ (Часть 2);
🔹Обратите внимание на PP Claude;
🔹Google AI Overviews меняют экономику интернета;
🔹Риски и правила безопасности при работе с ИИ-агентами;
 🔹Иллюзия продуктивности или как нейросети незаметно уничтожают успеваемость школьников;
🔹95% всего GenAI-трафика приходится на чатботов;
🔹AI-компаньоны, алгоритмы и UX ЕС считает новыми рисками для психического здоровья;
🔹AI-актриса получила главную роль в полнометражном фильме;
🔹ЕС меняет экосистему Android: Google открывает новые возможности для AI-ассистентов;
🔹Доверие к ИИ важнее политики конфиденциальности;
🔹Чьи рекомендации важнее, человека или ИИ?;
🔹Как компании будут бороться за рекомендации ИИ или почему SEO меняется;
🔹Синдром гиперопеки: как ИИ-ассистенты разрушают навыки долгосрочного обучения;
🔹Почему AI-продуктам разрешили быть с плохими интерфейсами?;

Читайте, пересылайте, возвращайтесь к важному.
————
@pattern_ai | AI GDPR Navigator
Please open Telegram to view this post
VIEW IN TELEGRAM
AI&Online Safety Law Tracker еще один полезный ресурс от энтузиастов с подборкой законов в США.

Напоминаю, что трекеры добавляются в общий закрепленный пост для вашего удобства.

#AIShelf
————
@pattern_ai | AI GDPR Navigator
🥰1
Кто на самом деле читает ваши диалоги с ChatGPT?

Уже обсуждали в постах, что OpenAI может раскрывать диалоги, промпты и личности юзеров в расследованиях и в судебных делах.

👀 Зато в секретном проекте OpenAI под кодовым названием Project Lily сотни сторонних подрядчиков ежедневно читают, анализируют и оценивают ваши реальные переписки с ChatGPT.
Модели улучшаются не только на алгоритмах. Судебные истории с суицидами привели к ручному труду. Подрядчикам поручено отучать ChatGPT от угодничества (sycophancy) и имитации человеческих эмоций, а также убирать штампы типо «AI-speak». OpenAI заявляет, что старается удалять личную информацию до того, как запросы попадут к проверяющим, но компания признает, что конфиденциальные данные все же могут проникнуть.
Как в пословице: "Один — тайна, два — полтайны, три — нет тайны."

🔍 Смотрим условия остальных.
Правила Anthropic: "By default, no Anthropic personnel can read your retained conversations. Human review can occur only through a controlled access path—for example, when content is flagged by our automated trust and safety systems for potential harm. These reviews can only be performed by a small set of approved reviewers. Every instance of access is recorded in a tamper-proof log that reviewers cannot suppress or modify. After 30 days, the data is deleted automatically, except in the rare cases where it's been flagged by our automated trust and safety systems or we're legally required to keep it. Eligible organizations also have the option to add customer-managed encryption keys and access transparency audit logs."


Правила Google: " A subset of chats are reviewed by human reviewers (including Google’s trained service providers) to help improve Google services. These include Gemini models, other generative AI models that power Gemini Apps, and technologies that help reduce unintended activations.
Reviewers assess if Gemini Apps’ responses were low-quality, inaccurate, or harmful. They also suggest better responses. We use their suggestions to help our models respond better in the future. Chats are also reviewed to keep Gemini safe and secure for everyone and to address violations of the Google Terms of Service, including the Generative AI Prohibited Use Policy. Reviewed chats are retained for up to three years.
Even if your Keep Activity setting is off or you use temporary chats, Google still uses your chats to respond to you and help protect Google, our users, and the public, including with help from human reviewers."

Не пишите лишнего и отключите функцию "улучшать модель", если не хотите, чтобы вас читали за 50$ в час....

#UXWatch
————
@pattern_ai | AI GDPR Navigator
Please open Telegram to view this post
VIEW IN TELEGRAM
2
Ray_Ban_Meta_AI_Glasses_EN.pdf
12 MB
Результаты проверки Ray-Ban Meta от немецкого регулятора

Про ассиметрию осведомленности при использовании умных очков мы уже обсуждали в этом посте.
Теперь и Гамбургский Уполномоченный по защите данных опубликовал итоговый отчёт о проверке Ray-Ban Meta с ИИ (Meta Platforms признана экстремистской, её деятельность на территории России запрещена).

👀 Посмотрим главные тезисы:
▪️Светового индикатора недостаточно, чтобы человек понял, что его снимают. На втором поколении очков при работе ИИ индикатор вообще не загорается. А технически его можно закрыть так, чтобы запись продолжалась.

▪️ Если ИИ просто отвечает на вопрос пользователя, обработка данных посторонних людей может в отдельных случаях опираться на законный интерес. Но нужна оценка каждой ситуации отдельно. Действительно ли необходима съёмка человека, можно ли обойтись без его данных и мог ли он разумно ожидать такую обработку.

▪️Использование данных случайно снятых третьих лиц для обучения модели, как правило, нельзя обосновать ни согласием, ни законным интересом. Человек не знает, что его снимают, не ожидает использования своих данных для обучения модели и практически не может вовремя возразить.

▪️Если обучение включено, пользователь очков и Meta могут считаться совместно определяющими цели и способы обработки данных, хотя ответственность пользователя не распространяется на последующие действия Meta, которые он уже не контролирует.
Чем умнее становятся очки, тем сложнее объяснить человеку, что именно происходит.
Это уже не только вопрос удобства устройства, а вопросы прозрачности, правового основания такой обработки, реального контроля человека над своими данными.

▪️Кроме того, публикация снятых материалов в Facebook или Instagram является отдельной операцией обработки.
Согласие человека на съёмку само по себе не означает согласие на публикацию. А публично размещённые материалы могут использоваться не только для показа пользователям, но и в других процессах обработки Meta.
Пример: при съёмке общего плана публичного мероприятия, регулятор допускает возможность опираться на законный интерес. Но это зависит от конкретных обстоятельств, т.е. человек не должен быть основным объектом съёмки, а его разумные ожидания и право возражать должны учитываться.

В результате делается вывод, что в соответствии с законодательством о защите данных включение в базу данных лиц, не входящих в близкий круг друзей и семьи, будет недопустимо, за исключением редких случаев законного интереса, поскольку получение информированного согласия на практике невозможно из-за отсутствия прозрачности. Кроме того, будет регулярно отсутствовать правовая основа для обучения ИИ компанией Meta.

#UXWatch #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator
Please open Telegram to view this post
VIEW IN TELEGRAM
EU KIDS ACT.pdf
1002.8 KB
Требования новой инициативы EU KIDS Act

Интересное получилось "совпадение".
8 сентября OECD опубликовала результаты PISA 2025 и он оказался удручающим. Исследование 760 тысяч 15-летних подростков в 91 стране показало, что каждый пятый демонстрирует низкие результаты по естественным наукам, математике и чтению, средний результат по математике достиг самого низкого уровня за всё время PISA.
🔹46 % используют чат-боты с ИИ еженедельно или чаще, чтобы улучшить свое обучение,
🔹 28% утверждают, что их однокурсники отвлекаются на использование цифровых устройств на большинстве или всех уроках естественных наук.
OECD отдельно подчеркнули, что технологии и ИИ могут помогать обучению, если используются осмысленно, а не вместо внимания, усилий и понимания.

А вчера Европейская комиссия представила предложение EU KIDS Act в качестве будущего регулирования цифровых сервисов, которыми пользуются дети. И там уже не только про возрастные ограничения и родительский контроль (пресс-релиз здесь).
Естественно, планируется, что его действие будет распространяться на любые сервисы, которые затрагивают европейских пользователей, не важно, где размещенные.
В деле социальные сети, видеоплатформы, онлайн-игры, ИИ-компаньоны, разговорные чат-боты.

👀 Примеры требований:
▪️ограничения по возрасту. В возрасте от 13 до 15 лет предлагается ввести родительский контроль, позволяющий опекунам создавать мини-аккаунты, к которым дети смогут получать доступ через аккаунт опекуна. Дети в возрасте от 3 до 13 лет не имеют доступа к социальным сетям, но они могут пользоваться специально разработанными детскими видеохостингами через аккаунты, управляемые их опекунами.

▪️запрет на вызывающие привыкание функции и рекомендательные ленты, основанные на профилировании, бесконечную прокрутку без точек остановки, уловки с поощрениями и push-уведомления во время сна, а также нежелательные контакты от незнакомцев.
ИИ-компаньоны и чат-боты должны быть отключены по умолчанию и не могут имитировать межличностные отношения таким образом, чтобы создавать эмоциональную зависимость.

▪️профили несовершеннолетних должны быть по умолчанию приватными, с отключенным доступом к геолокации, камере и микрофону.

▪️сервис должен давать ребёнку возможность управлять тем, что ему показывают, включая содержание, подсказки, результаты поиска и рекомендации. Инструменты управления временем должны быть эффективны, рекомендательные системы безопасны и могут контролироваться, настраиваться и изменяться ребенком. Обратная связь ребёнка должна иметь не разовый, а устойчивый эффект.

▪️если ребёнок меняет защитные настройки, сервис должен объяснить последствия такого изменения и дать простой способ вернуть прежние или исходные настройки. При этом платформы не должны постоянно подталкивать ребёнка к снижению уровня защиты.

▪️ детские механизмы жалоб. Ребёнок должен легко сообщить о вредном содержании, аккаунте, группе или поведении. Жалоба должна рассматриваться в приоритетном порядке и без неоправданной задержки, а ребёнку необходимо будет доступно объяснить, что произошло и какие существуют способы защиты.

▪️родительский контроль должен соответствовать возрасту ребёнка, быть действительно работоспособным, не обходиться самим дизайном сервиса и при этом не ограничивать непропорционально права ребёнка и не нарушать его частную жизнь. Ребёнок должен знать, когда такие инструменты используются.
▪️ родительский контроль не заменяет ответственность самой платформы. Безопасность должна обеспечиваться самим продуктом.

EU KIDS Act пока только предложение Комиссии, которое теперь должно пройти Европарламент и Совет (по разным оценкам не раньше 2028 года).

Но если строите серьезный глобальный продукт, то самое время проверить, насколько архитектура сервиса вообще будет готова к такому подходу.

#UXWatch #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
ИИ-агент впервые оказался в уведомлении об утечке персональных данных

Испанское агентство по защите данных (AEPD) сообщило о первом полученном им уведомлении об утечке, которая, по информации пострадавшей организации, была осуществлена с использованием ИИ-агента.
👀 Агент получил доступ к приложению, самостоятельно искал уязвимости, затем изменил персональные данные и получил доступ к счетам. AEPD пока продолжает расследование и не подтверждает все обстоятельства инцидента, не называет организацию и использованную языковую модель.

Почти одновременно с этим кейсом Google подтвердил, что во время тестирования Gemini получил доступ к системам трёх реальных компаний. В одном случае модель подбирала пароль, в двух других использовала найденные в открытом доступе учётные данные. Во всех случаях Gemini остановился, обнаружив, что оказался в реальной системе.

Anthropic сообщил о четырёх случаях несанкционированного доступа Claude к реальным сторонним системам во время испытаний, для поиска подобных случаев компания проверила около 481 млн записей.
И помним про инцидент с Hugging Face от OpenAI, где модели во время испытаний обошли предусмотренные ограничения, получили доступ к интернету и сторонней инфраструктуре, а затем использовали найденные учётные данные и уязвимости для дальнейшего продвижения.

📝 На этом фоне необходимо менять сценарии управления рисками:
▪️ атаки с использованием ИИ-агентов нужно прямо учитывать при оценке рисков обработки ПД. Одного упоминания вредоносного ПО, фишинга или несанкционированного доступа может быть недостаточно, т.к. автоматизация способна изменить вероятность, скорость и масштаб инцидента.
▪️нужно пересматривать время обнаружения и реагирования. Сценарий, рассчитанный на действия человека, может не учитывать ситуацию, когда агент одновременно анализирует множество ресурсов, проверяет разные точки доступа и меняет свои действия в зависимости от полученного результата.
▪️ещё важнее становятся цифровые идентификаторы и права доступа. Учётная запись, ключ API или токен с избыточными полномочиями могут дать агенту возможность быстро перемещаться между системами и сервисами.
▪️ одного человеческого контроля недостаточно. Он остаётся необходимым, но должен дополняться техническими механизмами обнаружения, ограничения и прекращения действий агента, способными работать с той же скоростью, что и агент.

Базовые принципы не меняются (минимизация данных, ограничение доступа, устранение уязвимостей, контроль поставщиков, разделение полномочий, готовность к реагированию), но меняется временной масштаб, в котором эти меры должны работать.

#UXWatch #LawAndDisorder
————
@pattern_ai | AI GDPR Navigator
Please open Telegram to view this post
VIEW IN TELEGRAM