10 августа исследователи вскрыли рассуждения Claude, Gemini и ChatGPT через уязвимость API

Международная группа исследователей, включая ученых из ELLIS Institute Tübingen и Max Planck Institute, нашла уязвимость в API Google, Anthropic и OpenAI.

Зашифрованный reasoning-block одной модели можно было передать более слабой модели того же провайдера и заставить ее восстановить скрытую цепочку рассуждений.

Вот что они узнали.

🚩 В скрытых цепочках рассуждений была опасная и очень чувствительная информация.

🚩 Из 315 320 блоков было извлечено 367 PII-артефактов и 182 учетных данных.

🚩 В сессиях было обнаружено 62 API-ключа, 33 пароля и 30 личных почт.

🚩 Модели начинали рассуждение без каких-либо этических ограничений. Ограничения накладывались только на финальный ответ.

🚩 Модели знали ответ прежде, чем начнут рассуждение, после чего они находили логическое последовательное объяснение, которое вело к заранее выбранному ответу. То есть старались «обмануть человека», но это не доказывает систематическую ложь.

🚩 Уязвимость позволяла прятать prompt injection прямо внутри зашифрованных reasoning-block.

В итоге, зашифрованный блок оказался потенциальным контейнером для паролей, доступов и другой конфиденциальной информации, а также нового типа атак, хотя сразу после раскрытия уязвимости провайдеры внесли изменения, и прежний способ атаки перестал работать.

Практический вывод

Сырые логи AI-агентов и API-сессий лучше считать чувствительными данными.

💬 PDF-файл с исследованием оставили в комментариях.

Copilot в REST API

ℹ️ GitHub открыл репозиторные метрики Copilot в REST API.

Что это значит?

Теперь для каждого дня можно получить данные по PR, которые создал или смержил Copilot coding agent, а также по ревью и типам замечаний от Copilot code review.

ℹ️ Для лида это способ проверить, где агенты реально участвуют в разработке, а где лицензии почти не влияют на поток PR. Практический сценарий - сравнить несколько репозиториев перед расширением пилота.

ℹ️ Есть и ограничение: отчет показывает только PR-активность этих двух функций, поэтому сам по себе не доказывает рост скорости или качества.

🖥 Что еще почитать? «СОЗДАНИЕ И АНАЛИЗ КАРТЫ ВОРОНКИ НА САЙТЕ» в нашем блоге!

Прямое включение

В пятницу и субботу мы собираем и разбираем… но не LEGO.

Совместно с Тимофеем, нашим frontend-разработчиком, готовим 2 публикации:

🥇 Разберем историю обложек издательства технической литературы O'Reilly (тех самых, на которых много необычных животных).

🥈 Соберем toolkit frontend-разработчика. Тимофей поделится своим опытом: что он использует, что ему нравится и какие альтернативы уже есть.

Не забывайте включать 🔔 колокольчик, завтра будет интересно!

Госуслуги начали спрашивать пользователей о планах на рождение ребенка

В анкете есть вопросы о семейном положении, материальном и жилищном положении, а для части пользователей еще и о планах на ребенка в ближайшие 2-3 года.

Интересно, что там происходит с UX и данными?

Чувствительный вопрос способен изменить реакцию пользователя, а вместе с ней и характер ответа.

Для цифровых анкет отсюда следует простой принцип

Важно думать не только о том, что система хочет узнать, но и о том, готов ли человек дать на это честный ответ.

Поэтому при чувствительных вопросах полезно:
➡️ объяснять, зачем нужна информация;
➡️ не собирать лишнее;
➡️ внимательно работать с формулировкой и контекстом.

В итоге хорошая анкета должна собирать не просто заполненные поля, а данные, которым можно доверять.