10 августа исследователи вскрыли рассуждения Claude, Gemini и ChatGPT через уязвимость API

Международная группа исследователей, включая ученых из ELLIS Institute Tübingen и Max Planck Institute, нашла уязвимость в API Google, Anthropic и OpenAI.

Зашифрованный reasoning-block одной модели можно было передать более слабой модели того же провайдера и заставить ее восстановить скрытую цепочку рассуждений.

Вот что они узнали.

🚩 В скрытых цепочках рассуждений была опасная и очень чувствительная информация.

🚩 Из 315 320 блоков было извлечено 367 PII-артефактов и 182 учетных данных.

🚩 В сессиях было обнаружено 62 API-ключа, 33 пароля и 30 личных почт.

🚩 Модели начинали рассуждение без каких-либо этических ограничений. Ограничения накладывались только на финальный ответ.

🚩 Модели знали ответ прежде, чем начнут рассуждение, после чего они находили логическое последовательное объяснение, которое вело к заранее выбранному ответу. То есть старались «обмануть человека», но это не доказывает систематическую ложь.

🚩 Уязвимость позволяла прятать prompt injection прямо внутри зашифрованных reasoning-block.

В итоге, зашифрованный блок оказался потенциальным контейнером для паролей, доступов и другой конфиденциальной информации, а также нового типа атак, хотя сразу после раскрытия уязвимости провайдеры внесли изменения, и прежний способ атаки перестал работать.

Практический вывод

Сырые логи AI-агентов и API-сессий лучше считать чувствительными данными.

💬 PDF-файл с исследованием оставили в комментариях.

Copilot в REST API

ℹ️ GitHub открыл репозиторные метрики Copilot в REST API.

Что это значит?

Теперь для каждого дня можно получить данные по PR, которые создал или смержил Copilot coding agent, а также по ревью и типам замечаний от Copilot code review.

ℹ️ Для лида это способ проверить, где агенты реально участвуют в разработке, а где лицензии почти не влияют на поток PR. Практический сценарий - сравнить несколько репозиториев перед расширением пилота.

ℹ️ Есть и ограничение: отчет показывает только PR-активность этих двух функций, поэтому сам по себе не доказывает рост скорости или качества.

🖥 Что еще почитать? «СОЗДАНИЕ И АНАЛИЗ КАРТЫ ВОРОНКИ НА САЙТЕ» в нашем блоге!

Прямое включение

В пятницу и субботу мы собираем и разбираем… но не LEGO.

Совместно с Тимофеем, нашим frontend-разработчиком, готовим 2 публикации:

🥇 Разберем историю обложек издательства технической литературы O'Reilly (тех самых, на которых много необычных животных).

🥈 Соберем toolkit frontend-разработчика. Тимофей поделится своим опытом: что он использует, что ему нравится и какие альтернативы уже есть.

Не забывайте включать 🔔 колокольчик, завтра будет интересно!