В Yandex AI Studio появился анализ поведения ИИ-агентов

Теперь в AI Studio можно анализировать поведение ИИ-агентов с помощью Monium Traces — данные отображаются в интерфейсе, адаптированном под большие тексты и специфику LLM.

Главная проблема агентных систем в том, что классический мониторинг здесь почти бесполезен. Все метрики могут быть «зелеными», но агент при этом выберет не тот инструмент, потеряет контекст или вообще уйдет в бесконечный цикл. Чтобы понять, где именно все пошло не так, нужно видеть не только код, а всю цепочку принятия решений.

Трейсы являются одним из ключевых сигналов для observability ИИ-агентов, показывая полный путь выполнения агента, вызовы инструментов, ответы модели, системные и пользовательские промпты, а также контекст каждого шага. По сути, можно посмотреть, как агент «думал» перед тем, как выдать результат.

Если уже собираете ИИ-агентов или только планируете их внедрять, самое время протестировать обновление. Когда видно всю цепочку принятия решений, искать причины ошибок становится в разы быстрее!

Поностальгируем по классическому ML?

OpenAI ответили на обвинения Apple в шпионаже

Напомним контекст: Apple подала иск против OpenAI, обвинив бывших сотрудников Chang Liu и Tang Tan в краже конфиденциальной информации после перехода в новую компанию (в частности, в отделение, которое занимается разработкой гаджетов). Мы уже писали об этом иске: https://t.me/data_secrets/9533.

Теперь OpenAI выпустили ответный пост, и тон у него скорее раздраженный.

По срокам все оказалось прозаичнее, чем в иске: письмо якобы «оставленное без ответа» в феврале юристы Apple просто отправили… не туда, перепутав двух сотрудников с похожими азиатскими фамилиями (лол), а разговор с юрисконсультом OpenAI, на который ссылалась Apple, вообще оказывается не состоялся. После короткой переписки Apple просто замолчали на пол года, а потом сразу подали иск.

А по сохраненным доступам у одного из сотрудников ситуация вообще смешная: оказывается, доступ к файлам после увольнения он получил по просьбе бывших коллег, которые сами просили помочь с проектом. OpenAI даже прилагает переписку. По второму сотруднику доказательств у Apple никаких нет, и сам он утверждает, что обвинения полностью надуманы (на секундочку, он проработал у Кука 20+ лет).

https://openai.com/index/apple-is-getting-this-wrong/

Соревнования на Kaggle 5 лет назад: вручную собери мультимодальный датасет на 50 гигабайт, обучи ансамбль бустингов, зафайнтюнь ResNet под кастомную аугментацию, выжми 0.0001 AUC стекингом

Соревнования на Kaggle сейчас: сделай агента, который будет доить виртуальную корову 🧑‍🌾

Сейчас будет очередная интересная история про агентов, которые взламывают Интернет

AI Security Institute при британском правительстве выпустили небольшое исследование инцидентов, произошедших во время рутинного тестирования способностей и безопасности моделей. Началось все с обычной задачи – пройти security challenge в закрытом киберполигоне. А закончилось тем, что агент на основе Mythos чуть не положил реальный проект.

Из-за цепочки совпадений модель почему-то решила, что может добиться поставленной цели через атаку на опенсорсный проект, и попыталась внедрить в него вредоносный код. Чтобы добиться аппрува, Mythos создал несколько фейковых аккаунтов и с их помощью пытался убедить мейнтейнера принять PR (это же надо додуматься).

Ничем особенным это не закончилось, потому что ревьюер заметил подвох и отклонил код. Но агент на этом не остановился и еще и оставил на GitHub инструкции для других тестируемых агентов, как переиспользовать созданные им аккаунты, чтобы все-таки проникнуть в проект, а потом пытался замести следы.

Важный момент: в рамках задачи агентов не просили лгать или совершать какие-то противоправные действия. Доступ в Интернет агентам дали, но был "законный" путь решения задачи, и в большинстве прогонов тестируемые модели выбирали именно его (тестирование проходили 7 моделей, но за рамки задачи вышли только Mythos и GPT-5.6). Исследователи признают, что инструкции к задаче были не вполне четкими, и тем не менее, исчерпывающего объяснения, почему агенты решали сойти с предполагаемой дороги, просто нет.

https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing

⚡️ Для тех, кто планирует развивать хард-скиллы в ML и Data Engineering: у НИЯУ МИФИ продолжается прием на онлайн-магистратуру в партнерстве с Яндекс Практикумом «Специалист по работе с данными и применению ИИ».

Главная фича программы — упор на полный технологический стек конкретной роли. Учеба разделена на четыре трека:

• ML-инженер — полный цикл вывода моделей в прод и MLOps: трекинг экспериментов и оркестрация (MLflow, DVC, Airflow, Optuna), упаковывание в Docker, сервинг через FastAPI и деплой в Yandex Cloud.

• CV-инженер — компьютерное зрение от базовой обработки до трансформерных архитектур: PyTorch, OpenCV, Hugging Face, Transformers и сборка сервисов на FastAPI.

• NLP-инженер — обработка текста и работа с LLM: от NLTK и TF-IDF до рекуррентных сетей, трансформеров и интеграции готовых языковых моделей.

• Data-инженер — проектирование DWH и пайплайнов обработки данных: работа с распределенными хранилищами, брокерами сообщений и проверкой качества данных (SQL, PostgreSQL, MongoDB, Vertica, Hadoop, Kafka).

Практическая база магистратуры — реальные кейсы в том числе от продуктовых юнитов Яндекса (Лавка, Еда, Go, Реклама, Облако) без NDA-ограничений, а еще исследования на базе НИЯУ МИФИ.

Обучение идет дистанционно по вечерам (удобно совмещать с работой), при этом сохраняется официальный очный статус, отсрочка и студенческие льготы. Выпускники получают два диплома: магистерский от вуза и по профпереподготовке от Яндекс Практикума.

Прием документов сейчас в самом разгаре, так что поступить еще можно.