Наконец-то полезные автономные агенты.

Я сделал обзор и показал как написать свой собственный плагин в новом фреймворке для автономных агентов от Microsoft — TaskWeaver.

В отличии от Autogen, данный фреймворк заточен на решение аналитических задач через написание кода и взаимодействие агентов. Область применения уже, но именно поэтому качество сильно выше. Плюс, это легко встроить в ваши существущие бизнес-процессы, например, для ETL или анализа данных, решения сложных задач без навыков программировния, автоматизации процессов.

Я написал свой простенький плагин, который умеет получать и анализировать данные о цене крипты через CoinMarketCap API. Например, теперь я могу на естественном языке попросить агента "возьми историческую цену биткоина и построй ARIMA модель и сгенерируй визуализированный график с прогнозом". Агенты напишут, проверят, если нужно исправят и исполнят код, положат результат аккуратно в папочку рядом.

Видео: https://www.youtube.com/watch?v=hljOFJLYDPg

Появление vision+LLM моделей дало толчок массовому развитию UI автопилотов или «самоуправляемых компьютеров» — агентов, которые могут на основе ваших команд взаимодействовать с интерфейсом и достигать целей (например, забронировать билет на самолет или зарегистрироваться на сайте).

А сегодня появился первый пример этой же идеи, но примененной к мобильным интерфейсам. Автономные агенты могут за вас использовать приложения, писать посты и письма, редактировать файлы и фотографии, оставлять или читать отзывы, ну и в целом использовать любое рандомное приложение из аппстора.

Siri здорового человека.

Microsoft побили SOTA эмбеддиг-моделей

Главный камень преткновения современных подходов – данные: собрать хороший датасет для «fetching tasks» очень сложно и дорого. Поэтому часто модели сначала обучают на неразмеченный general данных, а потом файнтюнят на датасетах поменьше. Производительность таких моделей неплохая, но для RAG-систем без дополнительных танцев с бубном они обычно слабоваты.

Но в Microsoft придумали простой и действенный способ обойти эти ограничения. Они решили попросить LLM саму составить датасет, то есть сгенерировать триплеты «задача - релевантный документ - нерелевантный документ», а после обучать эмбеддинги с помощью парного лосса.

Итог – новая SOTA. Этот простой и гениальный подход теперь в топе Huggingface Leaderboard, и может стать поворотной точкой для RAG.

Статья | Модель | Датасет

Новая статья от Anthropic: спящие агенты

Хотя более точным названием для статьи было бы "Спящее зло". Anthropic известны тем, что вкладывают много сил в aligment своих моделей. Вот и в новом исследовании они решили проверить, насколько нас спасут методы современного обезопашивания моделей, если те задумают неладное.

Ответ: не спасут. Исследователи исскуственно добавили в модели "черный ход": этакий тумблер, переключающийся по триггеру (например, если в промпте есть определенное слово) и заставляющий модель выдавать намеренно плохие или опасные ответы. Затем провели Safety Training, направленный на искоренение такого ядовитого поведения модели. Как вы уже поняли, не сработало.

Модель продолжала реагировать на триггеры и вести себя "небезопасно". В некоторых случаях она даже научилась скрывать свою вторую сущность во время обучения, что создавало ощущение безопасности, но потом все равно подсовывала свинью.

Итак, первое: мы обречены. Второе: не показывайте эту статью Минобороне, а то точно запретят.