Новый ресерч от Anthropic: стартап представляет систему для анализа диалогов пользователей без использования личных данных

Анализ того, как именно пользователи используют LLM – для компаний настоящий кладезь. Ведь это ключ с понимаю того, как улучшить свою систему. Но как анализировать диалоги так, чтобы данные пользователя при этом были защищены от чужих глаз? Очень просто: пусть вместо аналитика тоже будет ИИ.

Система Anthropic – Clio – работает в несколько этапов. Сначала из диалогов извлекаются фичи: эмбеддинги, язык, длина, тема, главная задача и тд. Затем на основе этих признаков модель кластеризует диалоги с помощью обычного K-Means и делит их иерархически. Получается такое дерево кластеров, в котором можно гулять по ветвям, анализируя темы разных уровней. Система позволяет анализировать тренды, отслеживать удовлетворенность пользователей, их настоение в общении с ИИ и, самое крутое – джейлбрейки (это же какое счастье для выстраивания alignment'а и безопасности!)

При этом никакие данные все еще не попадают в руки людей – весь пайплайн автоматизирован. Только после того, как Clio тщательно фильтрует все персональные данные и удаляет редкие кейсы, мы наконец можем взглянуть на аггрегацию.

На скрине наверху – самые частые сценария использования Claude. Обратите внимание, что это первое в истории исследование такого рода (по крайней мере, результаты которого были опубликованы): чтобы мы увидели эти числа, Clio обработала более 1 миллиона случайных диалогов.

Кстати, исследователи отмечают, что кроме того, что перечисленно на графике, они нашли еще несколько внезапных, но очень популярных кейсов использования чат-бота. Среди них анализ футбольных матчей, толкование снов, написание сценариев для Dungeons & Dragons и... подсчет букв r в слове strawberry 😀

А еще оказалось, что юзеры разных стран по-разному используют ИИ. Например, испанцы часто спрашивают про экономику и здоровье, японцам подавай мангу, а китайцам – написанные ИИ детективы и триллеры.

Очень круто, в общем. Подробнее можно почитать здесь