⚡️ SELF-DISCOVER — система для улучшения способности LLM рассуждать

Исследователи из Google DeepMind и Университета Южной Калифорнии представили революционный подход к повышению способности к рассуждению больших языковых моделей (LLM). Их новая система «SELF-DISCOVER», презентованная на этой неделе на arXiV и Hugging Face, обещает существенные улучшения в решении сложных задач рассуждениий, потенциально революционизируя производительность ведущих моделей, таких как GPT-4 от OpenAI и PaLM 2.

Система демонстрирует повышение производительности до 32% по сравнению с традиционными методами, такими как цепочка мыслей (CoT). Этот подход основан на том, что LLM самостоятельно раскрывают внутренние структуры рассуждений, присущие задачам, для решения сложных проблем, например таких, как критическое мышление или пошаговый анализ.

Имитируя человеческие стратегии решения проблем, эта система работает в два этапа. Первый этап включает в себя составление связной структуры рассуждений, свойственной задаче, с использованием набора атомарных модулей рассуждения и примеров задач. На втором этапе – во время декодирования, LLM следуют этой самообнаруженной структуре, чтобы прийти к окончательному решению.

В обширном тестировании различных задач на рассуждение, включая Big-Bench Hard, Thinking for Action и Math, предложенный подход неизменно превосходил традиционные методы. Примечательно, что с помощью GPT-4 он достиг точности 81%, 85% и 73% по трем задачам, превзойдя методы цепочки мыслей и планирования и решения.

@ai_machinelearning_big_data

⚡️ Большой прорыв в понимании работы LLM — Anthropic опубликовала исследование

Обычно модели AI воспринимаются как "черный ящик", где ввод данных приводит к выводу ответа, но неясно, почему модель выбрала именно этот ответ.

Заглянуть внутрь "черного ящика" это не решение, поскольку внутреннее состояние модели состоит из длинного списка чисел (активации нейронов), которые трудно интерпретировать.

Однако, благодаря применению техники "обучения словаря", сотрудники Anthropic смогли сопоставить паттерны активации нейронов с понятными человеку концепциями, это позволяет ю представлять любое состояния модели через несколько активных признаков вместо множества активных нейронов.

В октябре 2023 года было успешно применено обучение словаря к небольшой "игрушечной" языковой модели.

Эта работа была расширена до больших и сложных моделей, включая Claude Sonnet, что позволило выявить миллионы признаков, отражающих широкий спектр сущностей, таких как города, люди, элементы, научные области и синтаксис языков программирования. Эти признаки могут быть мультимодальными и многоязычными.

Авторы также обнаружили возможность манипулировать этими признаками, усиливая их для изменения поведения модели. Например, усиление признака "Золотые ворота" привело к тому, что модель начала ассоциировать себя с мостом, добавляя определение в любую тему разговора.

Работа над улучшением безопасности моделей AI продолжается, и в Anthropic надеются использовать эти открытия для мониторинга систем AI на предмет нежелательного поведения, для направления их к желаемым результатам или удаления опасных тем.

📎 Научная статья от Anthropic

@ai_machinelearning_big_data