⚡️ Большой прорыв в понимании работы LLM — Anthropic опубликовала исследование

Обычно модели AI воспринимаются как "черный ящик", где ввод данных приводит к выводу ответа, но неясно, почему модель выбрала именно этот ответ.

Заглянуть внутрь "черного ящика" это не решение, поскольку внутреннее состояние модели состоит из длинного списка чисел (активации нейронов), которые трудно интерпретировать.

Однако, благодаря применению техники "обучения словаря", сотрудники Anthropic смогли сопоставить паттерны активации нейронов с понятными человеку концепциями, это позволяет ю представлять любое состояния модели через несколько активных признаков вместо множества активных нейронов.

В октябре 2023 года было успешно применено обучение словаря к небольшой "игрушечной" языковой модели.

Эта работа была расширена до больших и сложных моделей, включая Claude Sonnet, что позволило выявить миллионы признаков, отражающих широкий спектр сущностей, таких как города, люди, элементы, научные области и синтаксис языков программирования. Эти признаки могут быть мультимодальными и многоязычными.

Авторы также обнаружили возможность манипулировать этими признаками, усиливая их для изменения поведения модели. Например, усиление признака "Золотые ворота" привело к тому, что модель начала ассоциировать себя с мостом, добавляя определение в любую тему разговора.

Работа над улучшением безопасности моделей AI продолжается, и в Anthropic надеются использовать эти открытия для мониторинга систем AI на предмет нежелательного поведения, для направления их к желаемым результатам или удаления опасных тем.

📎 Научная статья от Anthropic

@ai_machinelearning_big_data

⚡️ Your Guide to Generative AI Courses

Лучший способ изучить генеративный ИИ - это создать собственный проект. Новый ресурс, который поможет вам погрузится в эту тему!

Новое руководство от DeepLearningAI
по созданию RAG приложения, с пошаговой схемой создания RAG и список кратких уроков, подготовленных кураторами, которые содержат как теоретические знания, так и практические примеры с кодом.

https://deeplearning.ai/resources/generative-ai-courses-guide/

@ai_machinelearning_big_data

🔥 open_clip — open-source реализация CLIP

— pip install open_clip_torch

Открытая реализацию CLIP (Contrastive Language-Image Pre-training от OpenAI).
CLIP — это нейросеть, разработанная OpenAI для выполнения задач визуального, а также языкового понимания. Алгоритмы нацелены на понимание связи между текстом и изображениями.

🖥 GitHub
🟡 Google Colab

@ai_machinelearning_big_data

⚡️ Uni-MoE — унифицированная мультимодальная LLM с архитектурой MoE

Встречайте совсем свежую работу Y. Li, S. Jiang и ещё нескольких человек, в которой они презентуют Uni-MoE.
Комплексные бенчмарки демонстрируют главное преимущество Uni-MoE — значительное снижение погрешности при работе со смешанными мультимодальными наборами данных, а также улучшение совместной работы и обобщения данных несколькими экспертами.

📎 Arxiv

@ai_machinelearning_big_data