Stability теперь релизят еще и языковые модели 👀

Почему это круто:
1️⃣ Сейчас выложены чекпоинты на 3B и 7B, обученные на 800B токенов. Но скоро обещают докинуть моделей, обученных на датсете размером 1.5T

Ранее создатели LLaMA сделали ставку на то, что большие языковые модели были сильно undertrained – их тренировали на недостаточно большом числе токенов. Поэтому какое-то время LLaMA-модели являлись самыми «натренированными» в этом отношении. LLaMA 7B училась на 1 триллионе токенов, а 65B и 33B модели – на 1.4 триллиона

Теперь Stability смогут составить им конкуренцию – их 7B модель будет учиться на датасете, который на 50% больше, чем у аналогичной LLaMA-модели

2️⃣ Во-вторых, Stability, в отличие от Meta, релизят по очень божеской лицензии Creative Commons. То есть модели можно использовать как угодно (земной им поклон)

3️⃣ Еще обещают натренировать и выпустить модели по 5 свежим и хайповым датасетам: Stanford's Alpaca, Nomic-AI's gpt4all, RyokoAI's ShareGPT52K datasets, Databricks labs' Dolly, and Anthropic's HH

репа: https://github.com/Stability-AI/StableLM
початиться с моделью 7B: https://huggingface.co/spaces/stabilityai/stablelm-tuned-alpha-chat

Нашла крутую тулу, где можно посравнивать вышедшие за последние время модели 🌟

С учетом того, сколько новых моделей выходит каждую неделю, очень сложно становится понять, что из этого вообще работает хорошо и для каких задач. Тут можно попарно сравнивать LLM: вы пишете что-то в чат, вам отвечают две рандомные модели, вы в слепую оцениваете результаты, и вам раскрывают, где какая. Сейчас поддерживаются пожалуй самые нашумевшие недавние релизы: Vicuna, OpenAssistant, LLaMA, Alpaca, StableLM и не только

https://chat.lmsys.org/?arena

впервые на моей памяти хаггингфейс лежит больше получаса 🏥

Language models can explain neurons in language models 🤔

Очень крутая и очень интерактивная статья про explainable ai. Советую всем открыть и потыкать:
https://openaipublic.blob.core.windows.net/neuron-explainer/paper/index.html

В чем идея:
1. Берем исследуюемую модель и какой-то фиксированный датасет. Собираем инфу о том, какие нейроны как сильно активируются на каждом токене. Далее по этой информации просим GPT-4 для каждого нейрона предположить, за что он отвечает
2. Далее симулирем поведение этого нейрона, исходя из его предполагаемого назначения. Передаем в ту же GPT-4 описание, что этот нейрон якобы делает, кусок текста, и просим предсказать, какой силы активация должна у этого нейрона быть на последнем токене последовательности
3. Прогоняем этот текст через исследуемую модель и смотрим, какие активации у каких нейронов реально получились. Считаем скор, насколько предположение GPT-4 оказалось точным

Авторы исследовали GPT-2 XL и в целом для большей части нейронов ни GPT-4, ни человеческим разметчикам не удалось точно предполжить, что они делают. Но нашлись 1000+ нейронов, для которых удалось предсказать объяснение с точностью 0.8+. Еще авторы находят, что часто нейроны полисемантичны, и гораздо большую точность можно получить, если брать линейные комбинации от наиболее «ярких» нейронов

Как я уже написала, самая крутая чать работы – интерактивная
- Есть сниппет текста, где для каждого слова можно посмотреть, какие нейроны на него реагируют, какое им дано объяснение и к какому семантическому кластеру они относятся
– И есть neuron viewer, где для каждого нейрона GPT-2 можно посмотреть его объяснение и все токены в датасете, на которые он реагирует. Можно предложить и свое объяснение его поведения, так что мб так и накраудсорсится 🥳

Там же перечислен набор нейронов, которые кажется были хорошо объяснены. Например, авторы нашли отдельный нейрон для Канады, нейрон для улыбок и даже абстрактные нейроны про «doing things right» и «certainty»