Grokking in the Wild: Data Augmentation for Real-World Multi-Hop Reasoning with Transformers
https://arxiv.org/abs/2504.20752v2
https://www.alphaxiv.org/ru/overview/2504.20752

Многошаговое рассуждение требует соединения нескольких атомарных фактов в цепочку для получения новой информации. Грокнутый восьмислойный GPT-2 в задачах многошагового рассуждения способен значительно превзойти более крупные и продвинутые модели, такие как GPT-4o и O1-mini.

Необходимым условием для полной обобщаемости, возникновения грокинга, является превышение определенного критического порога для отношения между выведенными фактами и атомарными фактами.

Интересный факт: Удивительно, но расширение некорректными фактами все еще может способствовать грокингу, предполагая, что формирование схем рассуждений в некоторой степени не зависит от фактической корректности.

Оптимус деградирует.

Пока ещё это фейк.

Harnessing the Universal Geometry of Embeddings
https://arxiv.org/abs/2505.12540v2
https://www.alphaxiv.org/overview/2505.12540

Экспериментальное доказательство "Platonic Representation Hypothesis".

Гипотеза утверждает, что все достаточно большие модели имеют одно и то же скрытое представление, в работе эта идея распространяется на текстовые модели.

vec2vec — метод трансляции текстовых эмбеддингов одной модели в эмбеддинги другой модели без парных данных или доступа к энкодеру.

Может выполнять трансляцию между любыми двумя пространствами эмбеддингов, для которых доступны примеры. Достигнута высокая косинусная схожесть (до 0.92) между транслированными эмбеддингами и эталонными векторами.

https://x.com/rishi_d_jha/status/1925212069168910340
https://x.com/jxmnop/status/1925224612872233081

Beyond 'Aha!': Toward Systematic Meta-Abilities Alignment in Large Reasoning Models
https://arxiv.org/abs/2505.10554v1
https://www.alphaxiv.org/ru/overview/2505.10554

В основе статьи лежит концепция трех фундаментальных мета-способностей рассуждения, которые составляют основу человеческого и искусственного рассуждения: дедукция, индукция и абдукция.

Авторы создают набор синтетических задач, специально разработанных для каждой мета-способности, и обучают специализированные модели для каждой мета-способности. После обучения объединяют их в унифицированную модель с использованием взвешенной комбинации в пространстве параметров.

Объединенная модель превосходит отдельные специализированные модели, подтверждая, что мета-способности дополняют друг друга. Оптимальная производительность достигается при весах λd=1.0, λi=0.2 и λa=0.1, что предполагает, что дедуктивное рассуждение обеспечивает самую прочную основу, а индуктивное и абдуктивное рассуждения служат дополнительными возможностями.

LYNX M20

Любительская разработка.
X

В прошлом были так называемые "растущие сети", например, "нейроподобные растущие сети Ященко". На каждый вход из обучаемых данных в сеть добавлялся новый нейрон. А что такое нейрон? Это просто строка или столбец в весовой матрице. Добавить новый нейрон — это дописать к матрице строку.

А где сейчас матрицы с растущими размерами? В трансформерах, в аттеншене. На каждый входной токен к матрицам ключей и значений дописывается новая строка — новый нейрон. Кеш трансформера — это растущая сеть. Но эта сеть с замороженными весами, веса кеша не обновляются с каждым новым токеном, в отличие от тех прошлых растущих сетей; и возможно это недоработка.

Veo 3

Менее 3 часов и 7,25 долл. США на облачном кредите.

Если бы это делало традиционное агентство с использованием традиционных методов, то это обошлось бы примерно в 100 тыс. долларов.

X

The Atlas of In-Context Learning: How Attention Heads Shape In-Context Retrieval Augmentation
https://www.arxiv.org/abs/2505.15807
https://www.alphaxiv.org/ru/overview/2505.15807

Исследователи обнаружили, что головы в In-Context Learning демонстрируют специализацию в своих функциях. Одни фокусируются на извлечении информации из контекста, другие полагаются на параметрические знания модели.

Эти специализированные головы не распределены случайным образом по всей архитектуре модели, а следуют определенным закономерностям.

Когда головы выборочно удалялись, способность модели выполнять определенные функции соответственно ухудшалась. Этими головами можно манипулировать для управления поведением модели.

Апдейт от авторов softpick. К сожалению softpick не масштабируется на более крупные модели.

Лосс при обучении и результаты тестов хуже, чем у softmax на моделях с 1,8 млрд параметров.

X

Raibo от KAIST.

Персональный робот Isaac от Weave Robotics.

Decoding-based Regression
https://www.alphaxiv.org/ru/overview/2501.19383

Регрессия на основе декодирования в задачах численного прогнозирования. Преобразует традиционную задачу регрессии в задачу генерации последовательности.

Ключевая идея состоит в том, что, рассматривая числовую регрессию как задачу языкового моделирования, можно аппроксимировать произвольные гладкие одномерные функции плотности.

Этот подход требует меньше обучающих данных для достижения сопоставимой производительности с традиционными методами.

X