Language Models Use Trigonometry to Do Addition
https://www.lesswrong.com/posts/E7z89FKLsHk5DkmDL/language-models-use-trigonometry-to-do-addition-1

https://arxiv.org/abs/2502.00873

https://x.com/thesubhashk/status/1887138694546788556

Для сложения чисел LLM кодирует их на спирали с разным периодом (2, 5, 10, 100). Алгоритму дали название "Clock algorithm".

MLP первой половины трансформера кодируют сумму на спирали, MLP второй половины декодируют результат в токен.

Как и в других похожих исследованиях внимание здесь занимается тем, что копирует операнды (числа) в стрим токена '=', с которым уже MLP проводят операции.

Pika Additions

https://x.com/pika_labs

A Percolation Model of Emergence: Analyzing Transformers Trained on a Formal Language
https://arxiv.org/abs/2408.12578

X

Обнаружено, что в динамике обучения модели есть фазы, где модель неожиданно приобретает способности, соответствующие более узким задачам.

В "точке эмерджентности" (фазовый переход) модель приобретает общие структуры, которые помогают в освоении конкретных, более узких способностей; приобретение таких структур приводит к внезапному повышению производительности при выполнении нескольких задач (часто с некоторой задержкой).