ИИ открыл новый способ считать. Но вы всё равно продолжите пользоваться калькулятором

ИИ должен упростить нашу жизнь, да? Ну так вот, вместо того, чтобы просто запомнить, что 2+2=4, GPT-J делает что-то похожее на тригонометрический ритуал. Он кодирует числа на многомерной спирали, раскладывает в базис косинусов, а сложение выполняет через преобразования, которые нормальный человек даже на экзамене по линалу не вспомнит.

Исследователи попытались разобраться, как LLM складывают числа, и обнаружили, что модели вроде GPT-J-6B кодируют и обнаружили метод, который назвали Clock algorithm, потому что сложение выполняется как сложение углов: через cos(a), cos(b) → cos(a+b) и напоминает сложение углов на циферблате.

Векторные представления чисел исследовали через остаточный поток модели, прогоняя GPT-J-6B на всех числах из диапазона [0,360]. Спектральный анализ показал, что представление разрежено в пространстве Фурье, а главная компонента PCA оказалась линейной. А что у нас такое периодическое и линейное? Спираль!🌀

x = r cos t
y = r sin t
y = c t

Проверили это гипотезу, подбирая параметры спирали для представления каждого числа. Оказалось, что токены, представляющие суммы (a+b), хорошо описываются этой же основой, что говорит о реальном использовании модели такого механизма.

🛠 Как проверить, что модель действительно так считает?
✔️ Intervention patching: заменили активации слоёв модели на вычисленные вручную спиральные представления и обнаружили, что это почти так же хорошо, как полная подмена слоя! Значит, модель действительно использует эту структуру.
✔️ Разделение ролей между слоями: слои MLP 14-18 формируют спиральное представление (a+b), а слои 19-27 считывают его и поднимают соответствующий токен в логитах.
✔️ Разбор нейронов: используя атрибуционные техники, исследователи выяснили, что активации нейронов MLP тоже следуют периодическим паттернам, что дополнительно подтверждает гипотезу о геликоидальном (спиральном) сложении.

Почему это важно?
Оказывается, вместо того, чтобы просто запоминать суммы, модель самостоятельно выучивает сложную, но универсальную алгоритмическую структуру! Этот же метод ранее встречался в исследованиях модульного сложения в трансформерах, который раньше описывал Neel Nanda. LLM не просто таблицы с вероятностями, а какие-то самоорганизующиеся вычислительные системы.
В любом случае, может, машинное обучение и не всегда дает интуитивно понятные решения, но точно умеет находить красивые и неожиданные пути.

🔗 Источники:
📜 arxiv
📝 Блог
💻 Код

#articles #models

🐳Разбирал фотки, в этом здании располагается офис Хабр.ру. В прошлом году, были там на конфе.

https://github.com/DenoiseLAB/HSE_Assistant_Hack - запушил наше решение по HSE Assistant Hack. Очень долго мы там тюнили все, прям реально долго подбирали гиперпараметы и по итогу взяли первые места на лидерборде как на привате так и на паблике.

https://github.com/DenoiseLAB?tab=repositories - периодически сюда пушу, неплохие решения которые были за практику.

#coding

«Бегущий по лезвию 2049»: китайская компания BYD совместно с DJI начала продавать систему запуска дронов с крыши для всех своих авто

По задумке, коптер будет снимать пейзажи и красивые пролеты рядом с тачкой, а также помогать ориентироваться на бездорожье.

Он взлетает по нажатию одной кнопки и автоматически возвращается на место.

#technology

https://github.com/natasha/slovnet - если вы вдруг ищите NLP на русском, всякие тулзы и корпуса слов, мимо этого вы не пройдете.

Режиссёр-самоучка сделал в бесплатной программе мульт, который нагнул Disney, забрал «Оскар» и превратил чёрного кота в национального героя — рассказываем историю оглушительного успеха «Потока».

Гинтс Зильбалодис с детства мечтал сделать крутой мульт — родители привили любовь к рисованию, оставалось только заставить картинки двигаться. В Латвии нет вышки для аниматоров, поэтому Гинтс вооружился гайдами на Ютубе и засел изучать Blender.

Анимация диалогов получалась у парня хуже всего, поэтому он твёрдо решил — хорошая история обойдётся и без них. На сценарий без единой реплики у Гинтса и его друга ушло больше 3 лет.

Сюжет получился прост: в постапокалиптическом будущем котик выживает в мире, в котором нет людей. Он нашел убежище на лодке вместе с другими животными, однако ужиться с ними оказывается ещё сложнее, чем преодолеть свой страх воды.

Одна из главных фишек мульта — реалистичные движения персонажей. Зильбалодис и его команда просмотрели тысячи мемных видео с котиками и другими животными, параллельно посещая зоопарк. Там нашли и «актёров» — для мульта записывали звуки реальных животных.

Всё испортила капибара: её уговаривали, кормили, щекотали, а в ответ услышали лишь писк, который бил по ушам. В итоге капибару «озвучил» верблюд.

На амбициозного режиссёра с бюджетом в два дошика обратило внимания правительство — фонды Латвии, Франции и Бельгии выделили в сумме 3,5 миллиона евро. Для сравнения масштабов — у «Головоломки 2» от Disney бюджет свыше 200 млн долларов.

Инвестиции отбились — картина стала настоящим хитом, собрала 20 миллионов долларов, забрала «Оскар» за лучший мульт, а сам Гинтс радостно делится в Твиттере историями разработки.

Чёрный кот же стал героем в Латвии — хвостатому поставили статую в Риге, уличные художники рисуют арты с ним, а дата получения «Оскара» стала национальным праздником.

@exploitex

Мораль - любая цель достижима !!!

Лень - не двигатель прогресса, теперь уже официально )))

Китайцы снова нагнули OpenAI — стартап Manus выпустили ИИ-агента общего назначения. Это значит, что он может ВСЁ.

OpenAI Operator + Deep Research = Manus, но ЛУЧШЕ. Нейросеть может и компьютером пользоваться, и собрать инфу для научного исследования.

— Нейронка смогла сделать глубокий анализ акций Tesla и дать прогноз (!) на будущее.

— На первом видео Manus регистрирует и начинает активно вести 50 (!!) аккаунтов в Твиттере одновременно.

— Manus смог просчитать оптимальную орбиту для космического аппарата, летящего на Марс, с поправкой на текущее (!!!) положение планет.

Попробовать крышесносный ИИ можно самостоятельно — оставляем заявку здесь.

🎓 Послу выпуска ChatGPT программисты стали меньше общаться друг с другом.

Это привело к тому, что на популярном форуме Stack Overflow количество задаваемых вопросов и даваемых ответов уменьшилось примерно на четверть.

На графике видно, что наблюдается постоянное снижение количества еженедельных сообщений.

Наибольший урон был нанесен вопросам, касающимся языков программирования Python и JavaScript.

Исследователи предупреждают, что такое развитие событий может создать необычную проблему: без новых учебных материалов искусственный интеллект потеряет возможность обучаться.