Мозг,мыши и путь к сыру AGI✌️👋

Вышла интересная статья в Nature Communications, которая описывает, как в процессе развития мозг мышей меняет архитектуру нейронных связей: от локальной, плотной и случайной к распределённой, разреженной и структурированной.
По сути, мозг переходит от жёсткой и энергозатратной сети к более гибкой и эффективной.

Проведем параллели между этим биологическим процессом и обучением LLM.
Можно выделить несколько основных направлений:

🧠 Этапы развития в жизни, как путь от переобучения к обобщению в LLM.

В статьей рассказано, что в раннем возрасте у мышей связи между нейронами гиппокампа были локальными, плотными и случайными. При этом сила отдельных синапсов была настолько высокой, что одного события было достаточно для активации нейрона. Это напоминает состояние переобучения у нейросетей: модель буквально запоминает каждый факт и не умеет видеть общие закономерности. Даже к 18–25 дням связи всё ещё были случайными и сильными, но сеть уже начинала реорганизовываться, подготовливая почву для следующего этапа.

У взрослых особей архитектура кардинально меняется: плотность связей снижается, они становятся разреженными и структурированными, обеспечивая надёжное и точное хранение информации. Синапсы слабеют, и для активации нейрона требуется суммация сигналов от нескольких входов.

Тут возникает аналогия с LLM. В процессе обобщения модель учится выявлять закономерности и абстрагироваться от конкретных примеров, что позволяет ей гибко реагировать на новые данные, а не просто вспоминать заученное. Снижение силы отдельных связей можно сравнить с регуляризацией, которая предотвращает запоминание шума и улучшает способность модели к обобщению.

🎯 Память, точность и контроль галлюцинаций в LLM

Разреженная, структурированная сеть взрослого гиппокампа идеально подходит для хранения множества различных воспоминаний без взаимных помех (низкая интерференция). Случайная, плотная сеть ребёнка, напротив, была бы плохим хранилищем, так как новые данные быстро перезаписывали бы старые.

Это может стать аналогией с проблемой катастрофического забывания, которая стоит перед LLM при дообучении на новых данных. Кроме того, разреженная архитектура снижает риск создания ложных ассоциаций - аналог галлюцинаций LLM, когда модель генерирует правдоподобную, но неверную информацию. Для LLM это означает, что более структурированное и разреженное внутреннее представление знаний потенциально может сделать её более надёжной и точной.

⚡️ Экономия ресурсов мышления и вычислений

Переход к разреженной сети значительно энергоэффективнее, тк активируется лишь малая часть нейронов, необходимая для обработки конкретного сигнала. Это критически важно для биологического мозга, работающего в условиях ограниченных ресурсов.

Для LLM мы наблюдаем то же самое. Вспомним разреженные вычисления, такие как MoE, sparse attention и тп. В таких моделях для каждого запроса активируется только небольшая часть экспертов, что позволяет достигать высокой производительности с меньшими вычислительными затратами, чем у плотных моделей аналогичного размера. Однако, мы храним все веса модели в памяти gpu. Но давайте будем честны, мы и весь вес мозга носим на себе, хотя активируем отдельные области 🧠

Ну а что делать-то? 🙄
Как мы видим по статье, что для мышей, что для LLM - путь к эффективности общая стратегия.

Природа за миллионы лет эволюции пришла к разреженности не потому, что лень, а потому что плотная сеть не масштабируется 😱

LLM на 100B параметров в плотном виде — это мышь на P8: шумная, жадная до энергии и неспособная к сложной ассоциативной памяти.

Разреженность - не фича, а база. Получается, что LLM должна эволюционировать от плотной детской фазы к структурированной взрослой.

Правда, эволюция сделала это без градиентного спуска и H100 👍 А сможете ли Вы? 🤔