многие продукты сегодня рассчитаны на AI pricing, который вероятно не будет таким же низким всегда

и у части стартапов вообще нет плана Б, если экономика поменяется

вот основное, что может помочь в таких случаях:
(1) opensource модели,
(2) модели поменьше и подешевле,
(3) более умный model routing

на практике это значит:
• начинать использовать OSS уже сейчас, даже если он похуже
• для простых задач использовать маленькие модели
• для сложных использовать constellation of models

@aimalysheva

AI уже прямо повсюду, конечно

я довольно сильно уверена, что существует какой-то universal language manifold (= поверхность, образованная meaning-векторами), который может даже примерно общий и для людей, и для LLMок

но мы не тренируем LLM явно репрезентировать этот manifold, мы скорее тренируем их его аппроксимировать и двигаться по нему, строя на нём кривые

и эти кривые, это reasoning в геометрических терминах, типа reasoning trace — это кривая на low-dimensional manifold, вложенном в очень high-dimensional пространство

Linear Representation Hypothesis (http://arxiv.org/pdf/2311.03658) немного касается этого, но интересно, есть ли более свежие работы, которые развивают идею manifold дальше?

было бы круто послушать мнение людей с опытом в differential geometry на этот счёт :)

@aimalysheva

и если мы думаем про кривые на манифолдах, то следующий вопрос, который сразу возникает это "какая у этих манифолдов топология?"

понимание формы (дыры, петли, может ещё какие-то сохраняющиеся структуры) говорит очень много о том, какие вообще кривые на них возможны

релевантная статья: Persistent Topological Features in LLMs (arxiv.org/pdf/2410.11042), где авторы используют zigzag persistence из topological data analysis, чтобы отследить, как топологичсекие фичи эволюционируют по слоям модели (не слой за слоем по отдельности, а весь evolutionary путь целиком)

витамины и био-добавки на кухнях в офисах были бы куда лучше чем снек-бары, м? 👀

весь computing stack раньше был монолитным и потом разделялся на части, как только для этого появлялся интерфейс

AI при этом всё ещё на mainframe-стадии, то есть одна гигантская модель

мне кажется это все еще не декомпозировалось потому что интерфейс между моделями сейчас это текст, а текст это последнее, что производит модель, то есть summary всего, что она посчитала
и поэтому при каждой передаче от одной модели к другой почти вся настоящая работа, которая через них прошла, просто выбрасывается 🥲

вот например релевантный рисерч: Cache-to-Cache (Fu et al, ICLR 2026, arxiv.org/abs/2510.03215) — они дали двум моделям передавать друг другу KV-cache без текста и получили выше accuracy при 2x скорости на тех же двух моделях, но пока весь этот research direction исключительно попарный (две конкретные модели, руками соединённые каждый раз заново)

общего интерфейса, на котором могли бы коммуницировать модели, пока не существует, но как только он появится, то вниз по стеку изменится ОЧЕНЬ многое: например, кто вообще сможет строить мощные системы, требования к inference, будет ли capability накапливаться от поколения к поколению или каждый раз пересобираться с нуля и кастомизироваться

собираюсь в ближайшую неделю выкладывать больше примеров что и как поменяется :) это первая часть

@aimalysheva

за последние годы инференс моделей очень подешевел: в конце 2022 модели уровня GPT-3.5 стоили $20 за миллион токенов, а к концу 2024 уже $0.07 (по данным Stanford's AI Index), то есть за два года разница 280x!

так что сейчас поставить пять моделей на один запрос стоит примерно как одна модель совсем недавно, что сильно повышает привлекательность ансамблей для решения сложных задач

поэтому я думаю что следующий bottleneck, который нужно решать — это то, что эти пять моделей могут говорить друг с другом только текстом: сейчас каждый handoff между моделями в ансамбле выглядит как одна модель, которая пишет предложения, и следующая, которая их читает и снова запускает на этом инференс

как минимум это медленно, но еще важнее то, что почти всё, что посчитала первая модель, не переживает этот перенос, вторая модель получает только результат и вся остальная посчитанная инфа теряется

компании уже пару лет как файнтюнят модели под конкретные задачи, и вся эта работа становится ненужной при смене базовой модели: с каждым новым фронтир-релизом приходится либо оставаться на старой базовой модели, либо апгрейдиться и терять всё, что было пост-трейнено раньше

поэтому за рисерчем про трансляцию моделей между друг другом сейчас особенно интересно следить: например, vec2vec научились переводить эмбеддинги между моделями, которые никогда не обучались вместе (они делают это за счет общей геометрии, к которой сходятся эти пространства)

если этот рисечр обобщается, то эмбеддинги могут стать артефактом, который переживает смену базовых моделей

Сегодня мы вышли из stealth!

Про нас написали Wired (с заголовком these russian mathematicians ахах), а еще мы опубликовали блог пост с описанием технологии. Все ссылки в этом посте, буду очень рада если сможете репостнуть и прокомментировать :)

https://x.com/aimalysheva/status/2095232794792255848

Мы на главной WIRED :)

Печатаю это и как-то самой не верится