Стартап PrismML анонсировал самую крупную модель в мире для запуска на смартфоне

В представленной модели Bonsai 27 миллиардов параметров. Обычно на телефоне такую модель не запустишь: в сыром 16-bit она будет занимать примерно 54GB, и даже если сжать ее до 4-bit, все равно будет около 18GB. На смартфон не поместится.

Bonsai же, при своем внушительном размере, оптимизирован именно под локальный запуск. Модель основана на Qwen3.6-27B, но разрабочики использовали не обычное квантование AKA округление весов, а технику Quantization-Aware Training.

Это значит, что веса не обрубали, а учили постепенно адаптироваться к дискретным значениям. Технически, на прямом проходе веса округляются до дискретных значений, и модель считает предсказание уже с ними, как в финальной сжатой версии. Но на обратном проходе градиенты вычисляются так, будто округления не было, и это позволяет модели получать осмысленный сигнал для обновления весов, несмотря на то что сами веса дискретны. То есть модель как бы сама подбирает, как масштабировать свои веса наилучшим образом.

Собственно, благодаря такой инженерии, модель сохраняет свыше 89–95% качества полноразмерной версии, и при этом занимает в 9–14 раз меньше памяти (см метрики в таблице). Для обычного квантования, которое съедает львиную долю качества, это просто феноменальные цифры.

Есть тернарный вариант (веса −1, 0 или +1; занимает ~5.9GB) и классический 1-bit (3.9GB). Второй легко укладывается в iPhone 17 Pro. Оба варианта мультимодальные. Контекст 262K токенов. Опенсорс под лицензией Apache 2.0, вот веса: huggingface.co/collections/prism-ml/bonsai-27b.

Кстати, CEO PrismML заявил, что ведет переговоры с Apple по поводу использования технологии стартапа в их устройствах.

Впервые в истории люди оказываются дешевле софта

Аналитики из a16z свели данные по затратам на ИИ в компаниях и нарисовали вот такие интересные картинки. Если кратко, они посчитали, что в топ-1% компаниях распределения расходы на ИИ-токены в расчете на одного сотрудника практически сравнялись с средней годовой зарплатой инженера.

При этом за последнее время рост был экспоненциальным, так что при таком векторе развития к концу года инженеры уже будут сильно проигрывать LLMкам в зарплате. Забавно, правда? Нам-то обещали, что будет наоборот.

И это речь только про явные затраты. Если копнуть глубже, то оказывается, что помимо затрат на токены ИИ также генерирует множество новых рабочих мест: второй график показывает, что компании с высокой интенсивностью использования ИИ за 2 года после внедрения нарастили штат на +10,2%, тогда как компании с низкими расходами на ИИ остались практически на месте, штат почти не изменился. (Но это всего лишь корреляция, которая может объясняться и другими факторами.)

www.a16z.news/p/the-next-ai-goldrush-tokens-loops

Стартап Миры Мурати релизнул свою первую модель Inkling

И сразу – в опенсорс. И сразу – обученную с нуля и огромную, на 975 миллиардов параметров (MoE 41B активных).

https://thinkingmachines.ai/news/introducing-inkling/

Моделька мультимодальная, с хорошими метриками на аудио и image бенчмарках. Плюс неплохой ризонинг. В целом по способностям уровень GLM-5.2 с небольшой просадкой по кодингу.

Внезапно выяснилось, что сегодня в США празднуют Национальный День Искусственного Интеллекта

О как

IMB поздравили оригинально

Про Kimi K3. В итоге модель уверенно бьет Opus 4.8*, но до Fable и Sol дотягивает далеко не везде. Так или иначе, это новая открытая SOTA, и она как никогда близка к закрытым лидерам.

Из интересного также первое место на Frontend Code Arena, с достаточно большим отрывом от Fable и Sol.

А еще, помните то видео, которое Moonshot выпускали как тизер? Так вот его из 56 сырых видео полностью смонтировала сама K3.

* Цена при этом почти в два раза меньше Opus 4.8: $3 input / $15 output за миллион токенов.