Лаба Artificial Analysis поделилась интересным отчетом о состоянии ИИ по итогам Q2 2025
Главное: Китай впервые добился почти полного паритета с США. Посмотрите на график наверху: по оси Х здесь время, а по оси Y – качество моделей (усредненный результат по 7 самым популярным бенчмаркам, включая математику и кодинг).
Раньше китайские модели отставали на целое поколение, а теперь отставание по времени релизов почти исчезло: новые сопоставимые модели выходят в течение недель после релизов OpenAI и Google.
Причем китайский рынок работает активнее за счет количества игроков: DeepSeek, Alibaba, ByteDance, Tencent, Moonshot, Zhipu, Stepfun, Xiaomi, Baichuan, MiniMax, 01 AI и другие сейчас сыпят релизами почти каждую неделю.
Особенно, конечно, выделяется последняя R1-0528, которая встала в один ряд с o3, и при этом все еще остается открытой моделью (кстати, про опенсорс и говорить нечего: тут они на абсолютном первом месте – см. график 2).
🔵
Главное: Китай впервые добился почти полного паритета с США. Посмотрите на график наверху: по оси Х здесь время, а по оси Y – качество моделей (усредненный результат по 7 самым популярным бенчмаркам, включая математику и кодинг).
Раньше китайские модели отставали на целое поколение, а теперь отставание по времени релизов почти исчезло: новые сопоставимые модели выходят в течение недель после релизов OpenAI и Google.
Причем китайский рынок работает активнее за счет количества игроков: DeepSeek, Alibaba, ByteDance, Tencent, Moonshot, Zhipu, Stepfun, Xiaomi, Baichuan, MiniMax, 01 AI и другие сейчас сыпят релизами почти каждую неделю.
Особенно, конечно, выделяется последняя R1-0528, которая встала в один ряд с o3, и при этом все еще остается открытой моделью (кстати, про опенсорс и говорить нечего: тут они на абсолютном первом месте – см. график 2).
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Робот по цене макбука от HuggingFace
Знакомьтесь: это HopeJR, полноразмерный робот-гуманоид с 66 степенями свободы конечностей всего за 3000 долларов. Его на днях показали робототехники Hugging Face, и совсем скоро он поступит в продажу.
Робот может ходить, двигать руками и выполнять почти любые задачи, которым вы его научите: весь код для него – в опенсорсе.
Кроме этого HF еще показали мини-робота Reachy Mini. Он настольный и может двигать головой, говорить и слушать. Тут уже предназначено не для выполнения задач, а скорее для прототипирования (оживления) LLM. Цена – около 250 долларов, и тоже в опенсорсе.
Выглядит как большой вызов, особенно учитывая, что текущая робо-индустрия полностью живет по модели черного ящика. Опенсорсный подход HF, да еще с такими ценами, здесь, по сути, первый в своем роде.
Знакомьтесь: это HopeJR, полноразмерный робот-гуманоид с 66 степенями свободы конечностей всего за 3000 долларов. Его на днях показали робототехники Hugging Face, и совсем скоро он поступит в продажу.
Робот может ходить, двигать руками и выполнять почти любые задачи, которым вы его научите: весь код для него – в опенсорсе.
Кроме этого HF еще показали мини-робота Reachy Mini. Он настольный и может двигать головой, говорить и слушать. Тут уже предназначено не для выполнения задач, а скорее для прототипирования (оживления) LLM. Цена – около 250 долларов, и тоже в опенсорсе.
Выглядит как большой вызов, особенно учитывая, что текущая робо-индустрия полностью живет по модели черного ящика. Опенсорсный подход HF, да еще с такими ценами, здесь, по сути, первый в своем роде.
Зацените иллюстрацию к новой статье журнала WSJ про элаймент
Статья называется «ИИ учится сбегать от человеческого контроля» и посвящена свежему исследованию от Palisade AI, о котором мы подробно рассказывали тут.
Если коротко, в этом исследовании впервые был официально зафиксирован случай, когда модель явно нарушила человеческие инструкции в пользу собственных «интересов».
Ну в общем журналисты переполошились и написали что модели «имитируют элаймент на тестах, а затем все равно возвращаются к опасным действиям: врут, пытаются копировать свои веса и саботировать».
Отдает желтой прессой, конечно, но в целом вывод в статье верный: нам нужно больше внимания уделять элайменту. Это ключ к безопасным ассистентам.
А художнику респект
Статья называется «ИИ учится сбегать от человеческого контроля» и посвящена свежему исследованию от Palisade AI, о котором мы подробно рассказывали тут.
Если коротко, в этом исследовании впервые был официально зафиксирован случай, когда модель явно нарушила человеческие инструкции в пользу собственных «интересов».
Ну в общем журналисты переполошились и написали что модели «имитируют элаймент на тестах, а затем все равно возвращаются к опасным действиям: врут, пытаются копировать свои веса и саботировать».
Отдает желтой прессой, конечно, но в целом вывод в статье верный: нам нужно больше внимания уделять элайменту. Это ключ к безопасным ассистентам.
А художнику респект
Media is too big
VIEW IN TELEGRAM
Сэм Альтман: «Грядут страшные времена» 🪦
CEO говорит, что мир должен всеми силами готовиться к огромному влиянию ИИ. Он заявил, что OpenAI выпускает не идеальные модели затем, чтобы люди успели «адаптироваться и привыкнуть».
Источник: свежее интервью
CEO говорит, что мир должен всеми силами готовиться к огромному влиянию ИИ. Он заявил, что OpenAI выпускает не идеальные модели затем, чтобы люди успели «адаптироваться и привыкнуть».
Источник: свежее интервью
Please open Telegram to view this post
VIEW IN TELEGRAM
Google представили ATLAS – новую архитектуру памяти для LLM
В Google неустанно продолжают работать над увеличением емкости памяти моделей. Не так давно они показывали архитектуру Titan (вот тут наш подробный разбор), а теперь пишут про Atlas – новый подход, в котором память обучается прямо во время инференса.
Немного о проблеме контекста. Обычным трансформерам тяжело масштабироваться на длинные последовательности: с ростом количества токенов потребление памяти увеличивается квадратично, потому что всю информацию приходится хранить одновременно в KV-кэше.
Рекуррентные сетки же от проблем масштабирования не страдают, потому что память у них фиксированного размера. В то же время из-за этой фиксированности они просто-напросто постоянно ничего не помнят.
В Google сделали вот что: они взяли за основу трансформер, но вообще отказались от self-attention и хранения ключей и значений. Вместо этого все вычисления завязаны на обновляемую память (это идея из RNN). То есть:
➖ На входе мы всё ещё получаем токены контекста, для которых рассчитываем запросы, ключи и значения
➖ Но место того, чтобы сохранять каждую пару (k, v) в кэш, мы прямо во время инференса обучаем наш модуль памяти выучивать взаимосвязи между ними. Модуль памяти здесь – это полносвязная MLP, и она обычным градиентным спуском обучается отображать ключи в значения, то есть MLP(k_i) ≈ v_i.
➖ На выходе получается, что у нас нет KV-кэша, но есть нейро-модуль памяти, который на лету выучил все взаимосвязи в текущем контексте.
Работает ли это? Да, лучше чем в трансформерах и Titan. На бечмарке BABILong ATLAS достигает 80%+ точности на длинах до 10 миллионов токенов. Трансформеры на такой длине уже давно окончательно захлебнулись – смотрите график 2. При этом перплексия и точность тоже остаются приличными.
Отличная работа. Прочитать полностью можно здесь
В Google неустанно продолжают работать над увеличением емкости памяти моделей. Не так давно они показывали архитектуру Titan (вот тут наш подробный разбор), а теперь пишут про Atlas – новый подход, в котором память обучается прямо во время инференса.
Немного о проблеме контекста. Обычным трансформерам тяжело масштабироваться на длинные последовательности: с ростом количества токенов потребление памяти увеличивается квадратично, потому что всю информацию приходится хранить одновременно в KV-кэше.
Рекуррентные сетки же от проблем масштабирования не страдают, потому что память у них фиксированного размера. В то же время из-за этой фиксированности они просто-напросто постоянно ничего не помнят.
В Google сделали вот что: они взяли за основу трансформер, но вообще отказались от self-attention и хранения ключей и значений. Вместо этого все вычисления завязаны на обновляемую память (это идея из RNN). То есть:
Работает ли это? Да, лучше чем в трансформерах и Titan. На бечмарке BABILong ATLAS достигает 80%+ точности на длинах до 10 миллионов токенов. Трансформеры на такой длине уже давно окончательно захлебнулись – смотрите график 2. При этом перплексия и точность тоже остаются приличными.
Отличная работа. Прочитать полностью можно здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
This media is not supported in your browser
VIEW IN TELEGRAM
Московское родео в эпоху ИИ
1:0 не в нашу в пользу
1:0 не в нашу в пользу
Data Secrets
Робот по цене макбука от HuggingFace Знакомьтесь: это HopeJR, полноразмерный робот-гуманоид с 66 степенями свободы конечностей всего за 3000 долларов. Его на днях показали робототехники Hugging Face, и совсем скоро он поступит в продажу. Робот может ходить…
Hugging Face сделали собственную легковесную модель для управления роботами
Для универсальных роботов используются модели VLA (Vision-Language-Action), но обычно они достаточно тяжелые и дорогие. Hugging Face же сейчас идет в сторону доступной и дешевой робототехники, и сегодня они выложили SmolVLA – специальную облегченную VLA, которую можно использовать для домашних роботов.
Сама архитектура очень компактная: всего один Action Expert и несколько чередующихся слоев self-attention и cross-attention. На вход модели поступают кадры и задача на естественном языке, на выходе получаем последовательность действий для робота.
Интересно, что обучена модель исключительно на открытых датасетах сообщества LeRobot (их люди за год выложили порядка 500).
Завести SmolVLA можно на домашних GPU или даже на CPU. В проект зашит, помимо прочего, еще и асинхронный инференс.
И вот еще: несмотря на свои размеры (есть варианты на 0.24B, 0.45В и 2.25В), моделька работает очень неплохо, иногда даже на уровне с VLA в десять+ раз больше.
Веса | Репо | Статья
Для универсальных роботов используются модели VLA (Vision-Language-Action), но обычно они достаточно тяжелые и дорогие. Hugging Face же сейчас идет в сторону доступной и дешевой робототехники, и сегодня они выложили SmolVLA – специальную облегченную VLA, которую можно использовать для домашних роботов.
Сама архитектура очень компактная: всего один Action Expert и несколько чередующихся слоев self-attention и cross-attention. На вход модели поступают кадры и задача на естественном языке, на выходе получаем последовательность действий для робота.
Интересно, что обучена модель исключительно на открытых датасетах сообщества LeRobot (их люди за год выложили порядка 500).
Завести SmolVLA можно на домашних GPU или даже на CPU. В проект зашит, помимо прочего, еще и асинхронный инференс.
И вот еще: несмотря на свои размеры (есть варианты на 0.24B, 0.45В и 2.25В), моделька работает очень неплохо, иногда даже на уровне с VLA в десять+ раз больше.
Веса | Репо | Статья
В Bing теперь бесплатно можно пользоваться SORA
Microsoft только что добавили в свой невероятно популярный😶 браузер инструмент Video Creator. Внутри – SORA, и пользоваться этим можно бесплатно (лимиты пока неизвестны).
Видимо, скоро у OpenAI новый раунд финансирования, раз они раздают инвесторам такие подарки
Microsoft только что добавили в свой невероятно популярный
Видимо, скоро у OpenAI новый раунд финансирования, раз они раздают инвесторам такие подарки
Please open Telegram to view this post
VIEW IN TELEGRAM
Media is too big
VIEW IN TELEGRAM
Ого: Manus анонсировали собственный видео-генератор
Метрик нет, но почерипикам демо качество выглядит неплохо. Говорят, скоро раскатают даже на бесплатный тариф (ну а пока доступно в Basic, Plus и Pro)
Метрик нет, но по
This media is not supported in your browser
VIEW IN TELEGRAM
Один из отцов-основателей глубокого обучения Йошуа Бенджио только что сообщил о том, что открывает собственную компанию LawZero
Бенджио – один из самых известных исследователей в области глубокого обучения. Его, наряду с Хинтоном и Лекуном, обычно называют первооткрывателем и отцом Deep Learning. В 2018 он получил премию Тьюринга, а еще он – один из авторов первой статьи про механизм внимания.
Раньше Бенджио работал в Университете Монреаля в Канаде, а сегодня сообщил, что открывает собственную некоммерческую организацию LawZero (lawzero.org).
Название LawZero – это в честь нулевого закона робототехники Исаака Азимова: "Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред".
Как вы уже поняли, компания будет работать над безопасностью. Пока что Бенджио возглавит команду из более чем 15 исследователей, и разрабатывать они все будут так называемого Scientist AI.
Scientist AI будет не агентом, а скорее наоброт – он будет выступать в качестве надсмотрщика для агентов. Цель состоит в том, чтобы эта модель использовалась в тандеме с ИИ, наблюдала за ним и сводила к минимуму потенциальный вред.
Самое интересное, что у LawZero уже и инвестиции есть. Бывший гендир Google Эрик Шмидт, соучредитель Skype Яан Таллин и другие дали Бенджио 30 миллионов долларов.
Будем наблюдать🍿
Бенджио – один из самых известных исследователей в области глубокого обучения. Его, наряду с Хинтоном и Лекуном, обычно называют первооткрывателем и отцом Deep Learning. В 2018 он получил премию Тьюринга, а еще он – один из авторов первой статьи про механизм внимания.
Раньше Бенджио работал в Университете Монреаля в Канаде, а сегодня сообщил, что открывает собственную некоммерческую организацию LawZero (lawzero.org).
Название LawZero – это в честь нулевого закона робототехники Исаака Азимова: "Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред".
Как вы уже поняли, компания будет работать над безопасностью. Пока что Бенджио возглавит команду из более чем 15 исследователей, и разрабатывать они все будут так называемого Scientist AI.
Scientist AI будет не агентом, а скорее наоброт – он будет выступать в качестве надсмотрщика для агентов. Цель состоит в том, чтобы эта модель использовалась в тандеме с ИИ, наблюдала за ним и сводила к минимуму потенциальный вред.
Самое интересное, что у LawZero уже и инвестиции есть. Бывший гендир Google Эрик Шмидт, соучредитель Skype Яан Таллин и другие дали Бенджио 30 миллионов долларов.
Будем наблюдать
Please open Telegram to view this post
VIEW IN TELEGRAM