Microsoft выпустили статью про визуальный ризонинг
Люди используют как текстовое, так и визуальное мышление. Если мы чего-то не понимаем, мы можем нарисовать схему/таблицу/макет и станет проще. LLM так не умеют, поэтому все еще довольно плохи в пространственных рассуждениях: ведь думают они на уровне текста.
А Microsoft предложили добавить в ризонинг картинки. Это называется MVoT и по сути это генерация "визуальных" мыслей. Выглядит все примерно так:
Дано: мультимодальная авторегрессионная (это вот так) модель, мультимодальный промпт
Процесс: для каждого шага ризонинга модель помимо текста генерирует к нему логические иллюстрации. При переходе на следующую итерацию размышления картинка обновляется с учетом предыдущей схемы и контекста.
Выхлоп: текстовый вывод + итоговая схема мысленного "маршрута"
Результаты неоднозначные. MVoT тестировали на прохождении лабиринта, игре-раннере и построении алгоритма действий для робота. CoT (текст онли) иногда все еще оказывается лучше, но но жестко завязанных на обновлении действий в пространстве тасках валится, и вот тут MVoT впереди.
То есть прогресс наблюдается, но с учетом затрат на инференс с MVoT ну... В общем, для определенных задач однозначно кайф, а в целом требует оптимизаций. Тема перспективная кстати, Microsoft не одни смотрят в эту сторону, Google вот тоже писали про визуальный CoT
Прямо день крутых статей сегодня arxiv.org/pdf/2501.07542
Люди используют как текстовое, так и визуальное мышление. Если мы чего-то не понимаем, мы можем нарисовать схему/таблицу/макет и станет проще. LLM так не умеют, поэтому все еще довольно плохи в пространственных рассуждениях: ведь думают они на уровне текста.
А Microsoft предложили добавить в ризонинг картинки. Это называется MVoT и по сути это генерация "визуальных" мыслей. Выглядит все примерно так:
Дано: мультимодальная авторегрессионная (это вот так) модель, мультимодальный промпт
Процесс: для каждого шага ризонинга модель помимо текста генерирует к нему логические иллюстрации. При переходе на следующую итерацию размышления картинка обновляется с учетом предыдущей схемы и контекста.
Выхлоп: текстовый вывод + итоговая схема мысленного "маршрута"
Результаты неоднозначные. MVoT тестировали на прохождении лабиринта, игре-раннере и построении алгоритма действий для робота. CoT (текст онли) иногда все еще оказывается лучше, но но жестко завязанных на обновлении действий в пространстве тасках валится, и вот тут MVoT впереди.
То есть прогресс наблюдается, но с учетом затрат на инференс с MVoT ну... В общем, для определенных задач однозначно кайф, а в целом требует оптимизаций. Тема перспективная кстати, Microsoft не одни смотрят в эту сторону, Google вот тоже писали про визуальный CoT
Прямо день крутых статей сегодня arxiv.org/pdf/2501.07542
👍80🔥30❤17😁2⚡1
В 2023 его за 11 миллионов долларов купили OpenAI. До этого он принадлежал Google. Сколько за него заплатили в Китае, неизвестно.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯229🐳60😁27❤16👍9🔥7⚡5🤪4🤔2🗿2
Илон Маск пытается купить OpenAI и настроен серьезно
Начальная ставка от его группы инвесторов за контрольный пакет акций – $97.4 млрд (1/5 Stargate). В документе также написано, что они готовы перебить любые другие ставки, если OpenAI собирается их рассматривать.
Маск не просто так проснулся сейчас. OpenAI, как мы знаем, пытается из некоммерческой организации стать коммерческой. Для этого нужно «убрать» некоммерческий совет директоров, который должен был получить компенсацию по справедливой рыночной стоимости за отказ от контроля.
Сколько им планировали заплатить OpenAI – неизвестно, но точно меньше 100 млрд. Вероятно около 30-40.
Поэтому Маск все усложнил, и поэтому то в документе и написано «перебьем любую ставку».
Альтман отказался от предложения (Маск в ответ на это назвал его мошенником), но решение будет принимать тот самый некоммерческий совет директоров. И даже если они откажутся, Альтману теперь придется платить им более чем щедро.
Ведь если переход в коммерческую организацию не завершится через 2 года, инвесторы 2024 года (которые вкладывались именно в идею ком. проекта) могут потребовать инвестиции обратно.
Сам Маск говорит, что его цель «сделать OpenAI снова Open» и опенсорснуть все их разработки.
Игра престолов в 21 веке выглядит так
Начальная ставка от его группы инвесторов за контрольный пакет акций – $97.4 млрд (1/5 Stargate). В документе также написано, что они готовы перебить любые другие ставки, если OpenAI собирается их рассматривать.
Маск не просто так проснулся сейчас. OpenAI, как мы знаем, пытается из некоммерческой организации стать коммерческой. Для этого нужно «убрать» некоммерческий совет директоров, который должен был получить компенсацию по справедливой рыночной стоимости за отказ от контроля.
Сколько им планировали заплатить OpenAI – неизвестно, но точно меньше 100 млрд. Вероятно около 30-40.
Поэтому Маск все усложнил, и поэтому то в документе и написано «перебьем любую ставку».
Альтман отказался от предложения (Маск в ответ на это назвал его мошенником), но решение будет принимать тот самый некоммерческий совет директоров. И даже если они откажутся, Альтману теперь придется платить им более чем щедро.
Ведь если переход в коммерческую организацию не завершится через 2 года, инвесторы 2024 года (которые вкладывались именно в идею ком. проекта) могут потребовать инвестиции обратно.
Сам Маск говорит, что его цель «сделать OpenAI снова Open» и опенсорснуть все их разработки.
Игра престолов в 21 веке выглядит так
🤔229🔥108😁90👍22❤21🦄6👾3❤🔥1
Anthropic анонсировали собственный экономический индекс и в числах показали, как ИИ влияет на экономику труда
Anthropic Economic Index показывает, как люди на самом деле используют ИИ, и основан он на диалогах пользователей. Но не осуждайте: они очень бережно подходят к персональным данным, у них даже было огромное исследование на этот счет (наш разбор).
Если кратко, в том ресерче они релизовали очень умную систему анализа диалогов Clio, которая полностью автономно в несколько этапов чистит чаты от персональных данных и извлекает из них фичи. То есть люди вообще не имеют никакого доступа к текстам: только к финальным статистикам.
И вот теперь Clio используют для глубокой экономической аналитики. Вот что накопали в антропик:
➖ Уже в 36% профессий AI используется как минимум в четверти рабочих задач.
➖ В 57% случаев AI помогает пользователям (аугментация), а в 43% — заменяет их в выполнении задач (автоматизация).
➖ Больше всего AI используют разработчики, аналитики и технические писатели. Меньше всего — самые низкооплачиваемые и самые высокооплачиваемые профессии.
Прикольные нелинейные наблюдения (и графики красивые!). Для аналитики, кстати, даже привлекали экспертов социологов и экономистов.
Такую статистику, да еще и от такого крупного вендора, вообще нигде больше не увидишь. Кроме того, данные выложили в свободный доступ и они открыты для исследований (датасет на HuggingFace)
assets.anthropic.com/m/2e23255f1e84ca97/original/Economic_Tasks_AI_Paper.pdf
Anthropic Economic Index показывает, как люди на самом деле используют ИИ, и основан он на диалогах пользователей. Но не осуждайте: они очень бережно подходят к персональным данным, у них даже было огромное исследование на этот счет (наш разбор).
Если кратко, в том ресерче они релизовали очень умную систему анализа диалогов Clio, которая полностью автономно в несколько этапов чистит чаты от персональных данных и извлекает из них фичи. То есть люди вообще не имеют никакого доступа к текстам: только к финальным статистикам.
И вот теперь Clio используют для глубокой экономической аналитики. Вот что накопали в антропик:
Прикольные нелинейные наблюдения (и графики красивые!). Для аналитики, кстати, даже привлекали экспертов социологов и экономистов.
Такую статистику, да еще и от такого крупного вендора, вообще нигде больше не увидишь. Кроме того, данные выложили в свободный доступ и они открыты для исследований (датасет на HuggingFace)
assets.anthropic.com/m/2e23255f1e84ca97/original/Economic_Tasks_AI_Paper.pdf
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤67👍40❤🔥7👨💻3🤯1😐1
Рисерчер из OpenAI поделился графиком прогресса по бенчмаркам
Конечно, эта шкала немного необъективная. Почти все бенчмарки (или их открытые части) почти сразу после публикации попадают в трейны и получается лик, которым не полностью, но частично точно обусловлен рост метрик и «умирание» бенчмарка.
Интересно, когда на кладбище бенчей (такое существует!) попадет новый Humanity’s Last Exam. На графике он – маленькая синяя черточка справа, текущие модели OpenAI решают его на <30%
«Я сделал этот график для предстоящего выступления. Безумие, как быстро в наше время перенасыщаются бенчмарки»
Конечно, эта шкала немного необъективная. Почти все бенчмарки (или их открытые части) почти сразу после публикации попадают в трейны и получается лик, которым не полностью, но частично точно обусловлен рост метрик и «умирание» бенчмарка.
Интересно, когда на кладбище бенчей (такое существует!) попадет новый Humanity’s Last Exam. На графике он – маленькая синяя черточка справа, текущие модели OpenAI решают его на <30%
👍54🔥19❤11
This media is not supported in your browser
VIEW IN TELEGRAM
«Илон Маск делает это, потому что он неуверен в себе»
Так прокомментировал Альтман попытку Маска купить его компанию.
Так прокомментировал Альтман попытку Маска купить его компанию.
– Вся его жизнь продиктована неуверенностью. Я сочувствую ему, думаю он несчастный человек.
– Переживаете ли вы о том, что он может влиять на принятие решений в США?
– Может мне и стоит, но не очень. Я просто стараюсь просыпаться и думать о том, как сделать технологии лучше👼
Please open Telegram to view this post
VIEW IN TELEGRAM
😁216🔥39🗿22👍19👏6❤5😐5🤔4💋1
Вы не поверите: у OpenAI вышла статья!
Правда, она никаких новых идей не раскрывает (разбежались), а скорее похожа на тех.отчет и называется Competitive Programming with Large Reasoning Models.
Это текст об успехах их ризонинг моделей в кодинге. Оказывается, OpenAI в реальном времени тестили модельки на IOI (Международная Олимпиада по Информатике). В соревновании участвовала o1, специально зафайнтюненная с помощью RL и эвристик – о1-ioi, а также o3.
Результаты такие:
➡️ o1 достигла рейтинга 1673 на CodeForces (Альтман уже об этом говорил, кстати). Ее зафайнтюненная версия на олимпиаде вошла в 49-й процентиль среди участников. НО если бы не ограничение на количество сабмитов, взяла бы золото
➡️ o3 же без всякого дообучения уверенно набрала 395.64 балла (золото). На CodeForces ее рейтинг 2724 (99.8-й процентиль). Это на уровне топ-200 участников мира.
Еще тестили на более привычных HackerRank Astra и SWE-Bench. Результаты на графиках, у o3 значительный прогресс (при этом говорят, что строго отслеживали чтобы в тесте не было того, на чем модель обучалась).
Из технических деталей почти ничего. Есть намеки на то, что o3 обучена с гораздо большим количеством RL-компьюта.
За счет этого по словам авторов ей даже не пришлось «объяснять» предопределенные тест-тайм стратегии, o3 сама научилась
генерировать, проверять и корректировать решения во время инференса, а еще внезапно догадалась использовать брутфорс для проверки некоторых собственных алгоритмов.
https://arxiv.org/abs/2502.06807
Правда, она никаких новых идей не раскрывает (разбежались), а скорее похожа на тех.отчет и называется Competitive Programming with Large Reasoning Models.
Это текст об успехах их ризонинг моделей в кодинге. Оказывается, OpenAI в реальном времени тестили модельки на IOI (Международная Олимпиада по Информатике). В соревновании участвовала o1, специально зафайнтюненная с помощью RL и эвристик – о1-ioi, а также o3.
Результаты такие:
Еще тестили на более привычных HackerRank Astra и SWE-Bench. Результаты на графиках, у o3 значительный прогресс (при этом говорят, что строго отслеживали чтобы в тесте не было того, на чем модель обучалась).
Из технических деталей почти ничего. Есть намеки на то, что o3 обучена с гораздо большим количеством RL-компьюта.
За счет этого по словам авторов ей даже не пришлось «объяснять» предопределенные тест-тайм стратегии, o3 сама научилась
генерировать, проверять и корректировать решения во время инференса, а еще внезапно догадалась использовать брутфорс для проверки некоторых собственных алгоритмов.
https://arxiv.org/abs/2502.06807
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍91🔥28❤25🤔11
Евросоюз проснулся и решил вложить 200 миллиардов евро в AI
Об этом сообщили на AI Action Summit в Париже. Из этой суммы 20 миллиардов евро будут направлены на создание так называемых «гигафабрик» ИИ aka датацентов для обучения.
Есть нюанс: из этих 200 миллиардов государственных (а это от всего Евросоюза) только 50. Остальное пока только планируют привлечь от частных инвесторов и бизнеса.
Об этом сообщили на AI Action Summit в Париже. Из этой суммы 20 миллиардов евро будут направлены на создание так называемых «гигафабрик» ИИ aka датацентов для обучения.
Есть нюанс: из этих 200 миллиардов государственных (а это от всего Евросоюза) только 50. Остальное пока только планируют привлечь от частных инвесторов и бизнеса.
😁169❤36🔥18👍17🦄9👾5🌭4💅3🤩1
This media is not supported in your browser
VIEW IN TELEGRAM
Тем времен Альтман: что? 500 миллиардов? Маловато 🤑
Вот кому уверенности хватает
«500 миллиардов сейчас звучит невероятно, но через несколько лет, когда мы привлечем 5 триллионов, уже не будет так казаться»
Вот кому уверенности хватает
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥149😁99🤯15❤12🍌9👍6😎2
Deep Research будет доступен бесплатным пользователям
Альтман сказал, что в плюсе будет доступно 10 запросов в месяц, а во фри плане – 2, и со временем это будут масштабировать. Он также написал следующее:
Такая подписка, конечно, была бы революционной в мире чат-ботов. Представьте: вы платите не за план, а динамически настраиваете себе ресурсы, которые можете оптимизированно тратить на любую модель или продукт в зависимости от ваших задач.
Альтман сказал, что в плюсе будет доступно 10 запросов в месяц, а во фри плане – 2, и со временем это будут масштабировать. Он также написал следующее:
«В долгосрочной перспективе нам все еще предстоит найти способ позволить людям платить за вычислительные ресурсы, которые они хотят использовать более динамично»
Такая подписка, конечно, была бы революционной в мире чат-ботов. Представьте: вы платите не за план, а динамически настраиваете себе ресурсы, которые можете оптимизированно тратить на любую модель или продукт в зависимости от ваших задач.
👍105🔥29☃9🤔4😁2❤🔥1
Сэм Альтман внезапно запостил в X планы OpenAI. GPT-4.5 (aka тот самый Orion, для которого из o3 генерировали синтетику) станет последней не-ризонинг моделью и выйдет уже в течение нескольких недель.
После этого компания надеется создать единую модель, которая будет воплощать в себе все технологии OpenAI, включая o3: GPT-5. По словам Сэма, она сама будет знать, когда думать дольше, а когда нет. Также в нее интегрируют голосовой режим, агентов, поиск и canvas.
При этом GPT-5 будет доступна бесплатно! А Plus и Pro юзеры смогут запускать ее на более высоком уровне компьюта.
Мы хотим, чтобы ИИ «просто работал» для вас, и мечтаем вернуться к единому волшебному интеллекту вместо множества моделей, из которых приходится выбирать
Please open Telegram to view this post
VIEW IN TELEGRAM
23🔥213👍42❤24👀10🤔7🍌7✍2❤🔥2🫡1
В Nvidia попробовали генерировать оптимизированные GPU-ядра с помощью DeepSeek R1 и получили решения, превосходящие скорость PyTorch
Так как атеншн в языковых моделях очень прожорливый, инженеры оптимизируют вычисления на уровне ядер GPU. И это непростая задача, потому что видов внимания много, и их нужно комбинировать, а еще там куча заморочек с мультимодалками.
Вот в Nvidia и попробовали с помощью простого пайплайна генерировать CUDA код автоматически с R1.
В итоге решения, которые она написала, превосходят по производительности стандартные решения PyTorch API в 1.1—2.1 раза. К тому же модель почти никогда не ошибается, особенно на высоком уровне бюджета на рассуждения.
Получается, страдать и учить CUDA теперь необязательно🥳
Блогпост
Так как атеншн в языковых моделях очень прожорливый, инженеры оптимизируют вычисления на уровне ядер GPU. И это непростая задача, потому что видов внимания много, и их нужно комбинировать, а еще там куча заморочек с мультимодалками.
Вот в Nvidia и попробовали с помощью простого пайплайна генерировать CUDA код автоматически с R1.
В итоге решения, которые она написала, превосходят по производительности стандартные решения PyTorch API в 1.1—2.1 раза. К тому же модель почти никогда не ошибается, особенно на высоком уровне бюджета на рассуждения.
Получается, страдать и учить CUDA теперь необязательно
Блогпост
Please open Telegram to view this post
VIEW IN TELEGRAM
❤148🔥73👍28🤔19😁10🕊2🍌1
Data Secrets
Илон Маск пытается купить OpenAI и настроен серьезно Начальная ставка от его группы инвесторов за контрольный пакет акций – $97.4 млрд (1/5 Stargate). В документе также написано, что они готовы перебить любые другие ставки, если OpenAI собирается их рассматривать.…
Маск заявил, что отзовет свою заявку на покупку OpenAI, если некоммерческий совет директоров остановит преобразование организации в коммерческую
Собственно, ничего удивительного. Сразу было понятно, что цель Илона была именно в том, чтобы отнять у Альтмана некий финансовый контроль совета директоров и надавить на них.
Адвокаты OpenAI тем временем говорят, что Маск делает все для того, чтобы подорвать позиции конкурента и утверждают, что все его действия неправомерны.
Собственно, ничего удивительного. Сразу было понятно, что цель Илона была именно в том, чтобы отнять у Альтмана некий финансовый контроль совета директоров и надавить на них.
Адвокаты OpenAI тем временем говорят, что Маск делает все для того, чтобы подорвать позиции конкурента и утверждают, что все его действия неправомерны.
😁123🔥22🤯11❤🔥5🗿5👍4👀3❤2🕊2🍌2🦄2