А у Anthropic новая волна наружной рекламы без переходов на личности. Интересно, что хотел сказать автор? 🤔
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
😁72🔥13👍5❤1👏1
447839882_313401218505975_3018145354897668074_n.pdf
9.4 MB
Оказывается, летом Meta выпустила супер-крутое пособие по базе VLM
Книжка так и называется: "An Introduction to Vision-Language Modeling". По оглавлению:
➡️ Краткие исторические справки про CLIP, FLAVA и др.
➡️ Прекрасная глава под названием "Гайд по обучению VLM" со всеми подробностями про ПО, данные, предобученные модели, алаймент и файнтюнинг
➡️ Бенчмаркинг и дополнительные разделы про видео в VLM
Кайф, в общем. Добавляем в бэклог
Книжка так и называется: "An Introduction to Vision-Language Modeling". По оглавлению:
Кайф, в общем. Добавляем в бэклог
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥33⚡14❤9👍6
Data Secrets
Тем временем в сети пошел слушок, что OpenAI собирается сменить лого Как вам бублик? 🐱
Следуя примеру OpenAI, меняем аватарку в канале. Надеемся, у нас получился более удачный ребрендинг, чем у Альтмана 🔵
Please open Telegram to view this post
VIEW IN TELEGRAM
😁116
This media is not supported in your browser
VIEW IN TELEGRAM
Все ждали Claude Opus 3.5, а получили обновленный Sonnet 3.5 и Claude 3.5 Haiku
Но мы не расстраиваемся: Sonnet прокачали очень круто. Теперь модель может полностью автономно управлять компьютером: то есть не просто видеть экран, а двигать курсор, нажимать кнопки, пользоваться ПО (cм. видео).
Из смешного: в этом посте Anthropic рассказали, что прямо во время тестирования моделька почему-то рандомно пошла в гугл и начала смотреть фотки национального парка. Вот что значит обучена на действиях людей.
Кроме того, сильно качнулись метрики в кодинге и математике (например, 78.3% на MATH против 71.1% у предыдущей Sonnet 3.5). Видимо была проделана большая работа над ризонингом.
Ну и, конечно, свежий Claude 3.5 Haiku: самая маленькая и дешевая модель. Ее бенчмарки тоже радуют глаз, кое-где превосходя даже Sonnet 3.5. В API ее пока нет, но обещают soon.
Но мы не расстраиваемся: Sonnet прокачали очень круто. Теперь модель может полностью автономно управлять компьютером: то есть не просто видеть экран, а двигать курсор, нажимать кнопки, пользоваться ПО (cм. видео).
Из смешного: в этом посте Anthropic рассказали, что прямо во время тестирования моделька почему-то рандомно пошла в гугл и начала смотреть фотки национального парка. Вот что значит обучена на действиях людей.
Кроме того, сильно качнулись метрики в кодинге и математике (например, 78.3% на MATH против 71.1% у предыдущей Sonnet 3.5). Видимо была проделана большая работа над ризонингом.
Ну и, конечно, свежий Claude 3.5 Haiku: самая маленькая и дешевая модель. Ее бенчмарки тоже радуют глаз, кое-где превосходя даже Sonnet 3.5. В API ее пока нет, но обещают soon.
👍41❤9🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
Да, эту работу ИИ точно заберет захочет забрать не скоро
😁95🔥14👍6🤯1
Ли Кайфу: экономика ИИ в США "невероятно нездоровая"
Для справки: Ли Кайфу – инвестор, бывший директор Microsoft Research Asia, основатель стартапа 01.ai, и в общем очень влиятельный дядя. Так вот, недавно на закрытом форуме он открыто нелестно отзывался об инфраструктуре ИИ в США. Вот, что он говорил:
➡️ Экосистема ИИ держится только на Nvidia, к которой пытаются присоединиться еще несколько мелких производителей, и в сумме они все зарабатывают около $75 млрд. При этом сама инфраструктура ИИ зарабатывает около $10 млрд, а производители ИИ-приложений и вовсе лишь $5 млрд. Такая пирамида – это плохо, и в здоровой экономике все должно быть ровно наоборот.
➡️ Дело в том, что традиционно приложения должны зарабатывать больше, чем инфраструктура, чтобы привлекать новых пользователей и деньги. За счет этого развивается инфраструктура. Иначе развитию конец.
➡️ Чтобы решить проблему, компании должны работать над снижением стоимости инференса моделей, а также создавать собственные вертикальные технологические стеки (как Apple сделала с iPhone). "Самыми успешными будут те, кто создаст собственные чипы".
➡️ Например, модель BeaGo стартапа Ли 01.ai работает в основном на собственном железе, оптимизированном именно под эту модель, и именно за счет этого BeaGo такая дешевая (ее обучение стоило всего $3 млн, а стоимость инференса $0,14 / М).
➡️ Основная цель ИИ – зарабатывать и экономить деньги. Поэтому эта технология должна стать не просто частью предприятий, автоматизацией каких-то его частей и тд, а "главным мозгом" и инструментом добычи дохода.
Для справки: Ли Кайфу – инвестор, бывший директор Microsoft Research Asia, основатель стартапа 01.ai, и в общем очень влиятельный дядя. Так вот, недавно на закрытом форуме он открыто нелестно отзывался об инфраструктуре ИИ в США. Вот, что он говорил:
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥54
Крутые новости из мира математики: в GIMPS нашли новое самое большое простое число
Им оказалось 2^136279841-1. Это число имеет 41 024 320 цифр: это более, чем на 16 миллионов цифр превосходит длину предыдущего наибольшего простого числа. Кстати, это первое новое простое число, найденное за 6 лет и первое простое число, для поиска которого использовались GPU.
Простоту числа доказал Люк Дюрант: для этого ему пришлось создать целый облачный суперкомпьютер, работающий на серверах из 17 стран. Люк, кстати, – бывший сотрудник Nvidia.
Им оказалось 2^136279841-1. Это число имеет 41 024 320 цифр: это более, чем на 16 миллионов цифр превосходит длину предыдущего наибольшего простого числа. Кстати, это первое новое простое число, найденное за 6 лет и первое простое число, для поиска которого использовались GPU.
Простоту числа доказал Люк Дюрант: для этого ему пришлось создать целый облачный суперкомпьютер, работающий на серверах из 17 стран. Люк, кстати, – бывший сотрудник Nvidia.
К слову, вот вам интересный факт про новый релиз Anthropic: над подобным агентом, управляющим компьютером, OpenAI работает с 2016 года (их пост об этом того времени)
И, как вы думаете, кто именно работал на этом проекте в OpenAI? Правильно, текущий CEO Anthropic Дарио Амодеи и один из ведущих разработчиков стартапа Джек Кларк.
И, как вы думаете, кто именно работал на этом проекте в OpenAI? Правильно, текущий CEO Anthropic Дарио Амодеи и один из ведущих разработчиков стартапа Джек Кларк.
👍48😁40
Forwarded from XOR
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯126😁36
В компании ситуацию пока не комментируют, но на сайте у российских пользователей вернулась возможность загружать драйверы без VPN.
Please open Telegram to view this post
VIEW IN TELEGRAM
😐69👍23🤨11🔥7❤2
Новость, уже ставшая постоянной рубрикой канала: OpenAI покинул очередной ведущий специалист
В этот раз это Майлз Брендедж – он был старшим консультантом OpenAI по AGI и возглавлял команду AGI Readiness. Майлз проработал в компании 6 лет. В своем прощальном блоге он написал, что уходит, потому что хочет влиять на развитие ИИ "снаружи отрасли, а не изнутри".
А вот еще одна интересная цитата из этого блога:
Майлз пишет, что хочет создать nonprofit организацию/присоединиться к существующей и сосредоточиться на исследовании политики в отношении AGI. Исследователь также написал, что в последнее время в OpenAI он работал над уточнением термина AGI и этапов развития ИИ (то, о чем говорил Альтман), и, возможно, скоро на эту тему выйдет статья.
В этот раз это Майлз Брендедж – он был старшим консультантом OpenAI по AGI и возглавлял команду AGI Readiness. Майлз проработал в компании 6 лет. В своем прощальном блоге он написал, что уходит, потому что хочет влиять на развитие ИИ "снаружи отрасли, а не изнутри".
А вот еще одна интересная цитата из этого блога:
Вообще говоря, ни OpenAI, ни любая другая лаборатория, ни мир в целом не готовы к AGI. Это не камень в огород OpenAI, просто человечество только в начале этого пути и пока готовится к тому, чтобы быть готовыми к AGI.
Майлз пишет, что хочет создать nonprofit организацию/присоединиться к существующей и сосредоточиться на исследовании политики в отношении AGI. Исследователь также написал, что в последнее время в OpenAI он работал над уточнением термина AGI и этапов развития ИИ (то, о чем говорил Альтман), и, возможно, скоро на эту тему выйдет статья.
Улучшенная версия BPR
В рекомендациях, как известно, бейзлайн побить обычно сложно, и часто старые добрые модели работают гораздо лучше новых, если уделить достаточно внимания деталям.
Так вышло и в этом случае. BPR (Bayesian Personalized Ranking) была изобретена еще в 2012 году, и за 12 лет расплодилось куча ее реализаций: в каждой библиотеке своя, у кого-то работают похуже, у кого-то получше. А у ресерчеров из T-Bank AI Research получилось создать новый золотой стандарт – SOTA версию алгоритма.
Ребята пересмотрели и доработали все компоненты BPR, и, учитывая влияние каждого из параметров, пересобрали эффективную реализацию. Для этого, кстати, понадобилось более 200 000 GPU-часов и 15 000 экспериментов😱
В итоге в некоторых случаях она превзошла другие модели почти на 50% по точности (в частности, популярную реализацию из RecBole). Это не все: модель обошла даже хайповую Mult-VAE от Netflix и оказалась точнее на 10%!
Работу, кстати, уже презентовали на ACM RecSys в Италии. Подробное описание модели и результаты экспериментов доступны в статье Revisiting BPR: A Replicability Study of a Common Recommender System Baseline.
Исходный код и дополнительные материалы можно найти на GitHub.
В рекомендациях, как известно, бейзлайн побить обычно сложно, и часто старые добрые модели работают гораздо лучше новых, если уделить достаточно внимания деталям.
Так вышло и в этом случае. BPR (Bayesian Personalized Ranking) была изобретена еще в 2012 году, и за 12 лет расплодилось куча ее реализаций: в каждой библиотеке своя, у кого-то работают похуже, у кого-то получше. А у ресерчеров из T-Bank AI Research получилось создать новый золотой стандарт – SOTA версию алгоритма.
Ребята пересмотрели и доработали все компоненты BPR, и, учитывая влияние каждого из параметров, пересобрали эффективную реализацию. Для этого, кстати, понадобилось более 200 000 GPU-часов и 15 000 экспериментов
В итоге в некоторых случаях она превзошла другие модели почти на 50% по точности (в частности, популярную реализацию из RecBole). Это не все: модель обошла даже хайповую Mult-VAE от Netflix и оказалась точнее на 10%!
Работу, кстати, уже презентовали на ACM RecSys в Италии. Подробное описание модели и результаты экспериментов доступны в статье Revisiting BPR: A Replicability Study of a Common Recommender System Baseline.
Исходный код и дополнительные материалы можно найти на GitHub.
Please open Telegram to view this post
VIEW IN TELEGRAM
❤52🔥12🍌12🤯4😎3
This media is not supported in your browser
VIEW IN TELEGRAM
Perplexity встраивает в свой поисковик продвинутый ризонинг
Об этом написал в твиттере CEO стартапа Аравинд Сринивас. Пока фича на стадии тестирования и доступна только в Pro. При этом ризонинг используется не для всех запросов, а только для сложных или составных – классификация происходит автоматически. Для особенно сложных промптов процесс «обдумывания» может занимать до нескольких минут.
Об этом написал в твиттере CEO стартапа Аравинд Сринивас. Пока фича на стадии тестирования и доступна только в Pro. При этом ризонинг используется не для всех запросов, а только для сложных или составных – классификация происходит автоматически. Для особенно сложных промптов процесс «обдумывания» может занимать до нескольких минут.
🔥46👍7❤5
Media is too big
VIEW IN TELEGRAM
А вот Ян Лекун по поводу ризонинга настроен не так оптимистично, как стартапы. Вот что он сказал на своей недавней лекции:
Лекун также ссылается на исследователя по имени Subbarao Kambhampati, у которого есть целая серия статей про то, что LLM не могут планировать. Серьезно, статьи так и называются: "LLMs Can't Plan", "LLM Still Can't Plan" и так далее в том же духе. Кажется, у него стоит поучиться отстаивать свою позицию😎
"Языковые модели НЕ МОГУТ рассуждать или планировать — даже такие модели, как o1 от OpenAI. Нам кажется, что они рассуждают, но на самом деле они просто выполняют интеллектуальный поиск.
Это не значит, что LLM бесполезны. Они очень полезны. Но тем не менее, они – не путь к суперинтеллекту, несмотря на то, что говорят некоторые в США."
Лекун также ссылается на исследователя по имени Subbarao Kambhampati, у которого есть целая серия статей про то, что LLM не могут планировать. Серьезно, статьи так и называются: "LLMs Can't Plan", "LLM Still Can't Plan" и так далее в том же духе. Кажется, у него стоит поучиться отстаивать свою позицию
Please open Telegram to view this post
VIEW IN TELEGRAM
❤54👍38😁19🤨2🎅1
Media is too big
VIEW IN TELEGRAM
Anthropic представили новую фичу Claude – аналитический движок для обработки и анализа данных в реальном времени
Вся фишка в том, что интерфейс пишет и запускает JavaScript код, проверяя свои гипотезы и подводя аналитику, и только затем показывает результаты пользователю. Так он может строить графики, обрабатывать данные из файлов и делать по ним выводы.
Инструмент также красиво коннектится с Anthropic Artifacts (см. видео) и исследователи говорят, что с помощью него теперь можно добиваться более точных результатов не только в аналитике, но и в коде и математике.
Тулза доступна всем пользователям в feature preview
Вся фишка в том, что интерфейс пишет и запускает JavaScript код, проверяя свои гипотезы и подводя аналитику, и только затем показывает результаты пользователю. Так он может строить графики, обрабатывать данные из файлов и делать по ним выводы.
Инструмент также красиво коннектится с Anthropic Artifacts (см. видео) и исследователи говорят, что с помощью него теперь можно добиваться более точных результатов не только в аналитике, но и в коде и математике.
Тулза доступна всем пользователям в feature preview
❤36👍18🤯10