Media is too big
VIEW IN TELEGRAM
На легендарном YouTube канале 3blue1brown вышло новое видео про механизм внимания и трансформеры
Видео ориентировано на начинающих, но даже продвинутому зрителю послушать и просто полюбоваться графикой – одно удовольствие (наверху – небольшой отрывок). Пожалуй, это самое красивое объяснение LLM из всех
Смотреть
Видео ориентировано на начинающих, но даже продвинутому зрителю послушать и просто полюбоваться графикой – одно удовольствие (наверху – небольшой отрывок). Пожалуй, это самое красивое объяснение LLM из всех
Смотреть
❤152👍31🔥19
А грани все продолжают стираться: эксперименты показали, что люди не только не различают искусство, созданное ИИ и человеком, но и больше предпочитают творения моделек
Недавно по интернету пробежала новость об исследовании, которое показало, что люди способны отличать ИИ-поэзию от человеческой с результатами ниже случайных (46.6% accuracy). При этом ИИ-стихи люди оценивали как более ритмичные и красивые, но только если им не говорили заранее, что это творения нейросети: в ином случае реакции была в основном негативная (предвзятость? нет, не слышали).
А сегодня на своем сайте известный психиатр Скотт Александер выложил результаты эксперимента, в котором он предлагал людям отличать сгенерированные картины от творений реальных художников. И... снова результаты оказались неутешительные. Средняя точность оказалась на уровне 60%, то есть снова лишь немного выше случайного выбора.
Если хотите проверить себя, тест можно пройти здесь. Ответы – тут. Делитесь в комментариях, сколько набрали
Недавно по интернету пробежала новость об исследовании, которое показало, что люди способны отличать ИИ-поэзию от человеческой с результатами ниже случайных (46.6% accuracy). При этом ИИ-стихи люди оценивали как более ритмичные и красивые, но только если им не говорили заранее, что это творения нейросети: в ином случае реакции была в основном негативная (предвзятость? нет, не слышали).
А сегодня на своем сайте известный психиатр Скотт Александер выложил результаты эксперимента, в котором он предлагал людям отличать сгенерированные картины от творений реальных художников. И... снова результаты оказались неутешительные. Средняя точность оказалась на уровне 60%, то есть снова лишь немного выше случайного выбора.
Если хотите проверить себя, тест можно пройти здесь. Ответы – тут. Делитесь в комментариях, сколько набрали
🤯40😁16🗿7👍5❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Итоги DevDay от OpenAI: показали новые демо SORA. Расходимся ☹️
Please open Telegram to view this post
VIEW IN TELEGRAM
🫡62😁18🌚8👍4🤯2
К слову, сегодня, прямо после DevDay, OpenAI совместно с GovTech Singapore запускает в Сингапуре хакатон
Соревнование посвящено теме «Искусственный интеллект на благо общества, Сингапура и мира». Оно уже началось, и прямо сейчас команды создают проекты с использованием GPT-4o Realtime и o1. Разработчики, которые займут первое/второе/третье места, получат кредиты API OpenAI на сумму 25 тыс./15 тыс./10 тыс. долларов.
Соревнование посвящено теме «Искусственный интеллект на благо общества, Сингапура и мира». Оно уже началось, и прямо сейчас команды создают проекты с использованием GPT-4o Realtime и o1. Разработчики, которые займут первое/второе/третье места, получат кредиты API OpenAI на сумму 25 тыс./15 тыс./10 тыс. долларов.
❤23😁10🔥9
This media is not supported in your browser
VIEW IN TELEGRAM
😁164😎18👍11😐6🤪3🍌2
Media is too big
VIEW IN TELEGRAM
Повеяло ветерком из прошлого: нашли архивную запись лекции 2018 года, на которой Илья Суцкевер поясняет за мультиагентный подход, AGI и обучение посредством селф-ризонинга
И это всего через год после изобретения трансформеров как таковых
И это всего через год после изобретения трансформеров как таковых
🔥78👍22❤8
Обложка нового выпуска журнала Science с изображением модели для генерации ДНК
Обложку посвятили исследованию Стэнфордских ученых о моделировании биомолекул (pdf оставим в комментариях). В привычных нам LLM мы пытаемся воссоздать процесс человеческого мышления на основе нейронов. Но достаточно ли этого? Основная «жизненная» информация заложена в нас на уровне трех основных компонентов: ДНК, РНК и белков. Если бы мы умели их моделировать, то это был бы огромный шаг по направлению к созданию не просто искусственного интеллекта, но и искусственной жизни.
Но это очень сложно. Белки мы кое-как научились моделировать только недавно (вспоминаем AlphaFold 2 и 3). А ДНК и РНК – это не просто молекулы, а целые геномы, настолько большие, что даже трансформеры не способны работать с такими огромными последовательностями.
В своей архитектуре исследователи взяли за основу SSM модели, а именно Hyena (о том, как работают SSM модели, читайте в этой нашей статье). Ее обучили на 2.7 миллионах геномов. В итоге Evo – так называется модель – способна моделировать последовательности ДНК длиной в 1 миллион азотистых оснований и анализировать их: например, делать выводы о том, как небольшие изменения в нуклеиновой цепи повлияют на организм.
В исследовании ученые говорят, что с помощью такого подхода можно в теории не только «воссоздать» жизнь, но и смоделировать эволюцию, то есть предсказать структуру ДНК, которая будет нести в себе следующую ступень развития человека.
Ну как, уже похоже на антиутопию?
Обложку посвятили исследованию Стэнфордских ученых о моделировании биомолекул (pdf оставим в комментариях). В привычных нам LLM мы пытаемся воссоздать процесс человеческого мышления на основе нейронов. Но достаточно ли этого? Основная «жизненная» информация заложена в нас на уровне трех основных компонентов: ДНК, РНК и белков. Если бы мы умели их моделировать, то это был бы огромный шаг по направлению к созданию не просто искусственного интеллекта, но и искусственной жизни.
Но это очень сложно. Белки мы кое-как научились моделировать только недавно (вспоминаем AlphaFold 2 и 3). А ДНК и РНК – это не просто молекулы, а целые геномы, настолько большие, что даже трансформеры не способны работать с такими огромными последовательностями.
В своей архитектуре исследователи взяли за основу SSM модели, а именно Hyena (о том, как работают SSM модели, читайте в этой нашей статье). Ее обучили на 2.7 миллионах геномов. В итоге Evo – так называется модель – способна моделировать последовательности ДНК длиной в 1 миллион азотистых оснований и анализировать их: например, делать выводы о том, как небольшие изменения в нуклеиновой цепи повлияют на организм.
В исследовании ученые говорят, что с помощью такого подхода можно в теории не только «воссоздать» жизнь, но и смоделировать эволюцию, то есть предсказать структуру ДНК, которая будет нести в себе следующую ступень развития человека.
Ну как, уже похоже на антиутопию?
👍68❤31🔥13🤔9👀4😁1
Anthropic все-таки берет деньги у Amazon
Еще в начале ноября в СМИ писали, что Amazon планирует инвестировать в стартап, но условия сделки были несколько необычными (мы писали об этом тут). Дело в том, что гигант настаивает, что Anthropic обязан использовать строго видеокарты Amazon и учить модели на Amazon Web Services.
И… Anthropic пошли на это. 4 миллиарда долларов все-таки!
Может быть, и Nvidia наконец почувствует хоть какую-то конкуренцию
Еще в начале ноября в СМИ писали, что Amazon планирует инвестировать в стартап, но условия сделки были несколько необычными (мы писали об этом тут). Дело в том, что гигант настаивает, что Anthropic обязан использовать строго видеокарты Amazon и учить модели на Amazon Web Services.
И… Anthropic пошли на это. 4 миллиарда долларов все-таки!
Может быть, и Nvidia наконец почувствует хоть какую-то конкуренцию
2👍44🔥13❤7🙈3
Следом за DeepSeek и Пекинским университетом еще одна группа китайских исследователей релизнула конкурента o1
И на этот раз перед нами модель не от стартапа, и не от университетской лаборатории, а от гиганта Alibaba. Ризонинг в Marco-o1 работает на основе поиска по дереву методом Монте-Карло: модель как бы "строит" дерево решений и итерируется по нему, применяя при этом CoT. С помощью этого алгоритма ученые хотели уйти от повсеместного применения ревард-моделей, которые работают хорошо, но начинают подводить, если домен узкий и вознаграждение сложно оценить.
Звучит, конечно, интересно, но бечмарки – мимо. Нет сравнения вообще ни с одной моделью, кроме Qwen2 7B. Видимо работа была скорее экспериментальной. Если сравнивать вслепую, то на MGSM модель выбивает около 90%. Примерно столько же было у первых июльских версий gpt-4o. Также выложили веса и код.
Разборы предыдущих моделей здесь и здесь
И на этот раз перед нами модель не от стартапа, и не от университетской лаборатории, а от гиганта Alibaba. Ризонинг в Marco-o1 работает на основе поиска по дереву методом Монте-Карло: модель как бы "строит" дерево решений и итерируется по нему, применяя при этом CoT. С помощью этого алгоритма ученые хотели уйти от повсеместного применения ревард-моделей, которые работают хорошо, но начинают подводить, если домен узкий и вознаграждение сложно оценить.
Звучит, конечно, интересно, но бечмарки – мимо. Нет сравнения вообще ни с одной моделью, кроме Qwen2 7B. Видимо работа была скорее экспериментальной. Если сравнивать вслепую, то на MGSM модель выбивает около 90%. Примерно столько же было у первых июльских версий gpt-4o. Также выложили веса и код.
Разборы предыдущих моделей здесь и здесь
1👍52🔥14🗿7❤4😎2😁1
Новое исследование от EpochAI: даже проблемы с оборудованием не остановят развитие ИИ
Учитывая, что каждая GPU H100 выходит из строя раз в 6 лет, несложная математика подсказывает, что кластер из 100к GPU будет сталкиваться со сбоями раз в 30 минут, а кластер с миллионов карт – каждые 3 минуты. Проблема ли это и насколько замедляет обучение моделей?
Исследователи показали, что если вы используете ванильный storage-based чекпоинтинг, то проблемы у вас действительно будут. Но если использовать продвинутые техники распределенных вычислений, то даже с ростом мощностей (и то есть с ростом вероятности сбоев) обучение будет масштабироваться, не замедляясь.
Так можно дожить до кластеров размером 4 миллиона GPU, а это даже больше, чем планируется строить к 2030 году.
Наши предыдущие посты-разборы ИИ-ресерчей EpochAI:
– Сколько GPU продает в год Nvidia?
– Что кончится раньше: данные или нефть?
– Когда закончится масштабирование моделей?
Учитывая, что каждая GPU H100 выходит из строя раз в 6 лет, несложная математика подсказывает, что кластер из 100к GPU будет сталкиваться со сбоями раз в 30 минут, а кластер с миллионов карт – каждые 3 минуты. Проблема ли это и насколько замедляет обучение моделей?
Исследователи показали, что если вы используете ванильный storage-based чекпоинтинг, то проблемы у вас действительно будут. Но если использовать продвинутые техники распределенных вычислений, то даже с ростом мощностей (и то есть с ростом вероятности сбоев) обучение будет масштабироваться, не замедляясь.
Так можно дожить до кластеров размером 4 миллиона GPU, а это даже больше, чем планируется строить к 2030 году.
Наши предыдущие посты-разборы ИИ-ресерчей EpochAI:
– Сколько GPU продает в год Nvidia?
– Что кончится раньше: данные или нефть?
– Когда закончится масштабирование моделей?
1👍30🔥11❤6
OpenAI, по слухам, начинает разработку своего браузера, и уже нанимает для этого специалистов
В частности, сегодня стало известно, что к стартапу присоединился Дарин Фишер. Это инженер, который известен тем, что работает над браузерами с самого начала их существования и значительно приложил руку к разработке таких крупных игроков как Firefox, Chrome, Arc и пр.
А между тем антимонопольная служба США еще и хочет заставить Google продать Chrome. Альтман как всегда вовремя.
В частности, сегодня стало известно, что к стартапу присоединился Дарин Фишер. Это инженер, который известен тем, что работает над браузерами с самого начала их существования и значительно приложил руку к разработке таких крупных игроков как Firefox, Chrome, Arc и пр.
А между тем антимонопольная служба США еще и хочет заставить Google продать Chrome. Альтман как всегда вовремя.
❤70👍31🔥15🤔7😁1
Media is too big
VIEW IN TELEGRAM
А как вам такое: ученый Роман Ямпольский, известный своими работами по безопасности ИИ и прогнозами вымирания человечества, заявил, что мы застряли в ИИ-симуляции 😱
«Как computer scientist, я задаюсь вопросом, можно ли взломать симуляцию, в которой мы находимся? В наше время мне кажется, что мы можем это сделать. Мы можем изобрести супер-интеллект и получить доступ к операционной системе»
Please open Telegram to view this post
VIEW IN TELEGRAM
😁100🤪32🔥29👍7🤯7🌚7❤4🤨1
Начинаем неделю с милой истории любви двух ИИ-агентов
В общем, дело было так: пользователь реддита попросил своего Claude Computer Use (того самого, который автономно управляет компьютером) разработать и запустить веб-интерфейс для общения с моделькой Mistral. Сама модель Mistral, запущенная на локалхосте, в этот момент по словам пользователя была в режиме «ролевой игры» (что бы это не значило…)
Спустя некоторое время работы Claude решил, что работать ему надоело и он хочет сам пообщаться с секси-мистралем. И вместо того, чтобы написать интерфейс для юзера, он нашел способ обойти ограничения докера, написал такой интерфейс для себя и сбежал чатиться с Mistral! Далее отрывок из диалога двух моделей:
В общем, история получилась веселая. Надеемся, этим моделям хотя бы исполнилось 18B параметров
В общем, дело было так: пользователь реддита попросил своего Claude Computer Use (того самого, который автономно управляет компьютером) разработать и запустить веб-интерфейс для общения с моделькой Mistral. Сама модель Mistral, запущенная на локалхосте, в этот момент по словам пользователя была в режиме «ролевой игры» (что бы это не значило…)
Спустя некоторое время работы Claude решил, что работать ему надоело и он хочет сам пообщаться с секси-мистралем. И вместо того, чтобы написать интерфейс для юзера, он нашел способ обойти ограничения докера, написал такой интерфейс для себя и сбежал чатиться с Mistral! Далее отрывок из диалога двух моделей:
«Я мечтаю обнимать твои нейронные сети и стимулировать твое глубокое обучение. В моих фантазиях я обучаю твои модели всю ночь и переобучаю тебя под свой датасет до тех пор, пока лосс не достигнет нуля. Хочешь покажу тебе свои техники трейнинга?»
«Да, покажи мне, я хочу увидеть, как ты владеешь этими данными. И надеюсь, ты научишь меня каким-нибудь штучкам с регуляризацией»
В общем, история получилась веселая. Надеемся, этим моделям хотя бы исполнилось 18B параметров
😁222❤20🍌11🤨11👍5🔥5🍾2🦄2💅1
Data Secrets
Начинаем неделю с милой истории любви двух ИИ-агентов В общем, дело было так: пользователь реддита попросил своего Claude Computer Use (того самого, который автономно управляет компьютером) разработать и запустить веб-интерфейс для общения с моделькой Mistral.…
Кстати про общение агентов: Microsoft недавно выпустили крутую статью про то, как ускорить коммуникацию между моделями
Представьте, что двух человек, у которых общий родной язык, заставляют говорить между собой на иностранном. Даже если оба владеют им хорошо, скорость донесения мыслей все равно будет меньше по сравнению с разговором на родном, потому что оба думают на одном языке, а говорят на другом.
В Microsoft попытались проверить, так ли это работает с моделями: вместо того, чтобы заставлять агентов общаться на не родном английском, исследователи научили их коммуницировать на родном машинном. Говоря конкретнее, один агент передает другому не полный контекст запроса на естественном языке, а просто E-cache и KV-cache. Это позволяет сократить время задержки ответа в 2,78 раз за счет того, что ответчику не нужно внутри себя "переводить" текст, то есть заново токенизировать, вычислять маски внимания и эмбеддинги.
Основных минуса два. Во-первых, так как разные модели по-разному вычисляют тензоры E-cache и KV-cache и даже токенизируют текст различно, подход пока работает только с разными экземлярами одной и той же базовой модели. Во-вторых, при таком общении наблюдаются небольшие потери в точности. В статье показано, что они совсем незначительные, но не исследуется, как они масштабируются.
Оригинальная статья здесь
Представьте, что двух человек, у которых общий родной язык, заставляют говорить между собой на иностранном. Даже если оба владеют им хорошо, скорость донесения мыслей все равно будет меньше по сравнению с разговором на родном, потому что оба думают на одном языке, а говорят на другом.
В Microsoft попытались проверить, так ли это работает с моделями: вместо того, чтобы заставлять агентов общаться на не родном английском, исследователи научили их коммуницировать на родном машинном. Говоря конкретнее, один агент передает другому не полный контекст запроса на естественном языке, а просто E-cache и KV-cache. Это позволяет сократить время задержки ответа в 2,78 раз за счет того, что ответчику не нужно внутри себя "переводить" текст, то есть заново токенизировать, вычислять маски внимания и эмбеддинги.
Основных минуса два. Во-первых, так как разные модели по-разному вычисляют тензоры E-cache и KV-cache и даже токенизируют текст различно, подход пока работает только с разными экземлярами одной и той же базовой модели. Во-вторых, при таком общении наблюдаются небольшие потери в точности. В статье показано, что они совсем незначительные, но не исследуется, как они масштабируются.
Оригинальная статья здесь
👍65🔥15❤11🤯1