Пост для всех, кто пишет, что ChatGPT Atlas убил Chrome

ChatGPT Atlas – это и есть Chrome. Ну или, точнее, Chromium. Так или иначе, это просто обертка над проектом Google.

Сюрприз-сюрприииз 😧

Quantum Echoes: Google впервые в истории продемонтрировали верифицируемое квантовое превосходство

Сегодня в Nature вышла очень громкая статья от Google под названием "Наш алгоритм Quantum Echoes – это большой шаг на пути к реальным прикладным задачам квантовых вычислений". В ней, по сути, описано первое в истории выполнение физически осмысленного и верифицируемого алгоритма на квантовом чипе.

Эксперимент провели на чипе Willow. Мы о нем вот тут подробно рассказывали, он тоже в свое время был прорывом. Сам алгоритм называется Quantum Echoes и суть его вот в чем:

➖ В систему из 105 кубитов запускают некоторый сигнал – длинную последовательность операций. Эти операции перемешивают состояния кубитов и создают сложную квантовую суперпозицию.

➖ После этого один конкретный кубит слегка возмущают (например, применяют к нему фазовый сдвиг). Это наш источник ошибки и событие, от которого мы хотим отследить распространение.

➖ Теперь выполняется обратная эволюция: те же самые операции, но в обратном порядке. Если бы возмущения не было, система бы вернулась точно в исходное состояние. Но квантовые вычисления – это хаос, и наш возмущенный кубит может очень быстро заразить остальные. Тогда информацию уже просто так не восстановишь.

➖ После обратной эволюции мы измеряем разницу между исходным состоянием и итоговым. И вот тут кроется главный прорыв: Google доказали, что их система впервые оказалась настолько стабильна, чтобы даже после возмущения сохранять информацию с достаточной точностью.

Раньше подобное работало только на игрушечных системах до 10 кубитов. 105 кубит – совсем другой уровень. К тому же, на обычных суперкомпьютерах такие вычисления провести уже почти невозможно: это заняло бы в 13000 раз больше времени.

А еще это воспроизводимый результат, что само по себе тоже редкость для квантовых систем.

Все это значит, что понемногу мы приближаемся к возможности моделировать сложные квантовые явления, от молекул до черных дыр.

Например, Google вместе с UC Berkeley уже попробовали запустить Quantum Echoes для моделирования пары молекул на 15 и 28 атомов. Результаты совпали с традиционной НМР-спектроскопией, но дополнительно дали информацию, обычно недоступную НМР. Получится этакий квантовый микроскоп на минималках, который на горизонте может стать абсолютным прорывом в материаловедении и поиске лекарств.

www.nature.com/articles/s41586-025-09526-6

Вы не готовы к этой новости, но у Ильи Суцкевера выйдет своя коллекция одежды 🐄

Давайте начнем с предыстории. Есть такая известная исследовательница Карина Нгуен. Некотрое время она работала на очень высокой позиции в Anthropic, а потом возглавляла направление исследований и продуктовой разработки в области ИИ-интерфейсов в OpenAI. В частности, она занималась проектами ChatGPT Canvas, Tasks, серией o1–o4, а также обучением с подкреплением.

Так вот примерно неделю назад она объявила, что уходит из стартапа чтобы открыть свой... модный дом, посвященный ИИ. Карина назвала его Maison AGI и сказала, что будет создавать "культурные артефакты эпохи искусственного интеллекта". Карьерный путь что надо.

Сегодня Maison AGI выпустили первый дроп своей дебютной коллекции, разработанной, как оказалось, совместно с Ильей Суцкевером. Сейчас доступно три футболки: The Gaze, Multi-Head и Attention. Вы только посмотрите на этот дизайн.

Кстати, глаз на футболке The Gaze, судя по рекламе, срисован именно с глаза Ильи. А еще в коллекцию войдет та самая панамка, созданная по образцу его головы 😐

В удивительное время живем

https://www.maisonagi.com/shop

Возможно, следующий шаг OpenAI – это ИИ-операционка

Они только что купили Software Applications Incorporated, главным продуктом которых является Sky. Это интерфейс для управления Mac на естественном языке.

Все сотрудники SAI также присоединяются к OpenAI.

Мы строим будущее, в котором ChatGPT не просто отвечает на ваши вопросы, а помогает вам делать вообще все.

Только бы не очередной бесполезный агент 🙏

Как работает умная камера с Алисой в чате

У Яндекса в нейросети Алисе уже некоторое время существует бесплатная фича "умная камера". И она не просто распознает изображения и отвечает на вопросы, а может, например: тут же найти товар, как на фото и рассказать вам о характеристиках; решить уравнение с картинки; скопировать для вас текст с изображения или перевести его прямо в камере; и многое другое.

Сегодня мы решили сделать небольшой ликбез по тому, как вообще работают такие системы, и даже поговорили для этого с ребятами из Яндекс.

Итак. В основе всего, конечно, VLM – Vision Language Model (в быту – мультимодальная LLM). В начале у нас есть обычная LLM, которую мы должны как-то научить воспринимать картинки. Как это сделать?

1. Берем какой-нибудь image encoder. То есть модель, которая умеет смотреть на картинки и выдавать для них эмбеддинги (набор фичей).

2. К сожалению, эти эмбеддинги нельзя подавать в LLM сырыми. Так как image encoder – это другая модель, векторные пространства будут отличаться слишком сильно, и наша LLMка в жизни не поймет, что от нее хотят. Поэтому добавляем еще адаптер – несколько слоев, которые будут проецировать наши картиночные эмбеддинги в текстовые.

3. Вот теперь все это вместе можно обучать. Для обучения требуется претрейн VLM, SFT и RL.

Все, можно пользоваться? Еще нет. У этой VLM все еще не спросишь, например, "где купить такие кеды?". Для этого к ней нужно прикрутить дополнительный пайплайн и инструменты. Добавляется:

1. Визуальный поиск. Если у модели не хватает знаний об изображении, она может сходить с ним в поиск и вытащить из него теги. Например: "Кеды, Nike, Blazer, мужские".

2. Дальше отрабатывает VLM-рефрайзер. Он собирает из всего предыдущего контекста нужную информацию и добавляет во внутренний промпт. Например: "размер 43".

3. Все вместе отправляется в текстовый поиск, в котором агент находит ссылки на подходящие модели.

И только после этого вся найденная информация соединяется в единое целое с помощью VLM-суммаризатора. Работает все это около 2-3 секунд. И, к слову, всю эту конструкцию еще дополнительно тюнят на пользовательские предпочтения.

Вот такая техническая мякотка одной небольшой фичи нейросети Алисы 👍

Датацентры могут перенестись в космос

Nvidia заключили очень занятную сделку со стартапом под названием Starcloud. Они планируют начать создавать датацентры на орбите Земли. Утверждается, что у таких кластеров есть целый ряд преимуществ:

1. Можно экономить на охлаждении. На Земле приходится тратиться на воду, а в космосе можно использовать вакуум как почти бесконечный радиатор. Это работает за счёт теплоотдачи через инфракрасное излучение.

2. На орбите можно активнее использовать солнечную энергию. Снова экономия.

3. Минимальный углеродный след. Пишут, что выбросы CO₂ можно сократить аж в 10 раз.

Короче, даже с учётом расходов на запуск Starcloud считает, что энергозатраты будут примерно в 10 раз меньше, чем на Земле.

Уже в ноябре они планируют запустить спутник с GPU размером примерно с холодильник, а в долгосрочной перспективе хотят построить датацентр мощностью 5 гигаватт.

Это примерно 4 квадратных километра GPU Nvidia, летающих в космосе 👀

Интересная статья из Nature про то, как один ИИ учил другой

Возможно, вы уже что-нибудь слышали про мета-обучение. Нынче это довольно модно.

Суть в том, что вместо того, чтобы учить одну модель, мы учим две. Первую – обычную, а вторую (мета-модель) – чтобы регулировать, как учится первая.

То есть в процессе обучения мета-модель подбирает гиперпараметры и алгоритмы, которые используются для того, чтобы учить базовую модель. Получается, что обучение эволюционирует, и система учится, как лучше учиться 👥

Здесь эту идею взяли и применили для RL. Технически, получается два уровня обучаемых параметров. Первый – это обычная политика нашего агента. Второй – мета-параметры, которые определяют, по какому правилу будет обновляться политика.

Для того, чтобы оптимизировать мета-параметры, мы запускаем много агентов с разными политиками в разных средах. Их опыт – это данные для обучения мета-модели. Чем больше она видит таких данных, тем лучше становится правило обновления и, следовательно, тем эффективнее она учит агентов.

Итог: таким подходом авторам удалось синтезировать алгоритм обучения, который превзошел предыдущие человеческие решения. На игровом бенчмарке Atari обученный с его помощью агент выбил соту.

Конечно, компьюта на такие достижения нужно просто море + не факт, что если стрельнуло в одной области, стрельнет и в другой. Но занятно, занятно.

И кстати, это уже сингулярность? 😛