Датацентры могут перенестись в космос

Nvidia заключили очень занятную сделку со стартапом под названием Starcloud. Они планируют начать создавать датацентры на орбите Земли. Утверждается, что у таких кластеров есть целый ряд преимуществ:

1. Можно экономить на охлаждении. На Земле приходится тратиться на воду, а в космосе можно использовать вакуум как почти бесконечный радиатор. Это работает за счёт теплоотдачи через инфракрасное излучение.

2. На орбите можно активнее использовать солнечную энергию. Снова экономия.

3. Минимальный углеродный след. Пишут, что выбросы CO₂ можно сократить аж в 10 раз.

Короче, даже с учётом расходов на запуск Starcloud считает, что энергозатраты будут примерно в 10 раз меньше, чем на Земле.

Уже в ноябре они планируют запустить спутник с GPU размером примерно с холодильник, а в долгосрочной перспективе хотят построить датацентр мощностью 5 гигаватт.

Это примерно 4 квадратных километра GPU Nvidia, летающих в космосе 👀

Интересная статья из Nature про то, как один ИИ учил другой

Возможно, вы уже что-нибудь слышали про мета-обучение. Нынче это довольно модно.

Суть в том, что вместо того, чтобы учить одну модель, мы учим две. Первую – обычную, а вторую (мета-модель) – чтобы регулировать, как учится первая.

То есть в процессе обучения мета-модель подбирает гиперпараметры и алгоритмы, которые используются для того, чтобы учить базовую модель. Получается, что обучение эволюционирует, и система учится, как лучше учиться 👥

Здесь эту идею взяли и применили для RL. Технически, получается два уровня обучаемых параметров. Первый – это обычная политика нашего агента. Второй – мета-параметры, которые определяют, по какому правилу будет обновляться политика.

Для того, чтобы оптимизировать мета-параметры, мы запускаем много агентов с разными политиками в разных средах. Их опыт – это данные для обучения мета-модели. Чем больше она видит таких данных, тем лучше становится правило обновления и, следовательно, тем эффективнее она учит агентов.

Итог: таким подходом авторам удалось синтезировать алгоритм обучения, который превзошел предыдущие человеческие решения. На игровом бенчмарке Atari обученный с его помощью агент выбил соту.

Конечно, компьюта на такие достижения нужно просто море + не факт, что если стрельнуло в одной области, стрельнет и в другой. Но занятно, занятно.

И кстати, это уже сингулярность? 😛

В OpenAI может появится реклама на основе памяти

Об этом пишет The Information в свежей статье «OpenAI Readies Itself for Its Facebook Era».

Они выяснили, что в последнее время OpenAI ну очень активно нанимает бывших сотрудников Meta. Сейчас они составляют уже около 20% всего стартапа.

Подразделение Strategic Initiatives теперь вообще почти полностью состоит из выходцев из фейсбука. А возглавляет его Фиджи Симо, которая до этого руководила рекламой и монетизацией у Цукерберга.

И это, видимо, не случайность. Именно группа Strategic Initiatives сейчас обсуждает и исследует рекламные возможности в ChatGPT. Они предлагают внедрить рекламу с использованием памяти.

То есть та самая фича, благодаря которой бот умеет ссылаться на прошлые диалоги и учитывать их, теперь может быть использована для того, чтобы что-то вам продавать 😐

Сбор и анализ пользовательских данных с целью монетизации – это буквально бизнес-модель Meta. Только в разы мощнее.

Представьте: люди месяцами и годами так или иначе рассказывали ChatGPT о себе, своей работе, детях, питомцах и тд. Если каждому пользователю предлагать товары, учитывая весь этот контекст, – это будет, вероятно, самая эффективная рекламная модель в мире.

С одной стороны, это какое-то черное зеркало. И даже Сэм Альтман когда-то говорил, что сценарий с внедрением рекламы был бы «тревожным и подрывающим доверие».

С другой, это вероятно единственная возможность OpenAI выйти на какую-то прибыль к 2029 (как они обещали инвесторам). Именно поэтому возможность рекламы изучается сейчас всерьез.

А еще согласно focus-группам часть пользователей уже считает, что ответы в ChatGPT – это реклама. Так что мы с вами можем даже не заметить, когда на нас раскатят что-то подобное ✌️

GSI Technology заявили, что разработали чип, который по производительности соответсвует NVIDIA A6000, но потребляет на 98% меньше энергии

Их Gemini‑I APU построен на архитектуре Compute-in-Memory. В обычных чипах данные хранятся в памяти, а вычисления проходят отдельно на ядрах. Чтобы что-то посчитать, надо прочитать из памяти -> передать в вычислитель -> посчитать -> вернуть обратно. Это классическая архитектура фон Неймана, но вот эти перегонки данных туда-сюда стоят очень дорого.

В APU же вычислительные операции выполняются не отдельно от памяти, а внутри. В ячейки памяти встроены маленькие логические элементы, которые могут выполнять простые битовые операции без выноса данных наружу. То есть память становится одновременно и хранилищем, и вычислителем. И вот за счет того, что данные больше не нужно таскать, и получается такая огромная экономия.

Результат очень бодрый, конечно. И его, кстати, проверили ученые из Cornell University и MIT, так что замерам можно доверять.

Но есть нюансы.

1. Во-первых, производить такие чипы сильно дороже: используется SRAM и требуется больше транзисторов.
2. Во-вторых, они менее универсальные (в данном случае тестировали только на RAG, что там будет на других задачах – непонятно).
3. В-третьих, просто так пересесть на Compute-in-Memory нельзя, у нас вся инфраструктура оптимизирована под GPU. Вопрос совместимости ключевой.

И тем не менее, 98% экономии – это прямо хорошо. Даже если получится воткнуть только под какую-нибудь локальную задачку инференса.

Акции GSI Technology, кстати, взлетели на фоне новостей почти на 200% 🙂

Джеффри Хинтон заявил, что у нас все-таки есть шанс остаться в живых и сосуществовать с ИИ. Для этого надо встроить в модели материнский инстинкт.

Ученый говорит, что мать и ее ребенок – это единственный пример ситуации, когда менее развитое существо управляет более развитым. Это заслуга эволюции, то есть материнский инстинкт.

Чтобы человечество выжило после появления сверхинтеллекта, ученым нужно попытаться воспроизвести этот инстинкт в моделях.

Лидеры компаний думают об ИИ, как будто это ассистент, а мы боссы. Но это невозможно. Мы не должны пытаться доминировать. Мы должны создавать ИИ как родителя. Только в таком случае эти системы будут помогать нам достигать лучшего, даже если мы будем слабее их.

👶

Новый день – новые сохраненные статьи, читать которые никто не собирается ✌️

⚡️ xAI выпустили Grokipedia

Это аналог Википедии, но с исправленными статьями. Маск считает, что в оригинальной Wiki статьи политически предвзятые и часто неправдивые, потому что их пишут люди.

Grokipedia же позиционируется как «энциклопедия, созданная для правды». Работает она, естественно, на основе Grok. Агент ищет факты, очищает их от налета идеологий и мнений и пишет/проверяет статьи.

Пока доступна версия 0.1 – ранняя бета. Опенсорс.

grokipedia.com