Наконец-то выпустили — вот официальный анонс от OpenAI.

В нём в целом ничего интересного, всё так же, как в сливах:
— по ходу ваших чатов ChatGPT запоминает события и факты; вы можете сами дать команду «запомнить X»;
— знания переносятся между чатами;
— есть отдельный тип анонимного чата: он не появляется в истории, и данные из него не попадают в память. Режим можно включить навсегда (то есть не использовать долговременную память);
— все частички памяти можно посмотреть и вручную удалить в настройках (см. картинку).

А главное и необычное: память будет доступна в GPTs, то есть теперь создатели отдельных ботов смогут переносить информацию о вас между чатами. Как пример — BooksGPT, где модель сначала даёт рекомендацию, а после прочтения спрашивает мнение, запоминает фидбек и учитывает перед следующим предложением.

Фича выкатывается медленно, на малую группу пользователей (в том числе и бесплатных — 3.5 тоже поумнеет!). Проверьте настойки, вдруг выбрали именно вас!

Plot twist: ChatGPT теперь помнит, сколько чаевых ему пообещали. Ты на счётчике, дружок 🤖

В середине недели к нам пришли грустные новости — Andrej Karpathy, ex-Director of AI в Tesla, вернувшийся в прошлом феврале в OpenAI, покидает компанию.

В своём твите он пишет, что никакой драмы или проблемы нет, наоборот, год в компании прошёл очень хорошо: сильная команда, приятные люди, а грядущие продукты и вовсе будоражат. Возможно, приход-уход был его мини-трюком, чтобы узнать, что у Sama в планах, и к чему готовиться после выхода автономных агентов на GPT-5 🤣

Но есть и хорошие новости: Andrej снова начнёт выпускать образовательные видео на YouTube. Работа над новым контентом идёт уже два дня (из твита)!

И судя по подсказке «My immediate plan is to work on my personal projects and see what happens. Those of you who’ve followed me for a while may have a sense for what that might look like ;)», Karpathy собирается разрабатывать систему LLM-OS, где процессорным ядром по сути выступает языковая модель; см. тут.

За МЭМ спасибо Артёму

В продолжение темы привлечение инвестиций для реформы индустрии производства чипов. Один из основных вопросов, который логично задавать в сложившейся обстановке, когда в цепочке производства есть аж три монополиста — это как расширять бутылочные горлышки, и в чём они вообще заключаются.

Монополисты:
— ASML делают сложнейшие машины, осуществляющие процесс фотолитографии
— Nvidia занимается проектировкой чипов и разработкой софта для эффективной утилизации железа
— TSMC берёт оборудование ASML и делает чипы по проектам Nvidia

Пойдем по порядку с самых низов и поговорим про ASML. Фотолитография, если кратко, это процесс рисования на специально заготовленной кремниевой пластине по шаблону. Но фишка в том, что размер отдельных элементов в шаблоне достигает нескольких нанометров (нм) — вот эти вот техпроцессы по 3-5 нм это оно. Для масштаба: 1 нм это ниточка из 10 молекул водорода, а расстояние между атомами углерода в алмазе равно 0,154 нм (алмаз такой крепкий как-раз из-за очень плотной укладки частиц, и как следствие коротких связей между ними).

В самой технологичной ультрафиолоетовой (EUV) литографии источник света генерирует экстремально ультрафиолетовое излучение, которое затем направляется через систему оптики, включая специальные зеркала и маски, для проецирования уменьшенного изображения паттерна шаблона на фоточувствительный слой (фоторезист) на поверхности кремниевой пластины. Но вот незадача: таких мощных УФ-ламп не существует. Поэтому делается следующее: маленький ускоритель частиц (как адронный коллайдер, но поменьше и послабее) разгоняет ионы олова, выкидывает их в камеру, и в них на лету стреляют лазером (🙀). Причём дважды: чтобы разогреть и чтобы взорвать (🤯) — и вот при взрыве выделяется ультрафиолет. Повторите ~50'000 раз в секунду и готово.

А знаете, у кого ещё было много поставщиков? У NASA во время разработки ракеты Saturn V, и в частности из-за этого мы не можем сейчас повторить те наработки, и приходится делать новые двигатели и ракеты (см. тут).

Третья кора связана с техническим долгом и разработкой ПО для этих машин. Наткнулся на пост трехлетней давности на HN, где автор делится рассказами своих знакомых про внутрянку ASML. Чтобы стать монополией компания неслась как скоростной поезд, инженерам ставили нереалистичные дедлайны, а машины продавались неготовыми — с каждой из них на завод клиента отправлялись инженеры, которые прямо на месте докручивали то да сё (и ешё 50 помогали им из офиса). А если вдруг встречался баг в коде — то, поскольку никаких автотестов нет, приходится заполнять специальную форму, в которой проводится анализ зависимостей, затем этот отчёт смотрит специальный комитет, после чего, если дан зелёный свет, то нужно исправить ошибку в похожих, но не одинаковых файлах кода для 7 семейств продуктов ASML. И везде могут вылезти свои приколы — ведь на баг могли опираться другие части логики и кода (тут вспоминаю, как две ошибки наложились друг на друга при запуске Apollo на Луну, и всё обошлось, но про это в другой раз).

Итог:
Кажется, что если начинать делать с нуля, с конкретным прицелом на определенные способы использования (применение и обучение GPT-N+1), избавиться от наработок прошлого и взглянуть свежим взглядом, если контролировать всю цепочку производства и диверсифицировать её по разным странам, то выходная производственная мощность вырастет на порядки. Будем получать не по 10 машин для литографии в год, а 10000. Да, может не такие качественные, да, чаще будут ломаться — ну и хрен с ним! Нам не людей на Луну запускать в конце-то концов. Автор цитируемого на HN поста говорит, что за 2 года малой группой людей можно догнать ASML 15-20 летней давности, и за 10-15 лет полностью приблизиться к их будущему уровню.

Так что у OpenAI и других крупных игроков рынка AI дилемма — сидеть и ждать, что ASML исправится (или потеряет монополию), или же брать коня под уздцы и делать всё самим. Sama свой выбор сделал 💪

OpenAI в партнёрстве с Microsoft Threat Intelligence обнаружили и деактивировали аккаунты, принадлежащие 5 группировкам, связанным со злоумышленниками и государствами.

Для чего им потребовались модельки OpenAI?

1️⃣Charcoal Typhoon (Китай 🇨🇳): исследования различных компаний и инструментов кибербезопасности, отладка и написание кода, а также создания контента, который может быть использован в фишинговых кампаниях.

2️⃣Salmon Typhoon (Китай🇨🇳): перевод технических статей, получение общедоступной информации о многочисленных разведывательных агентства, снова программирование, и исследование распространенных способов сокрытия процессов в операционной системе (для создания вирусов).

3️⃣Crimson Sandstorm (Иран 🇮🇷 ): написание веб/мобильных приложений, относящихся к текстовой поддержке, создание фишингового контента, и исследование распространенных способов, с помощью которых вредоносное ПО может избежать обнаружения.

4️⃣Emerald Sleet (Северная Корея 🇰🇵): использовали сервисы OpenAI для выявления экспертов и организаций, занимающихся вопросами обороны в Азиатско-Тихоокеанском регионе, понимания общедоступных уязвимостей, помощи в выполнении основных задач по написанию сценариев и подготовки контента, который можно было бы использовать в фишинговых кампаниях.

И НАКОНЕЦ...специалисты из СБ Сбербанка!

👋Forest Blizzard (Россия, группировка связана с ГРУ 🇷🇺): исследование открытых источников в области протоколов спутниковой связи и технологий радиолокационной визуализации. Ну и программирование до кучи.

А вы говорите в гугле так и так всё есть!
(ну и дежурное напоминание, что модели следующего поколения будут ещё более эффективнее в ассистировании даже таким задачам)

Читать у OpenAI
Читать более подробно в блоге MSFT

https://openai.com/sora

OpenAI воспользовались минутой слабостью, и пока я спал, потому что болела голова, порвали мир генерации видео-по-тексту. То что вы видите выше — примеры работ, сгенерированных моделью SORA. Посмотреть больше примеров можно в других каналах, а также на сайте, и в твиттере Sam Altman, где он генерит видео по запросам пользователей: https://twitter.com/sama

Доступа у публики нет (я бы не ждал до окончания выборов или вообще), но будет доступна спец. командам, отвечающим за безопасность генерации:
> Мы заранее делимся результатами наших исследований, чтобы начать работать и получать отзывы от людей за пределами OpenAI, а также дать общественности представление о том, какие возможности ИИ ждут нас на горизонте.

Конец блогпоста OpenAI:
> SORA служит основой для моделей, которые могут понимать и моделировать реальный мир, и мы считаем, что эта способность станет важной вехой на пути к достижению AGI.

🤣🤣

(Техническая статья позже сегодня)