Видимо, OpenAI увидели, что все потратили доступные запросы на детские логические задачки, сжалились и… обнулили лимиты на o1, чтобы мы смогли продолжить эксперименты.

Фея крестная, которую мы заслужили 🧚

Что внутри Strawberry?

Репорт от OpenAI полон результатов на бенчмарках, примеров и сравнений. Однако про техническую реализацию модели разработчики написали одно единственное предложение: "Through reinforcement learning, o1 learns to hone its chain of thought and refine the strategies it uses."

Что это может значить? Пока основных версии две:

1) Возможно, в RLHF+CoT, как показано на картинке, токены CoT просто передаются в ревард модель вместе с результатом (в традиционном RLHF в модель вознаграждения передаются только промпт и ответ). Это объясняет, как модель научилась всегда начинать с токенов CoT и делать CoT структурированными, однако в этом случае непонятно, как обучалась ревард модель.

2) Другая версия: в RLHF все также передавались только промпты и ответы, но при этом модель генерировала множество цепочек CoT (награждались те, которые заканчивались правильным ответом).

А у вас есть предположения?

На Реддите пользователь поделился тем, как ChatGPT начал с ним диалог первый

Бот якобы запомнил из какого-то чата, что парень идет в старшую школу, и решил поинтересоваться, как прошел его первый день. Правда или нет, до конца не ясно, но юзер зашерил прув в виде самого диалога.

Пользователи уже даже пытались воссоздать то, как это могло быть "разыграно", но пока не получилось. И кстати, почти одновременно появился и другой пост другого пользователя с похожей ситуацией, но уже в голосовом режиме.

Будем удивляться шедулеру в сообщениях?

Кстати, скандал с Reflection (ранее мы писали о нем тут) закончился тем, что разработчики все-таки раскаялись в преждевременном анонсе. Они, тем не менее, отрицают, что встраивали в API другие закрытые LLM и говорят, что сейчас «разбираются с тем, почему результаты экспериментов не воспроизводятся».

Мораль: всегда фиксируйте random seed

Сэм Альтман покинул совет безопасности OpenAI

В пресс-релизе компания объявила, что теперь Safety and Security Committee будет независимой организацией, которую возглавит профессор из Карнеги-Меллон – Зико Колтер.

Комитет заявил, что они приняли решение о безопасности o1 уже после отставки Альтмана, и продолжают сохранять за собой право задерживать релизы в случае чего.

Есть версия, что Сэма убрали после того, как сразу несколько сенаторов США забеспокоились о том, что все (почти) сотрудники OpenAI после ухода из компании так или иначе жаловались, что CEO поступает своенравно и игнорирует правила безопасности.

o1 написала весь код для докторской диссертации, на которую автор из NASA потратил год, всего за 1 час и 6 запросов

Обидно, наверное

Коротко о происходящем

OpenAI внезапно отреагировала на завирусившиеся в соцсетях сообщения пользователей о том, что ChatGPT пишет им первым

Мы писали об этом тут. Кратко: бот якобы запомнил, что парень идет в старшую школу, и потом написал первым и поинтересовался, как он устроился.

После этого случая, кстати, еще один пользователь сказал, что у него произошло то же самое: «Я спрашивал о каких-то симптомах, а через несколько дней ChatGPT написал и спросил, как я себя чувствую. Напугал меня до чертиков».

Эти посты вызвали такой ажиотаж, что OpenAI пришлось дать комментарии. Оказалось, это была не фича, а баг:

«Мы решили проблему, из-за которой казалось, что ChatGPT начинает разговоры первым. Эта проблема возникла, когда модель пыталась ответить на сообщение, которое не было отправлено правильно и отображалось пустым. В результате бот либо давал общий ответ, либо использовал память ChatGPT».

Эх, а выглядело многообещающе…

Капча, с которой злой ИИ точно не справится