🍓 OpenAI выпустили новую модель o1 (ту самую Strawberry)
По сравнению с GPT-4o она выбивает 6х точность на олимпиадных задачах по математике и 8х точность на задачах с CodeForces.
Вся соль модели – в умении рассуждать. Ей требуется некоторое время перед ответом: внутри себя она гоняет CoT, прежде чем вернуть ответ пользователю. Но, конечно, при этом она требует больше мощностей на инференсе.
Сейчас ее уже раскатывают на пользователей с подпиской. Больше деталей – в пресс-релизе.
По сравнению с GPT-4o она выбивает 6х точность на олимпиадных задачах по математике и 8х точность на задачах с CodeForces.
Вся соль модели – в умении рассуждать. Ей требуется некоторое время перед ответом: внутри себя она гоняет CoT, прежде чем вернуть ответ пользователю. Но, конечно, при этом она требует больше мощностей на инференсе.
Сейчас ее уже раскатывают на пользователей с подпиской. Больше деталей – в пресс-релизе.
👍68🔥24🍓15❤9
Еще некоторые детали про o1 aka Strawberry aka Q*
➡️ Сейчас на юзерах с подписков крутится не сама o1, а ее preview версия. Также для ChatGPT Plus будет доступна модель o1-mini (более дешевая и шустрая). o1-mini также обещают раскатить и для бесплатных аккаунтов.
➡️ Даже несмотря на то, что самой o1 пока на проде нет, лимиты в чате и цены в API уже достаточно жестокие: 30 сообщений в неделю для o1-preview, 50 для o1-mini 😳 . В API вообще песня: 20 запросов в минуту, и при этом платить придется не только за коллы, но и за сами размышления модели (reasoning tokens).
➡️ Саму o1 тоже обещают раскатить скоро. Она уже дообучена и протестирована, но, видимо, OpenAI все еще приходится решать вопросы связанные с затратами на ее инференс, и (может быть) безопасностью.
➡️ OpenAI обращают внимание на то, что промптинг с новой моделью отличается от промптинга со старыми. Они даже выкатили свой гайд с советами о том, как правильно общаться с o1. Основная мысль сводится к «Больше не надо уловок вроде "думай шаг за шагом" или "построй план решения". Формулируйте свои инструкции ясно и прямолинейно, а дальше модель все сделает сама.»
➡️ Ну и напоследок то, на что могло ускользнуть от глаз: OpenAI решили скрыть от пользователей мыслительный процесс модели. То есть те рассуждения, которые видны в чате – это выборочный материал. Остальные необработанные цепочки мыслей пользователям не видны.
🍓🍓🍓
🍓🍓🍓
Please open Telegram to view this post
VIEW IN TELEGRAM
🍓88👍12❤8😁3
Подтверждаем: с подсчетом букв, знаками больше и меньше и детскими задачками o1 справляется. Это уже AGI?
😁92🔥20
Forwarded from XOR
Meta* признала, что использовала все тексты и фото пользователей своих соц.сетей после 2007 года для обучения моделей ИИ.
🟢 Исполнительный директор по глобальной конфиденциальности отметила, что использовались только публикации и комментарии с настройками «Public», приватный контент не трогали.
🟢 Также не использовались данные несовершеннолетних.
🟢 Отказаться от сбора данных могут только юзеры из ЕС и Бразилии, миллиарды других же не имеют такой опции.
Ранее корпорация не признавалась в том, что обучает ИИ на контенте, который создают пользователи их соц.сетей.
*признана в РФ экстремистской организацией и запрещена
@xor_journal
Ранее корпорация не признавалась в том, что обучает ИИ на контенте, который создают пользователи их соц.сетей.
*признана в РФ экстремистской организацией и запрещена
@xor_journal
Please open Telegram to view this post
VIEW IN TELEGRAM
🙈45👍14😈11☃1❤1😁1👀1
Список свежих бенгеров для просмотра на выходных:
– Decoding Google Gemini with Jeff Dean. Ликбезное интервью с легендарным Джеффом Дином, вышло два дня назад.
– Chasing Immortality with Humanoid Robotics. Интервью с вице-президентом компании 1Х, которая недавно выпустила робота гуманоида Neo. До этого спикер много лет работал робототехником в Google. Интервью вышло 4 дня назад.
– Лекция Terence Tao at imo 2024 ai and mathematics. Про ИИ, математику и связь ИИ с математикой. Вышло пару недель назад.
– Decoding Google Gemini with Jeff Dean. Ликбезное интервью с легендарным Джеффом Дином, вышло два дня назад.
– Chasing Immortality with Humanoid Robotics. Интервью с вице-президентом компании 1Х, которая недавно выпустила робота гуманоида Neo. До этого спикер много лет работал робототехником в Google. Интервью вышло 4 дня назад.
– Лекция Terence Tao at imo 2024 ai and mathematics. Про ИИ, математику и связь ИИ с математикой. Вышло пару недель назад.
🔥24👍8❤3😁1
Please open Telegram to view this post
VIEW IN TELEGRAM
😁321🍓22❤11🔥5👍2❤🔥1
Что внутри Strawberry?
Репорт от OpenAI полон результатов на бенчмарках, примеров и сравнений. Однако про техническую реализацию модели разработчики написали одно единственное предложение: "Through reinforcement learning, o1 learns to hone its chain of thought and refine the strategies it uses."
Что это может значить? Пока основных версии две:
1) Возможно, в RLHF+CoT, как показано на картинке, токены CoT просто передаются в ревард модель вместе с результатом (в традиционном RLHF в модель вознаграждения передаются только промпт и ответ). Это объясняет, как модель научилась всегда начинать с токенов CoT и делать CoT структурированными, однако в этом случае непонятно, как обучалась ревард модель.
2) Другая версия: в RLHF все также передавались только промпты и ответы, но при этом модель генерировала множество цепочек CoT (награждались те, которые заканчивались правильным ответом).
А у вас есть предположения?
Репорт от OpenAI полон результатов на бенчмарках, примеров и сравнений. Однако про техническую реализацию модели разработчики написали одно единственное предложение: "Through reinforcement learning, o1 learns to hone its chain of thought and refine the strategies it uses."
Что это может значить? Пока основных версии две:
1) Возможно, в RLHF+CoT, как показано на картинке, токены CoT просто передаются в ревард модель вместе с результатом (в традиционном RLHF в модель вознаграждения передаются только промпт и ответ). Это объясняет, как модель научилась всегда начинать с токенов CoT и делать CoT структурированными, однако в этом случае непонятно, как обучалась ревард модель.
2) Другая версия: в RLHF все также передавались только промпты и ответы, но при этом модель генерировала множество цепочек CoT (награждались те, которые заканчивались правильным ответом).
А у вас есть предположения?
👍33🍓26🔥6❤3😁2
А вот это смешно: OpenAI рассылает угрозы на почту пользователям, которые пытаются выяснить у o1, как она думает (то есть джейлбрейкнуть ее на вывод всей цепочки CoT).
Компания пишет, что юзеры нарушают пользовательское соглашение и угрожают баном😣
В общем, аккуратнее там, а то окажетесь у OpenAI в чс
Компания пишет, что юзеры нарушают пользовательское соглашение и угрожают баном
В общем, аккуратнее там, а то окажетесь у OpenAI в чс
Please open Telegram to view this post
VIEW IN TELEGRAM
😁159
Media is too big
VIEW IN TELEGRAM
Ларри Эллисон говорит, что Oracle строит ядерные реакторы для питания «акров» GPU 😱
Он отмечает, что и это не все. По его мнению, 100 млрд долларов – это минимальные вложения, которые позволят компаниям оставаться в ИИ-гонке ближайшие три года.
Он отмечает, что и это не все. По его мнению, 100 млрд долларов – это минимальные вложения, которые позволят компаниям оставаться в ИИ-гонке ближайшие три года.
Please open Telegram to view this post
VIEW IN TELEGRAM
🤯55👍33🔥8
o1 оказалась единственной моделью, которая превзошла средний человеческий IQ
Исследование, кстати, провел тот же репортер, который полгода назад показал, что Claude3 оказался умнее человека на тесте IQ (мы писали об этом тут). Только тест он теперь выбрал другой, самодельный.
Чтобы избежать лика данных, то есть гарантировать, что вопросов из теста не было в обучающей выборке модели, журналист составил тест по образу и подобию классического Norwegian Mensa, дал его пройти закрытой группе людей, а затем удалил из всех источников. И именно на этом тесте он проверил o1.
Получилась вот такая картина⬆️
Кстати, можете проверить себя и сравнить свои способности с o1: на сайте со статьей есть примеры сложных заданий из классического IQ теста, которые o1 решила правильно + ее ответы
Исследование, кстати, провел тот же репортер, который полгода назад показал, что Claude3 оказался умнее человека на тесте IQ (мы писали об этом тут). Только тест он теперь выбрал другой, самодельный.
Чтобы избежать лика данных, то есть гарантировать, что вопросов из теста не было в обучающей выборке модели, журналист составил тест по образу и подобию классического Norwegian Mensa, дал его пройти закрытой группе людей, а затем удалил из всех источников. И именно на этом тесте он проверил o1.
Получилась вот такая картина
Кстати, можете проверить себя и сравнить свои способности с o1: на сайте со статьей есть примеры сложных заданий из классического IQ теста, которые o1 решила правильно + ее ответы
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥65👍17❤9🗿6🤔4😁2
Please open Telegram to view this post
VIEW IN TELEGRAM
😁125👍18👏8❤1
На Реддите пользователь поделился тем, как ChatGPT начал с ним диалог первый
Бот якобы запомнил из какого-то чата, что парень идет в старшую школу, и решил поинтересоваться, как прошел его первый день. Правда или нет, до конца не ясно, но юзер зашерил прув в виде самого диалога.
Пользователи уже даже пытались воссоздать то, как это могло быть "разыграно", но пока не получилось. И кстати, почти одновременно появился и другой пост другого пользователя с похожей ситуацией, но уже в голосовом режиме.
Будем удивляться шедулеру в сообщениях?
Бот якобы запомнил из какого-то чата, что парень идет в старшую школу, и решил поинтересоваться, как прошел его первый день. Правда или нет, до конца не ясно, но юзер зашерил прув в виде самого диалога.
Пользователи уже даже пытались воссоздать то, как это могло быть "разыграно", но пока не получилось. И кстати, почти одновременно появился и другой пост другого пользователя с похожей ситуацией, но уже в голосовом режиме.
Будем удивляться шедулеру в сообщениях?
1😁85⚡9🤔8❤7😐5👍4🔥1
Data Secrets
Галя, отмена: большой скандал с моделью Reflection, которая хайповала последние несколько дней Вкратце: модель оказалась фальшивкой. Возможно, это была акция привлечения внимания или финансирования. Более подробный таймлайн того, что произошло, можно найти…
Кстати, скандал с Reflection (ранее мы писали о нем тут) закончился тем, что разработчики все-таки раскаялись в преждевременном анонсе. Они, тем не менее, отрицают, что встраивали в API другие закрытые LLM и говорят, что сейчас «разбираются с тем, почему результаты экспериментов не воспроизводятся».
Мораль: всегда фиксируйте random seed
Мораль: всегда фиксируйте random seed
😁110😎11😍6👾4👍2
Сэм Альтман покинул совет безопасности OpenAI
В пресс-релизе компания объявила, что теперь Safety and Security Committee будет независимой организацией, которую возглавит профессор из Карнеги-Меллон – Зико Колтер.
Комитет заявил, что они приняли решение о безопасности o1 уже после отставки Альтмана, и продолжают сохранять за собой право задерживать релизы в случае чего.
Есть версия, что Сэма убрали после того, как сразу несколько сенаторов США забеспокоились о том, что все (почти) сотрудники OpenAI после ухода из компании так или иначе жаловались, что CEO поступает своенравно и игнорирует правила безопасности.
В пресс-релизе компания объявила, что теперь Safety and Security Committee будет независимой организацией, которую возглавит профессор из Карнеги-Меллон – Зико Колтер.
Комитет заявил, что они приняли решение о безопасности o1 уже после отставки Альтмана, и продолжают сохранять за собой право задерживать релизы в случае чего.
Есть версия, что Сэма убрали после того, как сразу несколько сенаторов США забеспокоились о том, что все (почти) сотрудники OpenAI после ухода из компании так или иначе жаловались, что CEO поступает своенравно и игнорирует правила безопасности.
🤯67👍26😁11❤5🤔5🗿1