⚡️ Mistral только что выпустили новую модель Pixtral

Точнее, пока только дропнули веса в Твиттере в свойственном им стиле "без комментариев". Судя по названию, это text2image. В общем, мы ушли проверять, что же там такое 🏃‍♂️

Ко-фаундер Google и бывший презедент Alphabet Сергей Брин дал большое интервью в рамках All-In Summit в Лос-Анджелесе

⚪️ «Сейчас я почти каждый день занимаюсь в Google разными проектами, связанными с ИИ. Для меня, как для ученого это время прорывов, и я не хочу ничего упустить. До этого я не видел ничего более захватывающего и одновременно настолько важного для человечества.»

⚪️ Брин говорил, что не уверен, что для обучения более эффективных моделей потребуется существенное увеличение вычислительных ресурсов. «Я читал некоторые статьи, в которых говорится об экстраполяции вычислений. Возможно, я в это верю, потому что оптимизация алгоритмов, произошедшая за последние несколько лет, возможно, в действительности даже опережает рост вычислительных мощностей, заложенных в модели».

⚪️ Сергей признал, что Google затормозился. «После изобретения в Google трансформеров в 2017 году у компании были все шансы вырваться вперед на несколько лет, но мы были слишком робкими. Сейчас нам нужно больше рисковать.»

OpenAI привлекает новые инвестиции: на этот раз $6.5 млрд

Среди инвесторов Microsoft, Apple и Nvidia, но на первом месте по вложениям опять Thrive Capital (как и в прошлом раунде). Также утверждается, что кроме вложений от инвесторов стартап откроет еще и кредитную линию в банках на $5 млрд.

При этом оценка компании приближается к $150 млрд. Напомним, что еще в начале года она составляла $86 млрд. И кстати, совсем недавно, буквально в конце августа, СМИ сообщали о другой сумме: тогда утверждалось, что OpenAI оценивается в $100 млрд.

Кто больше? 😏

Еще некоторые детали про o1 aka Strawberry aka Q*

➡️ Сейчас на юзерах с подписков крутится не сама o1, а ее preview версия. Также для ChatGPT Plus будет доступна модель o1-mini (более дешевая и шустрая). o1-mini также обещают раскатить и для бесплатных аккаунтов.

➡️ Даже несмотря на то, что самой o1 пока на проде нет, лимиты в чате и цены в API уже достаточно жестокие: 30 сообщений в неделю для o1-preview, 50 для o1-mini 😳. В API вообще песня: 20 запросов в минуту, и при этом платить придется не только за коллы, но и за сами размышления модели (reasoning tokens).

➡️ Саму o1 тоже обещают раскатить скоро. Она уже дообучена и протестирована, но, видимо, OpenAI все еще приходится решать вопросы связанные с затратами на ее инференс, и (может быть) безопасностью.

➡️ OpenAI обращают внимание на то, что промптинг с новой моделью отличается от промптинга со старыми. Они даже выкатили свой гайд с советами о том, как правильно общаться с o1. Основная мысль сводится к «Больше не надо уловок вроде "думай шаг за шагом" или "построй план решения". Формулируйте свои инструкции ясно и прямолинейно, а дальше модель все сделает сама.»

➡️Ну и напоследок то, на что могло ускользнуть от глаз: OpenAI решили скрыть от пользователей мыслительный процесс модели. То есть те рассуждения, которые видны в чате – это выборочный материал. Остальные необработанные цепочки мыслей пользователям не видны.

🍓🍓🍓