Вы возможно видели статистику гугла (на первой картинке), которую сейчас многие постят, по запросам типа «глаза болят» в дни недавнего солнечного затмения в Северной Америке.

Так вот. Я ведь тоже когда-то в детстве долго смотрел на затмение, и на канале даже есть видео про то, что будет, если долго смотреть на солнце.

Интересно то, что у этого видео каждый раз поднимаются просмотры во время затмений (на второй картинке). Даже во время недавнего, хоть видео и на русском.

Глаза кстати не болели, просто повредилась сетчатка

Видели новую презентацию от OpenAI? Оказывается, там показали далеко не все.

Так как новая модель мультимодальная, она может не просто понимать интонацию, отвечать разными голосами или петь, как показали в презентации. Но она еще может генерировать звуки, картинки и даже 3D-модели по запросу.

И вроде бы, генерация картинок была и раньше, но вот, как она была устроена: есть модель dalle, которая по текстовому запросу генерирует картинку, и есть модель gpt, которая общается текстом. Если мы просим gpt что-то нарисовать, то она формирует запрос для dalle, которая уже по этому запросу создает изображение.

Если мы общаемся с gpt голосом, то звук сначала идет в модель whisper, которая преобразует его в текст, а уже текст передается в gpt. На выходе ответ gpt тоже нужно преобразовать обратно в речь. И того, тут задействованы 3 разные модели.

Теперь это все может делать одна только gpt. А это значит, что она будет быстрее отвечать и гораздо лучше понимать изображения.
Например, она сможет рисовать одного и того же персонажа в разных ситуациях (что очень сложно для других нейросетей)

А еще, она сможет редактировать изображения или даже изображать на них полноценный текст и сложные узоры. (картинки приложил к посту)