Пара новостей в связочке.
Прошла пачка цитат от CEO Midjourney с их office hours:

"We’re gonna build a lot of stuff this year. I think we’ll build more stuff than I’ve ever built before…By the end of 2024 hopefully we have real-time open worlds"

и

"Midjourney isn’t a really fast artist, it’s more like a really slow game engine. The future isn’t one image a minute but 60fps full volumetric 3D"

Проходили раньше слухи, что они работают на 3д-генерацией, что-то вроде Gaussian Splatting (см прошлые посты), но другое.

Ну и заодно, отдельно, SteamDiffusion - https://github.com/cumulo-autumn/StreamDiffusion

Публикация по ускорению diffusion генерации (и код), авторы заявляют что на их 4090 SD-turbo генерит под 100 фпс.

Симуляция всё ближе: в сети вирусится ролик с VR-возможностями Unreal Engine 5.

Тяжело поверить, но это не реальная съёмка. Сцена взята из образца карты Electric Dreams.

Страшно, вырубай.

Физики обнаружили обратное движение времени в стекле

ученые обнаружили доказательства того, что время обратимо на молекулярном уровне, и меняется по мере того, как частицы толкают и притягивают друг друга в новое расположение. Перемотав весь процесс назад, становится невозможно определить, воспроизводится ли он вперед или назад во времени.

В то же время ученые говорят, что это не означает, что старение материалов можно обратить вспять. В целом система придет в состояние, которое определяется энтропией. Но крошечные колебания молекулярных "маятников" не способствуют этому процессу, то есть они раскачиваются то вперед, то назад, независимо от потока времени, который их окружает.

https://focus.ua/technologies/623525-fiziki-nashli-dokazatelstva-togo-chto-vremya-mozhet-idti-obratno-kak-eto-mozhet-byt

Симуляция нашего восприятия и хороший сериал.
Я уже писал философский пост о том, что LLM (возможно) через все эти текстовые датасеты срисовали то, как мы мыслим, ибо язык - инструмент мышления, а не общения.
После вчерашнего демарша OpenAI с выходом видеогенератора SORA, интересно подумать, как ИИ срисовывает наше восприятие внешнего мира. Через все эти размеченные видео и картинки у него в голове строится этакая визуальная модель реконструкции этого мира - способ построения картинок в голове в ответ на сигналы в виде слов(текстов) и звуков.

Ну и понятно, что он реконструирует разные многочисленные миры, соответствующие разным промптам, от игровых миров, как в случае с майнкрафтовым видео, до самых замысловатых фантазий и даже мультиков.

Пока были только генераторы картинок, речь шла скорее о симуляции воображения. С появлением временного измерения запахло симуляцией работы всего нашего мира. Точнее симуляцией того, что происходит у нас в голове (как там в реальности мы не знаем, вон змеи не видят неподвижное и живут без этой части мира в голове).

И лучше всего демонстрирует мои неловкие философские потуги вот такое видео.

Взяли сгенерированное видео из SORA и присунули его в Нерф. Получили 3Д-модель сгенерированного мира. Понятно, что в голове у ИИ латентное пространство типа 738D, вместо нашего утлого 3D. И мы через такую 3Д-замочную скважину в виде Neural Radiance Fields (NeRFs) and 3D Gaussian Splatting (3DGS) можем теперь подглядывать чего он там насимулил про нас и наше восприятие.

Ну и интересно поразмышлять о том, какие миры у него в башке будут близки друг к друг другу по "смыслу". Помните на у него на картинках от короля к королеве идет такой же вектор как от мужчины к женщине в его мозгах. Ответ может быть неочевидным. И шорткаты между мирами могут вас удивить.

Когда OpenAI показывала SORA - они говорили о том, что в первую очередь эта модель умеет симулировать миры. Ну и тут Google решил показать свое - Genie: Generative Interactive Environments.

Это модель, которая обучена на видосах игр-платформеров (и отдельно на видосах про робототехнику), и может генерировать новые миры где будет управляемый персонаж и аналогичная физика.

Причем видосы, на которых оно учится, не размечены - сеть самая понимает что именно управляемо и какие эффекты это дает.
Цель - дальнейшее обучение агентов, конечно же. Считай, для обучения своего generalist agent'а теперь есть бесконечное количество новых миров.

Но куда интереснее в их публикации последний кусочек. Обучив ту же модель на видео RT1 (помните, я писал раньше про их проект манипуляторов) - они могут генерировать дальше видео совершения манипулятором действий, чтобы обучать роботов. Мало того, пишут, что эта модель отлично симулирует деформируемые объекты, что для классических симуляторов - серьезная проблема.

Я уже постил пару раз эту картинку от Тима нашего Урбана. Но и повториться не грех, тем более что сегодня был повод

Многие хотят начать новую жизнь с нового года (прямо вот с этого), с понедельника (прямо вот через два дня), с дня рождения, с какой-то значимой даты, есть планы...

Но у многих сидит на плечах жирный и болтливый черт прошлого и пугает, и тормозит, и вспоминает, а ведь можно все же перестать концентрироваться на черных линиях позади и начинать концентрироваться на всех зеленых линиях перед нами. Каждую секунду начинается новый путь. Будущее всегда светло.

И нельзя не вспомнить писателя и альпиниста Уильяма X. Мюррея (1913—1996). В своей книге «Шотландская экспедиция в Гималаи» (1951) он писал:

«До тех пор пока человек окончательно на что-то не решится, всегда остаются сомнения, возможность отступить, бездействие. По поводу любого проявления инициативы существует одна простая истина, незнание которой убивает бесчисленные замыслы и великие идеи: в тот миг, когда человек решительно связывает себя обязательствами, Провидение тоже начинает действовать. В помощь этому человеку случается множество самых разных происшествий, которые иначе никогда бы не случились. Принятое решение влечет за собой целый поток событий: полезных совпадений, встреч и предложений о материальной поддержке, в которые никто и никогда бы не поверил заранее. Я испытал глубокое уважение к одному из двустиший Гете: "Если вы думаете или верите, что на что-то способны, начните делать это. В действии — волшебство, добродетель и сила"».

У Гете, правда, такого двустишья не было, но это уже не суть важно ))

**

👉 Тим Урбан: меня захватили идеи, которые меняют мир

👉 Тим Урбан о любопытстве, VR, ИИ, Маске и криптовалютах

👉 Свадьба в ураган и закон Паркинсона

👉 Ада Палмер: все двери открыты, не верьте, что мир враждебен

👉 Дэвид Брукс: к какой уникальной проблеме подготовила тебя твоя жизнь?

👉 Не забывайте подписываться на FST

👉 Отзывы о нас

🚨Новый длиннопост🚨

В середине февраля в мире AI произошло много событий, но все они были затмлены демонстрацией новой модели OpenAI. На сей раз калифорнийская компания удивила всех качественным прорывом в области text-2-video.

Пока другие исследователи старались довести количество пальцев на руках сгенерированных людей до пяти (а члены гильдии актёров противостояли им), в OpenAI решили замахнуться на короткие (до минуты), но высококачественные и детализированные ролики — и, чёрт возьми, у них получилось!

Но не всё так однозначно — вот как думаете, зачем им понадобилось отнимать хлеб у ютуберов? На самом деле, модель OpenAI была разработана не для замены актёров, специалистов по графике и даже не для мошенников из службы безопасности Сбербанка, горящих желанием набрать вас по видеосвязи от лица Германа Грефа. И, нет, оживление мемов тоже не входит в список приоритетных задач.
▀▀▀▀▀▀▀▀▀▀
Про истинную причину разработки Sora и про будущее модели читайте по ссылке:
https://habr.com/ru/articles/794566/
▀▀▀▀▀▀▀▀▀▀
Отдельная благодарность Павлу Комаровскому @RationalAnswer за (уже далеко не первую) помощь в редактуре и подготовке материала — не забывайте подписываться и на него.