Вышел хороший инсайд про новый Квест и лыжную маску от Эппле.
До Эппле, наконец-то дошло, что пол-кило на голове - это перебор даже для твердолобых фанатов, поэтому в статье упоминается разработка более легкого варианта Vision Pro.
Более того, к концу статьи выясняется, что год назад Apple почти прекратили работу над автономным очками AR и это была личная неудача для Тима Кука, который рассматривал очки AR как ключевую цель. Но оставляется место для намеков на то, что Эппле к этому вернется.
Что касается Квеста, то налицо смена риторики с Метаверса на Игры и Повышение производительности. Ну то есть прямая конкуренция с Эппле.
В статье еще много информации про то, как Эппле запуталась в диоптриях и про новый Квест.
Но фишка в том, что Vision Pro будет непонятно когда, а вот Квест 3 уже кое-где появился, нашел прям свежий обзор, дам следующим постом.
https://www.bloomberg.com/news/newsletters/2023-10-08/apple-plans-smaller-lighter-vision-headset-meta-works-on-cheaper-quest-3-ar-lnhh1ulx

https://www.youtube.com/watch?v=yRR_23zQM6Q

Обзор нового Квеста 3 еще до начала продаж! Прям подробный и плюс сравнение с Pico 4, Quest 2 и Quest Pro.
https://www.youtube.com/watch?v=yRR_23zQM6Q

9 из 10 работодателей в 2023 году считают, что сотрудник должен уметь использовать нейросети для решения творческих и бизнес-задач.

Концентрированный курс по нейросетям от Музы и нейрохудожницы Леры Титовой научит создавать креативный контент, быстро работать с Big Data, прогнозировать поведение ЦА и искать инсайты для эффективной рекламы с помощью ИИ. То, что надо маркетологам, копирайтерам, SMM и другим digital-специалистам, чтобы сэкономить время, делегировать рутинные задачи и масштабировать бизнес.

Скидка 10, беспроцентная рассрочка и вебинар — по ссылке.

Firefly Vector Model или text-to-vector
Адобченко представила векторную модель Firefly. Adobe описывает новую модель как "первую в мире генеративную модель, ориентированную на создание векторной графики". Firefly для Illustrator сможет создавать всю векторную графику с нуля. Как и другие модели Firefly, векторная модель также обучалась на данных из Adobe Stock.
Молодцы они, конечно. Пока остальные рядятся в выравнивание и цензуру, Адобченко делает готовые инструменты и ворочает мешки.
https://techcrunch.com/2023/10/10/adobe-brings-its-firefly-generative-ai-models-to-vector-graphics-in-illustrator/

Adobe Firefly Image 2 Model - это не только ценный мех и прорисовка высокочастотных деталей, но еще и Image-2-Image, Firefly Design, доп настройки и, что очень важно, скорость.

Что у нас на пределами телеграм-постов:

1. Скорость. В отличие от SDXL, которая просадила скорость генерации в 4-10 раз, Адобченко утверждает, что Firefly 2 остался таким же быстрым при улучшенном качестве (тут, правда, остается открытым вопрос, а не вкинули ли они побольше железа не сервера).
2. Качество. Firefly Image 2 генерирует (по анонсам) изображения значительно более высокого качества по сравнению V1, особенно в отношении высокочастотных деталей, таких как листва, текстура кожи, волосы, руки и черты лица, особенно при рендеринге фотореалистичных людей(!, от который Далле 3 шарахается в пасторальные библейские истории). Плюс более высокое разрешение, более яркие цвета и цветовой контраст.
3. Настройки. Которые заданы не в виде плохопроизносимых параметров, а в виде знакомых терминов из фотографии: рульки для ручной или автоматической регулировки глубины резкости, моушен блюр и POV, точно так же, как и в камерах. Ю-Юзабилити.
4. Prompt Magic. Как бы аналог всех промптоулучшателей типа prompt expansion в Фокусе или разных приблуд для работы со стилями в разных генераторах. T9 для промптов, в общем.
5. Image-2-Image. Который зовется тут Generative Match (по аналогии с Fill). Тут интересная деталь. Адобченко всегда упирала на том, что она решает проблемы с копирайтом для пользователей Firefly, поэтому при выборе картинок для Image-2-Image, вас попросят выбрать галочку типа "я загружаю картинку, на которую у меня есть права". Тут, конечно, будет тьма коллизий и Адобченко оставляет себе лазейку типа "не виноватая я, он сам загрузил эти глупости и нажал галку". Ну и идея защиты своих пользователей начинает немного трещать по правам. Ну и непонятно, как они будут отслеживать NSFW загруженное в Image-2-Image. Анализом картинки?
6. Про Firefly Vector я уже написал, она как бы разработана так, чтобы быть безопасной для коммерческого использования (когда она выйдет из бета-версии), поскольку она была обучена на лицензионном контенте, таком как Adobe Stock. Какие там будут слои - надо смотреть. Firefly Vector можно попробовать уже сегодня в бета-версии Adobe Illustrator, а также в дополнительных функциях бета-версии, таких как Mockup и Retype для идентификации и редактирования векторных шрифтов.
7. Ну и, наконец, Firefly Design или text-to-template, которая генерирует настраиваемые шаблоны для печати, публикаций в социальных сетях, онлайн-рекламы, видео и многого другого. Типа текстовые подсказки для создания полностью редактируемых шаблонов для «всех популярных соотношений сторон». Это явно ответочка на Magic Design от Canva в том смысле, что можно теперь описывать что-то вроде «флаера для пляжного отдыха». Сколько там генерации, а сколько выбора из базы шаблонов - надо будет изучать.

Диванная редакция также считает, что Адобченко имеет огромное преимущество в виде конской пользовательской базы и опыта юзабилити, извлеченного из своих продуктов. Поэтому делает не программисткие комбайны (которые тоже имеют право на жизнь для технических отделов), и не странные поделки на базе Stable Diffusion в виде Invoke или Леонардо, переизобретающие UX от Адобченко. А потихоньку спускается с горы и дает пусть ограниченный, но очень ловкий функционал, закрывающий 90% потребностей новых нормальных художников.

Появился демоспейс DreamGaussian, пока делает 3D модели только по изображению.
Кидайте генерации в коменты.

Демо

#imageto3D

А вот это уже интересно поразглядывать и пофантазировать.
Дорожная карта Нвидия на несколько ближайших лет.
В статье очень много технических деталей для гиков с подсчетом ядер и скоростей.
В общих чертах это звучит так:

Игра в области обучения и обработки данных ИИ будет означать обновление текущего поколения Hopper в 2024 году, переход к поколению Blackwell позже в 2024 году и переход к другой архитектуре в 2025 году. Что касается процессоров, то в последнее время мы наблюдаем, как обновления сменяются войной за количество ядер в x86-архитектуре с огромными скачками. Например, ожидается, что количество ядер в топовых Xeon от Intel вырастет более чем в 10 раз с начала второго квартала 2021 года до второго квартала 2024 года. NVIDIA, похоже, не отстает от такой войны в центрах обработки данных. Для ИИ-стартапов, создающих чипы, это уже гонка, учитывая новый темп развития NVIDIA в дорожной карте.

Для Intel, AMD и, возможно, Cerebras, цели будут меняться, поскольку NVIDIA продает большие высокомаржинальные чипы. Она также выводит свои решения на базе Arm в лидеры, чтобы получить высокую маржу не только на GPU/ускорителях, но и на CPU.
https://www.servethehome.com/nvidia-data-center-roadmap-with-gx200nvl-gx200-x100-and-x40-ai-chips-in-2025/

Говорят, что собаки "видят носом".
Отличная демонстрация того, как это можно визуализировать.
Берем камеру с 360 углом обзора и просим псину немного ее прикусить.
Примерно так видит собачий нос.
А Земля-то оказывается круглая...

Торгуем лицом. Дорого.
Помните, тут недавно актеры и сценаристы бастовали против ИИ?
Актеры, в частности, очень озабочены тем, что их внешность может быть отсканирована в 3Д и потом использована без их гениального участия.
Я тогда писал:
Все снова поделится на два лагеря.
Будут актеры (в основном с хорошим портфолио и гонорарами), которые будут сниматься на камеру "по старинке", а за каждый цифровой чих вписывать пару нулей в договор. И будут актеры, которые будут готовы сниматься "для синтеза", то есть цифровать свой стиль, внешность, мимику и пр. для любых последующих манипуляций. Для них это самый доступный пусть Голливуд. А там, может быть повезет, и удастся перебраться в первую категорию.

Сейчас будет про первый лагерь.

Недавно Метачка представила своих ИИ-ассистентов, которые могут превращаться в знаменитостей.
Кендалл Дженнер и MrBeast являются одними из звезд, которые изображают чат-ботов Метачки с разными личностями.
По некоторым утечкам Метачка платит звездам пять миллионов за шесть часов работы в студии по оцифровке и потом использует этот образ в течение двух лет.

У меня на сегодня всё.

https://www.businessinsider.com/meta-paying-celebrity-faces-of-ai-chatbots-as-much-as-5-million-2023-10

В Кандинский завезли анимацию. На мой взгляд - это сильно отстает (поколения на два) от имеющихся open-source решений. Все, как водится кипит, бурлит и мигает.
Как развлечение для пользовательской базы - да, наверное имеет смысл.
Для остального - ну такое.
https://t.me/GigaChat_SberAi/173

Вышел ежегодный State of AI 2023. Как обычно, там больше 150 слайдов, подводящих черту под всеми крупными направлениями работы и разных индустрий. Буду постепенно листать и интересное оформлю в виде какой-то заметки или может даже видео.

Пока остановимся на блоке предсказаний. На 2023й:
— Nvidia, хоть и без прямого партнерства, становится авангардом AI революции, с которым все хотят работать, чтобы получить железо
— Модели генерации звука привлекут много внимания (более 1 миллиона пользователей у ведущих игроков рынка)
— Инвестиции в $10B в AGI-focused компания (Microsoft -> OpenAI)
— Сайты, ориентированные на User Generated Content, начали заключать соглашения о предоставлении данных для тренировки моделей
— Хоть финального акта регулирования AGI и не получилось, люди и политики обсуждают всерьёз введение ограничений и проводят аналогии с биологическим оружием

Всего сбылось 5.5 предсказаний из 10. А вот десятка на 2024й:
— Продюсер голливудского уровня использует AI для создания эффектов
— Generative AI компания будет вовлечена в расследование, связанное с неправильным использованием её сервисов во время выборов президента США-2024
— Самоулучшающийся AI-агент разнесёт в щепки текущие решения для сложных задач (крупные игры, научная работа, etc.). Немного широко сформулировано, так как не выделены области, где нужно следить
— IPO как минимум одной AI-focuesed компании
— На тренировку одной из моделей будет потрачено $1B
— FTC/CMA начнут расследование сделки Microsoft и OpenAI
— Будет совсем небольшой прогресс в регуляции AI, который, быть может, ограничится лишь верхнеуровневыми волонтерскими ("пацанскими") договорённостями в духе "нет ну плохо мы делать не будем а будем делать хорошо"
— (HOT) Финансовые институты запустят аналог венчурных инвестиций, но с точки зрения вычислительных мощностей (прим.: сейчас у AGI-focused компаний примерно 90% денег уходит на оплату GPU)
— Песня, сгенерированная AI, попадет в топ (например, Spotify Top Hits 2024)
— Будет значительный рост затрат на инференс моделей, поэтому один из крупных игроков поглотит производителя чипов, чтобы начать разработки по снижению цен на железо для своих специфичных задач
————————————
Почитать анонс
Презентация

Project Primrose from Adobe

С Adobe Max еще есть некоторое количество новостей, закрою гештальт сегодня, чтобы не превращать ленту в оду Адобченко.
Пока мы тут смотрим на виртуальные примерочные, Адобченко взял и вывернул наизнанку саму идею. Лучше один раз надеть и семь раз изменить, чем пытаться переодевать джипеги.
Идея не нова от слова совсем, но посмотрите как это ловко сделано.
Ловким движением руки брюки превращаются в .. брюки другого цвета.
Также можно порассуждать, что это теперь и проектор, и маппинг и площадка для рекламных размещений.
Ну у меня один вопрос: на какой температуре стирать и не линяют ли цвета?
Ну и ждем интеграции с Firefly

Adobe Project Draw & Delight.
Такие поделки мы уже видели от Нвидия, Метачки и других китайских аспирантов, но они никогда не доходят до продукта.
А тут есть большая вероятность увидеть это в продуктах. Например в Иллюстраторе.
Здесь пользователь может набросать грубый эскиз и добавить текстовую подсказку, а Firefly Vector затем превратит это векторный(!) рисунок.

Adobe Poseable
А вот вам и ControlNet от Адобченко!

Причем с 3Д-камерой, манипуляторами и всеми прочими ништяками.

"Вместо того чтобы тратить время на редактирование каждой мельчайшей детали сцены - фона, различных ракурсов и поз отдельных персонажей или способов взаимодействия персонажа с окружающими объектами в сцене, - пользователи могут использовать ControlNet Adobe Poseable и использовать модели генерации изображений для быстрого рендеринга 3D-сцен с персонажами".
Огонь!

АдобеДабДабДаб!

Ну за актеров дубляжа и переводчиков.
Недавно ElevenLabs конкретно обновился и теперь умеет делать нейродубляж видео с сохранением оригинального голоса.
А вот и ответочка от Адобченко!

Adobe Project Dub Dub Dub может автоматически переводить голосовую запись или звуковую дорожку видео на огромное количество поддерживаемых языков, сохраняя при этом голос диктора. Другими словами, вы можете услышать, как вас переводят на французский, немецкий, испанский, арабский и другие языки, а полученный диалог автоматически выравнивается в соответствии с тем, как он был произнесен в оригинале.

И это не сервис попрошайка, это встраивание в линейку продуктов.

Ну, за Topaz AI.

Adobe Project Res Up - апскейл видео в 4 раза на основе дифузионных моделей. С обрезкой и прочими пирогами.

Продолжим за взрослый композ для кино и видео.

Я уже начал этот разговор тут, в посте про Tech-VA.

Держите работу номер 1. Это пока подводка.

XMem++: Production-level Video Segmentation From Few Annotated Frames

Вдохновленные примерами из киноиндустрии, мы представляем XMem++ - интерактивный инструмент для сегментации видеообъектов, который выполняет высокоточную сегментацию в сложных и проблемных сценах, имея всего несколько размеченных примеров.

В сцене кто-то надел не ту рубашку? Татуировка, которой там не должно быть? Нужно добавить немного CGI к очень специфической части объекта?
А может быть, вам нужно быстро разметить несколько наборов данных для сегментации видео с необычными/уникальными объектами?

Кстати, авторы работы из Адобченко и Пинтереста.

https://xmem2.surge.sh/

Продолжим за взрослый композ для кино и видео.

Держите работу номер 2. Это тоже пока подводка.
ProPainter: Improving Propagation and Transformer for Video Inpainting

Object Removal: remove the object(s) from a video.
Video Completion: complete the masked video.
Video Outpainting: expand the view of a video.

Тут много умных слов:

https://shangchenzhou.com/projects/ProPainter/