Для тех, кто занимается серьезным композом. Не плашечки в After Effects, а хардкор в Nuke.
Влад Ахтырский допилил свою систему до бета-версии.
"Junior" - конвейер композитинга с поддержкой искусственного интеллекта для Nuke 12, 13 и 14.
Все начиналось с идеи умного кея с помощью ИИ, когда на выходе не готовая картинка, а набор рулек для Нюка, которые и делают эту картинку и которые можно подергать.
Теперь это целый конвейер, который берет на вход шот, обрабатывает его, раскладывает все по нужным папкам и генерит нужные параметры в Нюке.
Посмотрите полное видео тут:
https://www.youtube.com/watch?v=lrYVCpqn8FE
И если вы в композе - записывайтесь в бету.

А еще мы потолковали с Владом, куда может укатиться композ с приходом GPT-4V, когда ИИ будет понимать ЧТО изображено в шоте и делать "семантический композ". И в отличие от многочисленных бумаг у Влада уже есть готовое решение встроенное в Нюк.

Меня в который раз просто подбрасывает от того, как Станислав Лем предсказал описанное в предыдущем посте в своем романе "Возвращение со звезд". Где людям сделали прививку от агрессии.
И к чему это привело. Держите пару цитат и попробуйте их соотнести с тем, что происходит сейчас в области "выравнивания" генеративных моделей.

"Посмотрите парочку мелодрам, и вы поймёте, в чём заключаются нынешние критерии эротического выбора. Самое важное — молодость. Потому-то все так борются за неё. Морщины, седина, особенно преждевременная, вызывают почти такие же чувства, как в давние времена проказа…
— Почему?
— Вам это трудно понять. Но аргументы здравого смысла бессильны против господствующих обычаев. Вы всё ещё не отдаёте себе отчёта в том, как много факторов, игравших раньше решающую роль в эротической сфере, исчезло. Природа не терпит пустоты: их должны были заменить другие. Возьмите хотя бы то, с чем вы настолько сжились, что перестали даже замечать исключительность этого явления, — риск. Его теперь не существует, Брегг. А ведь литература, искусство, вся культура целыми веками черпала из этого источника: любовь перед лицом смерти. Орфей спускался в страну мёртвых за Эвридикой. Отелло убил из любви. Трагедия Ромео и Джульетты… Теперь нет уже трагедий. Нет даже шансов на их существование. Мы ликвидировали ад страстей, и тогда оказалось, что вместе с ним исчез и рай. Всё теперь тёпленькое, Брегг."

"Легкая атлетика существовала в каком-то карликовом виде. Бег, толкание, прыжки, плавание и почти никаких элементов атлетической борьбы. Бокса вообще не было, а то, что называлось классической борьбой, было попросту смешным; какие-то тычки вместо порядочного боя. В проекционном зале магазина я посмотрел одну встречу на первенство мира и думал, что лопну от злости. Временами я хохотал как сумасшедший. Расспрашивал о вольной американской борьбе, о дзю-до, о джиу-джитсу, но никто даже не знал, что это такое. Понятно, ведь даже футбол скончался, не оставив потомства, ибо был игрой, в которой возможны острые схватки и травмы. Хоккей был, но какой! Играли в таких надутых комбинезонах, что игроки сами походили на огромные шары. Две такие команды, сталкивающиеся одна с другой, как резиновые мячи, выглядели потешно, но ведь это же был фарс, а не матч!"

Прививку от агрессии и секса можно теперь тестировать на LLM и смотреть как она будет жить дальше. Не зря я тут втапливал за то, что LLM - это идеальные лабораторные крысы размером с Юпитер, которых можно безнаказанно кромсать, изучая по дороге устройство кожаных.

Парни из Микрософта Ронен Элдан и Марк Руссинович (тот самый автор SysInternals, Prоccess Explorer и Autoruns)научились стирать определенную информацию из башки LLM - а именно, они стерли все знания о существовании книг о Гарри Поттере (включая персонажей и сюжеты) из открытого исходного кода Meta's Llama2-7B.

За один час.

Сначала на текстах о Гарри Поттере была обучена модель, позволяющая выделять токены, наиболее связанные с ними, сравнивая предсказания с базовой моделью.

Потом они заменяли уникальные выражения из "Гарри Поттера" их общими аналогами и генерировали альтернативные прогнозы и ответы.

На основе этих альтернативных предсказаний производилась тонкая настройка базовой модели, которая эффективно стирала из памяти исходный текст, когда ей предлагался промпт с соответствующим контекстом.

Производительность в стандартных бенчмарках, таких как ARC, BoolQ и Winogrande, "практически не пострадала".

И тут я снова вспомню Лема: "Наибольшим достижением считалось то, что перемены не сказывались отрицательно на развитии интеллекта и формировании личности и — что, быть может, ещё важнее — не чувство страха лежало в основе этих ограничений. Человек не убивал, потому что «это не приходило ему в голову».

Изучаем кожаных дальше. С помощью LLM.

https://venturebeat.com/ai/researchers-turn-to-harry-potter-to-make-ai-forget-about-copyright-material/

Вышел хороший инсайд про новый Квест и лыжную маску от Эппле.
До Эппле, наконец-то дошло, что пол-кило на голове - это перебор даже для твердолобых фанатов, поэтому в статье упоминается разработка более легкого варианта Vision Pro.
Более того, к концу статьи выясняется, что год назад Apple почти прекратили работу над автономным очками AR и это была личная неудача для Тима Кука, который рассматривал очки AR как ключевую цель. Но оставляется место для намеков на то, что Эппле к этому вернется.
Что касается Квеста, то налицо смена риторики с Метаверса на Игры и Повышение производительности. Ну то есть прямая конкуренция с Эппле.
В статье еще много информации про то, как Эппле запуталась в диоптриях и про новый Квест.
Но фишка в том, что Vision Pro будет непонятно когда, а вот Квест 3 уже кое-где появился, нашел прям свежий обзор, дам следующим постом.
https://www.bloomberg.com/news/newsletters/2023-10-08/apple-plans-smaller-lighter-vision-headset-meta-works-on-cheaper-quest-3-ar-lnhh1ulx

https://www.youtube.com/watch?v=yRR_23zQM6Q

Обзор нового Квеста 3 еще до начала продаж! Прям подробный и плюс сравнение с Pico 4, Quest 2 и Quest Pro.
https://www.youtube.com/watch?v=yRR_23zQM6Q

9 из 10 работодателей в 2023 году считают, что сотрудник должен уметь использовать нейросети для решения творческих и бизнес-задач.

Концентрированный курс по нейросетям от Музы и нейрохудожницы Леры Титовой научит создавать креативный контент, быстро работать с Big Data, прогнозировать поведение ЦА и искать инсайты для эффективной рекламы с помощью ИИ. То, что надо маркетологам, копирайтерам, SMM и другим digital-специалистам, чтобы сэкономить время, делегировать рутинные задачи и масштабировать бизнес.

Скидка 10, беспроцентная рассрочка и вебинар — по ссылке.

Firefly Vector Model или text-to-vector
Адобченко представила векторную модель Firefly. Adobe описывает новую модель как "первую в мире генеративную модель, ориентированную на создание векторной графики". Firefly для Illustrator сможет создавать всю векторную графику с нуля. Как и другие модели Firefly, векторная модель также обучалась на данных из Adobe Stock.
Молодцы они, конечно. Пока остальные рядятся в выравнивание и цензуру, Адобченко делает готовые инструменты и ворочает мешки.
https://techcrunch.com/2023/10/10/adobe-brings-its-firefly-generative-ai-models-to-vector-graphics-in-illustrator/

Adobe Firefly Image 2 Model - это не только ценный мех и прорисовка высокочастотных деталей, но еще и Image-2-Image, Firefly Design, доп настройки и, что очень важно, скорость.

Что у нас на пределами телеграм-постов:

1. Скорость. В отличие от SDXL, которая просадила скорость генерации в 4-10 раз, Адобченко утверждает, что Firefly 2 остался таким же быстрым при улучшенном качестве (тут, правда, остается открытым вопрос, а не вкинули ли они побольше железа не сервера).
2. Качество. Firefly Image 2 генерирует (по анонсам) изображения значительно более высокого качества по сравнению V1, особенно в отношении высокочастотных деталей, таких как листва, текстура кожи, волосы, руки и черты лица, особенно при рендеринге фотореалистичных людей(!, от который Далле 3 шарахается в пасторальные библейские истории). Плюс более высокое разрешение, более яркие цвета и цветовой контраст.
3. Настройки. Которые заданы не в виде плохопроизносимых параметров, а в виде знакомых терминов из фотографии: рульки для ручной или автоматической регулировки глубины резкости, моушен блюр и POV, точно так же, как и в камерах. Ю-Юзабилити.
4. Prompt Magic. Как бы аналог всех промптоулучшателей типа prompt expansion в Фокусе или разных приблуд для работы со стилями в разных генераторах. T9 для промптов, в общем.
5. Image-2-Image. Который зовется тут Generative Match (по аналогии с Fill). Тут интересная деталь. Адобченко всегда упирала на том, что она решает проблемы с копирайтом для пользователей Firefly, поэтому при выборе картинок для Image-2-Image, вас попросят выбрать галочку типа "я загружаю картинку, на которую у меня есть права". Тут, конечно, будет тьма коллизий и Адобченко оставляет себе лазейку типа "не виноватая я, он сам загрузил эти глупости и нажал галку". Ну и идея защиты своих пользователей начинает немного трещать по правам. Ну и непонятно, как они будут отслеживать NSFW загруженное в Image-2-Image. Анализом картинки?
6. Про Firefly Vector я уже написал, она как бы разработана так, чтобы быть безопасной для коммерческого использования (когда она выйдет из бета-версии), поскольку она была обучена на лицензионном контенте, таком как Adobe Stock. Какие там будут слои - надо смотреть. Firefly Vector можно попробовать уже сегодня в бета-версии Adobe Illustrator, а также в дополнительных функциях бета-версии, таких как Mockup и Retype для идентификации и редактирования векторных шрифтов.
7. Ну и, наконец, Firefly Design или text-to-template, которая генерирует настраиваемые шаблоны для печати, публикаций в социальных сетях, онлайн-рекламы, видео и многого другого. Типа текстовые подсказки для создания полностью редактируемых шаблонов для «всех популярных соотношений сторон». Это явно ответочка на Magic Design от Canva в том смысле, что можно теперь описывать что-то вроде «флаера для пляжного отдыха». Сколько там генерации, а сколько выбора из базы шаблонов - надо будет изучать.

Диванная редакция также считает, что Адобченко имеет огромное преимущество в виде конской пользовательской базы и опыта юзабилити, извлеченного из своих продуктов. Поэтому делает не программисткие комбайны (которые тоже имеют право на жизнь для технических отделов), и не странные поделки на базе Stable Diffusion в виде Invoke или Леонардо, переизобретающие UX от Адобченко. А потихоньку спускается с горы и дает пусть ограниченный, но очень ловкий функционал, закрывающий 90% потребностей новых нормальных художников.

Появился демоспейс DreamGaussian, пока делает 3D модели только по изображению.
Кидайте генерации в коменты.

Демо

#imageto3D

А вот это уже интересно поразглядывать и пофантазировать.
Дорожная карта Нвидия на несколько ближайших лет.
В статье очень много технических деталей для гиков с подсчетом ядер и скоростей.
В общих чертах это звучит так:

Игра в области обучения и обработки данных ИИ будет означать обновление текущего поколения Hopper в 2024 году, переход к поколению Blackwell позже в 2024 году и переход к другой архитектуре в 2025 году. Что касается процессоров, то в последнее время мы наблюдаем, как обновления сменяются войной за количество ядер в x86-архитектуре с огромными скачками. Например, ожидается, что количество ядер в топовых Xeon от Intel вырастет более чем в 10 раз с начала второго квартала 2021 года до второго квартала 2024 года. NVIDIA, похоже, не отстает от такой войны в центрах обработки данных. Для ИИ-стартапов, создающих чипы, это уже гонка, учитывая новый темп развития NVIDIA в дорожной карте.

Для Intel, AMD и, возможно, Cerebras, цели будут меняться, поскольку NVIDIA продает большие высокомаржинальные чипы. Она также выводит свои решения на базе Arm в лидеры, чтобы получить высокую маржу не только на GPU/ускорителях, но и на CPU.
https://www.servethehome.com/nvidia-data-center-roadmap-with-gx200nvl-gx200-x100-and-x40-ai-chips-in-2025/

Говорят, что собаки "видят носом".
Отличная демонстрация того, как это можно визуализировать.
Берем камеру с 360 углом обзора и просим псину немного ее прикусить.
Примерно так видит собачий нос.
А Земля-то оказывается круглая...

Торгуем лицом. Дорого.
Помните, тут недавно актеры и сценаристы бастовали против ИИ?
Актеры, в частности, очень озабочены тем, что их внешность может быть отсканирована в 3Д и потом использована без их гениального участия.
Я тогда писал:
Все снова поделится на два лагеря.
Будут актеры (в основном с хорошим портфолио и гонорарами), которые будут сниматься на камеру "по старинке", а за каждый цифровой чих вписывать пару нулей в договор. И будут актеры, которые будут готовы сниматься "для синтеза", то есть цифровать свой стиль, внешность, мимику и пр. для любых последующих манипуляций. Для них это самый доступный пусть Голливуд. А там, может быть повезет, и удастся перебраться в первую категорию.

Сейчас будет про первый лагерь.

Недавно Метачка представила своих ИИ-ассистентов, которые могут превращаться в знаменитостей.
Кендалл Дженнер и MrBeast являются одними из звезд, которые изображают чат-ботов Метачки с разными личностями.
По некоторым утечкам Метачка платит звездам пять миллионов за шесть часов работы в студии по оцифровке и потом использует этот образ в течение двух лет.

У меня на сегодня всё.

https://www.businessinsider.com/meta-paying-celebrity-faces-of-ai-chatbots-as-much-as-5-million-2023-10

В Кандинский завезли анимацию. На мой взгляд - это сильно отстает (поколения на два) от имеющихся open-source решений. Все, как водится кипит, бурлит и мигает.
Как развлечение для пользовательской базы - да, наверное имеет смысл.
Для остального - ну такое.
https://t.me/GigaChat_SberAi/173

Вышел ежегодный State of AI 2023. Как обычно, там больше 150 слайдов, подводящих черту под всеми крупными направлениями работы и разных индустрий. Буду постепенно листать и интересное оформлю в виде какой-то заметки или может даже видео.

Пока остановимся на блоке предсказаний. На 2023й:
— Nvidia, хоть и без прямого партнерства, становится авангардом AI революции, с которым все хотят работать, чтобы получить железо
— Модели генерации звука привлекут много внимания (более 1 миллиона пользователей у ведущих игроков рынка)
— Инвестиции в $10B в AGI-focused компания (Microsoft -> OpenAI)
— Сайты, ориентированные на User Generated Content, начали заключать соглашения о предоставлении данных для тренировки моделей
— Хоть финального акта регулирования AGI и не получилось, люди и политики обсуждают всерьёз введение ограничений и проводят аналогии с биологическим оружием

Всего сбылось 5.5 предсказаний из 10. А вот десятка на 2024й:
— Продюсер голливудского уровня использует AI для создания эффектов
— Generative AI компания будет вовлечена в расследование, связанное с неправильным использованием её сервисов во время выборов президента США-2024
— Самоулучшающийся AI-агент разнесёт в щепки текущие решения для сложных задач (крупные игры, научная работа, etc.). Немного широко сформулировано, так как не выделены области, где нужно следить
— IPO как минимум одной AI-focuesed компании
— На тренировку одной из моделей будет потрачено $1B
— FTC/CMA начнут расследование сделки Microsoft и OpenAI
— Будет совсем небольшой прогресс в регуляции AI, который, быть может, ограничится лишь верхнеуровневыми волонтерскими ("пацанскими") договорённостями в духе "нет ну плохо мы делать не будем а будем делать хорошо"
— (HOT) Финансовые институты запустят аналог венчурных инвестиций, но с точки зрения вычислительных мощностей (прим.: сейчас у AGI-focused компаний примерно 90% денег уходит на оплату GPU)
— Песня, сгенерированная AI, попадет в топ (например, Spotify Top Hits 2024)
— Будет значительный рост затрат на инференс моделей, поэтому один из крупных игроков поглотит производителя чипов, чтобы начать разработки по снижению цен на железо для своих специфичных задач
————————————
Почитать анонс
Презентация

Project Primrose from Adobe

С Adobe Max еще есть некоторое количество новостей, закрою гештальт сегодня, чтобы не превращать ленту в оду Адобченко.
Пока мы тут смотрим на виртуальные примерочные, Адобченко взял и вывернул наизнанку саму идею. Лучше один раз надеть и семь раз изменить, чем пытаться переодевать джипеги.
Идея не нова от слова совсем, но посмотрите как это ловко сделано.
Ловким движением руки брюки превращаются в .. брюки другого цвета.
Также можно порассуждать, что это теперь и проектор, и маппинг и площадка для рекламных размещений.
Ну у меня один вопрос: на какой температуре стирать и не линяют ли цвета?
Ну и ждем интеграции с Firefly