Я продолжу 3Д-нытьё про ИИ.

Четыре года назад писал про то, как Автодеск взял миллион моделек с Турбосквида и обучил нейросеточку генерить UV-layout на антропоморфных сетках. И все это в 3Д. Вот полигональный болван в T-позе, вот его UV, и так миллион раз. А теперь вот новый болван – давай его UV. Ну и ИИ дает UV. Это так и называлось AIUV. Лично говорил с ними на Сигграфе - выглядело просто убойно.
Видос долгое время висел тут:
https://area.autodesk.com/inspire/articles/ai-at-autodesk-for-3d-and-vfx-content-creation
Но на итоге тема ai-at-autodesk как-то затихла (что меня дистрактит невыносимо, новые нормальные артисты вкатываются в ИИ, и только 3Д-олигархи делают вид, что ничего не происходит).

А щас вот вышел TopoGun 3 - специализированный софт для ретопологии. Последний раз обновлялся 11 лет назад!
И что, в новой версии ни слова про ИИ. Все ручками и эвристиками.
https://topogun.com/

Неужели сложно подучить ИИ делать ретоп и UV-maps на хотя бы популярных классах задач.

Для тех, кто занимается серьезным композом. Не плашечки в After Effects, а хардкор в Nuke.
Влад Ахтырский допилил свою систему до бета-версии.
"Junior" - конвейер композитинга с поддержкой искусственного интеллекта для Nuke 12, 13 и 14.
Все начиналось с идеи умного кея с помощью ИИ, когда на выходе не готовая картинка, а набор рулек для Нюка, которые и делают эту картинку и которые можно подергать.
Теперь это целый конвейер, который берет на вход шот, обрабатывает его, раскладывает все по нужным папкам и генерит нужные параметры в Нюке.
Посмотрите полное видео тут:
https://www.youtube.com/watch?v=lrYVCpqn8FE
И если вы в композе - записывайтесь в бету.

А еще мы потолковали с Владом, куда может укатиться композ с приходом GPT-4V, когда ИИ будет понимать ЧТО изображено в шоте и делать "семантический композ". И в отличие от многочисленных бумаг у Влада уже есть готовое решение встроенное в Нюк.

Меня в который раз просто подбрасывает от того, как Станислав Лем предсказал описанное в предыдущем посте в своем романе "Возвращение со звезд". Где людям сделали прививку от агрессии.
И к чему это привело. Держите пару цитат и попробуйте их соотнести с тем, что происходит сейчас в области "выравнивания" генеративных моделей.

"Посмотрите парочку мелодрам, и вы поймёте, в чём заключаются нынешние критерии эротического выбора. Самое важное — молодость. Потому-то все так борются за неё. Морщины, седина, особенно преждевременная, вызывают почти такие же чувства, как в давние времена проказа…
— Почему?
— Вам это трудно понять. Но аргументы здравого смысла бессильны против господствующих обычаев. Вы всё ещё не отдаёте себе отчёта в том, как много факторов, игравших раньше решающую роль в эротической сфере, исчезло. Природа не терпит пустоты: их должны были заменить другие. Возьмите хотя бы то, с чем вы настолько сжились, что перестали даже замечать исключительность этого явления, — риск. Его теперь не существует, Брегг. А ведь литература, искусство, вся культура целыми веками черпала из этого источника: любовь перед лицом смерти. Орфей спускался в страну мёртвых за Эвридикой. Отелло убил из любви. Трагедия Ромео и Джульетты… Теперь нет уже трагедий. Нет даже шансов на их существование. Мы ликвидировали ад страстей, и тогда оказалось, что вместе с ним исчез и рай. Всё теперь тёпленькое, Брегг."

"Легкая атлетика существовала в каком-то карликовом виде. Бег, толкание, прыжки, плавание и почти никаких элементов атлетической борьбы. Бокса вообще не было, а то, что называлось классической борьбой, было попросту смешным; какие-то тычки вместо порядочного боя. В проекционном зале магазина я посмотрел одну встречу на первенство мира и думал, что лопну от злости. Временами я хохотал как сумасшедший. Расспрашивал о вольной американской борьбе, о дзю-до, о джиу-джитсу, но никто даже не знал, что это такое. Понятно, ведь даже футбол скончался, не оставив потомства, ибо был игрой, в которой возможны острые схватки и травмы. Хоккей был, но какой! Играли в таких надутых комбинезонах, что игроки сами походили на огромные шары. Две такие команды, сталкивающиеся одна с другой, как резиновые мячи, выглядели потешно, но ведь это же был фарс, а не матч!"

Прививку от агрессии и секса можно теперь тестировать на LLM и смотреть как она будет жить дальше. Не зря я тут втапливал за то, что LLM - это идеальные лабораторные крысы размером с Юпитер, которых можно безнаказанно кромсать, изучая по дороге устройство кожаных.

Парни из Микрософта Ронен Элдан и Марк Руссинович (тот самый автор SysInternals, Prоccess Explorer и Autoruns)научились стирать определенную информацию из башки LLM - а именно, они стерли все знания о существовании книг о Гарри Поттере (включая персонажей и сюжеты) из открытого исходного кода Meta's Llama2-7B.

За один час.

Сначала на текстах о Гарри Поттере была обучена модель, позволяющая выделять токены, наиболее связанные с ними, сравнивая предсказания с базовой моделью.

Потом они заменяли уникальные выражения из "Гарри Поттера" их общими аналогами и генерировали альтернативные прогнозы и ответы.

На основе этих альтернативных предсказаний производилась тонкая настройка базовой модели, которая эффективно стирала из памяти исходный текст, когда ей предлагался промпт с соответствующим контекстом.

Производительность в стандартных бенчмарках, таких как ARC, BoolQ и Winogrande, "практически не пострадала".

И тут я снова вспомню Лема: "Наибольшим достижением считалось то, что перемены не сказывались отрицательно на развитии интеллекта и формировании личности и — что, быть может, ещё важнее — не чувство страха лежало в основе этих ограничений. Человек не убивал, потому что «это не приходило ему в голову».

Изучаем кожаных дальше. С помощью LLM.

https://venturebeat.com/ai/researchers-turn-to-harry-potter-to-make-ai-forget-about-copyright-material/

Вышел хороший инсайд про новый Квест и лыжную маску от Эппле.
До Эппле, наконец-то дошло, что пол-кило на голове - это перебор даже для твердолобых фанатов, поэтому в статье упоминается разработка более легкого варианта Vision Pro.
Более того, к концу статьи выясняется, что год назад Apple почти прекратили работу над автономным очками AR и это была личная неудача для Тима Кука, который рассматривал очки AR как ключевую цель. Но оставляется место для намеков на то, что Эппле к этому вернется.
Что касается Квеста, то налицо смена риторики с Метаверса на Игры и Повышение производительности. Ну то есть прямая конкуренция с Эппле.
В статье еще много информации про то, как Эппле запуталась в диоптриях и про новый Квест.
Но фишка в том, что Vision Pro будет непонятно когда, а вот Квест 3 уже кое-где появился, нашел прям свежий обзор, дам следующим постом.
https://www.bloomberg.com/news/newsletters/2023-10-08/apple-plans-smaller-lighter-vision-headset-meta-works-on-cheaper-quest-3-ar-lnhh1ulx

https://www.youtube.com/watch?v=yRR_23zQM6Q

Обзор нового Квеста 3 еще до начала продаж! Прям подробный и плюс сравнение с Pico 4, Quest 2 и Quest Pro.
https://www.youtube.com/watch?v=yRR_23zQM6Q

9 из 10 работодателей в 2023 году считают, что сотрудник должен уметь использовать нейросети для решения творческих и бизнес-задач.

Концентрированный курс по нейросетям от Музы и нейрохудожницы Леры Титовой научит создавать креативный контент, быстро работать с Big Data, прогнозировать поведение ЦА и искать инсайты для эффективной рекламы с помощью ИИ. То, что надо маркетологам, копирайтерам, SMM и другим digital-специалистам, чтобы сэкономить время, делегировать рутинные задачи и масштабировать бизнес.

Скидка 10, беспроцентная рассрочка и вебинар — по ссылке.

Firefly Vector Model или text-to-vector
Адобченко представила векторную модель Firefly. Adobe описывает новую модель как "первую в мире генеративную модель, ориентированную на создание векторной графики". Firefly для Illustrator сможет создавать всю векторную графику с нуля. Как и другие модели Firefly, векторная модель также обучалась на данных из Adobe Stock.
Молодцы они, конечно. Пока остальные рядятся в выравнивание и цензуру, Адобченко делает готовые инструменты и ворочает мешки.
https://techcrunch.com/2023/10/10/adobe-brings-its-firefly-generative-ai-models-to-vector-graphics-in-illustrator/

Adobe Firefly Image 2 Model - это не только ценный мех и прорисовка высокочастотных деталей, но еще и Image-2-Image, Firefly Design, доп настройки и, что очень важно, скорость.

Что у нас на пределами телеграм-постов:

1. Скорость. В отличие от SDXL, которая просадила скорость генерации в 4-10 раз, Адобченко утверждает, что Firefly 2 остался таким же быстрым при улучшенном качестве (тут, правда, остается открытым вопрос, а не вкинули ли они побольше железа не сервера).
2. Качество. Firefly Image 2 генерирует (по анонсам) изображения значительно более высокого качества по сравнению V1, особенно в отношении высокочастотных деталей, таких как листва, текстура кожи, волосы, руки и черты лица, особенно при рендеринге фотореалистичных людей(!, от который Далле 3 шарахается в пасторальные библейские истории). Плюс более высокое разрешение, более яркие цвета и цветовой контраст.
3. Настройки. Которые заданы не в виде плохопроизносимых параметров, а в виде знакомых терминов из фотографии: рульки для ручной или автоматической регулировки глубины резкости, моушен блюр и POV, точно так же, как и в камерах. Ю-Юзабилити.
4. Prompt Magic. Как бы аналог всех промптоулучшателей типа prompt expansion в Фокусе или разных приблуд для работы со стилями в разных генераторах. T9 для промптов, в общем.
5. Image-2-Image. Который зовется тут Generative Match (по аналогии с Fill). Тут интересная деталь. Адобченко всегда упирала на том, что она решает проблемы с копирайтом для пользователей Firefly, поэтому при выборе картинок для Image-2-Image, вас попросят выбрать галочку типа "я загружаю картинку, на которую у меня есть права". Тут, конечно, будет тьма коллизий и Адобченко оставляет себе лазейку типа "не виноватая я, он сам загрузил эти глупости и нажал галку". Ну и идея защиты своих пользователей начинает немного трещать по правам. Ну и непонятно, как они будут отслеживать NSFW загруженное в Image-2-Image. Анализом картинки?
6. Про Firefly Vector я уже написал, она как бы разработана так, чтобы быть безопасной для коммерческого использования (когда она выйдет из бета-версии), поскольку она была обучена на лицензионном контенте, таком как Adobe Stock. Какие там будут слои - надо смотреть. Firefly Vector можно попробовать уже сегодня в бета-версии Adobe Illustrator, а также в дополнительных функциях бета-версии, таких как Mockup и Retype для идентификации и редактирования векторных шрифтов.
7. Ну и, наконец, Firefly Design или text-to-template, которая генерирует настраиваемые шаблоны для печати, публикаций в социальных сетях, онлайн-рекламы, видео и многого другого. Типа текстовые подсказки для создания полностью редактируемых шаблонов для «всех популярных соотношений сторон». Это явно ответочка на Magic Design от Canva в том смысле, что можно теперь описывать что-то вроде «флаера для пляжного отдыха». Сколько там генерации, а сколько выбора из базы шаблонов - надо будет изучать.

Диванная редакция также считает, что Адобченко имеет огромное преимущество в виде конской пользовательской базы и опыта юзабилити, извлеченного из своих продуктов. Поэтому делает не программисткие комбайны (которые тоже имеют право на жизнь для технических отделов), и не странные поделки на базе Stable Diffusion в виде Invoke или Леонардо, переизобретающие UX от Адобченко. А потихоньку спускается с горы и дает пусть ограниченный, но очень ловкий функционал, закрывающий 90% потребностей новых нормальных художников.

Появился демоспейс DreamGaussian, пока делает 3D модели только по изображению.
Кидайте генерации в коменты.

Демо

#imageto3D

А вот это уже интересно поразглядывать и пофантазировать.
Дорожная карта Нвидия на несколько ближайших лет.
В статье очень много технических деталей для гиков с подсчетом ядер и скоростей.
В общих чертах это звучит так:

Игра в области обучения и обработки данных ИИ будет означать обновление текущего поколения Hopper в 2024 году, переход к поколению Blackwell позже в 2024 году и переход к другой архитектуре в 2025 году. Что касается процессоров, то в последнее время мы наблюдаем, как обновления сменяются войной за количество ядер в x86-архитектуре с огромными скачками. Например, ожидается, что количество ядер в топовых Xeon от Intel вырастет более чем в 10 раз с начала второго квартала 2021 года до второго квартала 2024 года. NVIDIA, похоже, не отстает от такой войны в центрах обработки данных. Для ИИ-стартапов, создающих чипы, это уже гонка, учитывая новый темп развития NVIDIA в дорожной карте.

Для Intel, AMD и, возможно, Cerebras, цели будут меняться, поскольку NVIDIA продает большие высокомаржинальные чипы. Она также выводит свои решения на базе Arm в лидеры, чтобы получить высокую маржу не только на GPU/ускорителях, но и на CPU.
https://www.servethehome.com/nvidia-data-center-roadmap-with-gx200nvl-gx200-x100-and-x40-ai-chips-in-2025/

Говорят, что собаки "видят носом".
Отличная демонстрация того, как это можно визуализировать.
Берем камеру с 360 углом обзора и просим псину немного ее прикусить.
Примерно так видит собачий нос.
А Земля-то оказывается круглая...