Просто ого[нь].

Краткий пересказ длинных видосов (на Ютюбе) от Яндекса.
Вставляете ссылку и вперед.
Ставить шпионский браузер не надо.
https://300.ya.ru/
Удивительно, что полгода-год назад мы только вздыхали "а вот бы поиметь пересказ всех этих длинных видосов", особенно те, кто терпеть не могут смотреть, а любят пробежать глазами по тексту.
Дополнительный бонус для тех, кто записал видос, а потом такой "блин, надо еще таймкоды расставить.
Женя уже опробовал на стримах, говорит работает отлично.

OpenAI похоже будет делать собственные процессоры(чипы).

Генеральный директор Сэм Альтман публично жаловался на нехватку графических процессоров, на рынке которых доминирует Nvidia, которая контролирует более 80% мирового рынка чипов, лучше всего подходящих для запуска приложений искусственного интеллекта.

С 2020 года OpenAI работает на огромном суперкомпьютере, построенном Microsoft, одним из крупнейших спонсоров, который использует 10 000 графических процессоров (GPU) Nvidia.

Приобретение компании, производящей чипы, может ускорить процесс создания собственного чипа OpenAI, как это произошло с Amazon.com и приобретением Annapurna Labs в 2015 году.

Главный спонсор OpenAI, Microsoft, также разрабатывает собственный чип искусственного интеллекта, который OpenAI тестирует. Эти планы могут сигнализировать о дальнейшем дистанцировании между двумя компаниями.

https://www.reuters.com/technology/chatgpt-owner-openai-is-exploring-making-its-own-ai-chips-sources-2023-10-06/

Всем сестрам по чипам.
Давайте разберемся у кого какие чипы есть сейчас и на чем будет крутиться ИИ в лучших ИИ-домах.

Вчера писал, что OpenAI наверняка будет делать свой чип (можно читать как "процессор"), чтобы снизить зависимость от Нвидия и от Микрософт. А объявления о вакансиях на сайте OpenAI также свидетельствуют о намерении компании набирать специалистов для разработки аппаратных средств.

Сегодня вышла новость, что Микрософт тоже пилит свои чипы-процессоры, чтобы не зависеть от Нвидия. У которой на минуточку 80% всего этого рынка (если говорить про ИИ-вычисления).

Чипы будут называться Athena и будут конкурировать по характеристикам с Нвидия H100. Покажут 14 ноября на конференции Ignite.

AMD всячески толкает свой чип Instinct MI300X, который (по их словам) будет обеспечивать в 2.4 раза большую плотность памяти, чем GPU H100 «Hopper» от Nvidia, и в 1,6 раза большую пропускную способность памяти.

Интел тоже не спит и уже сделал Intel Habana Gaudi2, который тоже сравнивает с H100.

У Гугла давно уже есть свои собственные тензорные процессоры TPU v5e. И я недавно постил примеры того, как космически быстро крутится на них Stable Diffusion SDXL.

Амазон приобрел в 2015 году компанию Annapurna Labs и тоже сделал свои чипы-процессоры. И недавнее валивание денег Амазоном в Anthropic, конкурента OpenAI, было обусловлена тем, что Anthropic будет использовать чипы Amazon под названиями Trainium и Inferentia.

В то же время Google Cloud обнародовал информацию о том, что такие клиенты, как Midjourney и Character AI, используют тензорные процессоры компании.

Метачка тоже делала свои чипы, не очень успешно, но сейчас пилит кастомный кремниевый чип для ИИ, для своего суперкомпьютера на 16 000 GPU.

В общем если раньше под задачу закупались компьютеры и сервера, то теперь под задачу просто проектируются собственные чипы!
Для этого, конечно, надо быть OpenAI или Микрософтом, или Гуглом, или Амазоном.

А ежики будут колоться, плакать и покупать карты Нвидия, чтобы крутить Stable Diffusion у себя под столом.

Сегодня много про 3Д и ИИ.
Вот тут выкатился в сеть такой смешной сервис.
Animate Everything - Animate 3D Models with AI
Берете свою 3Д-модель персонажа. ИИ анализирует ее, подбирает к ней скелет, скинит (то есть назначает вдияние скелета на вертексы модели), а потом даже анимирует ваш персонаж, назначая ему некую анимацию из базы.
Досмотрев до назначения анимашки, я понял, что это скорее игрушка для тех, кто пилит AR-анимацию, фильтры и вот это вот все. Может быть для мобильных игр и украшения сайтов и аппов. Для взрослых спецэффектов и анимации это не пойдет. Никаких анимаций пальцев, блендшейпов и по-моему даже анимационных кривых.
Но.
Интересно понаблюдать, как такие сложные и ужасно тягомотные процессы как риггинг постепенно отдаются на откуп ИИ. В этом сервисе еще прикольно то, что он написан полностью на WebGL, работает (быстро) в любом браузере, не требует ацких видеокарт и знания 300 пунктов меню Майя.
Также интересно, что на видосе есть даже персонажи-автомобили, всякоразны многоножки и другие мутанты. Ну и чистые меши, что радует глаз.
Для взрослых мальчиков напишу следующий пост про взрослый ИИ-риг.
https://app.anything.world/animation-rigging

P.S. Очень хочется развидеть стиль рекламы сервиса. Взять какой-то ИИ и сказать, а сделай кавер этой рекламы в духе нормального моушен-дизайна от The Mill. А то от розовых пикселей болят нейроны.

3Д-риггинг для взрослых с помощью ИИ.

Удивительно, что на этом фронте тишина уже примерно 3 года как.
Именно тогда вышла фантастическая работа RigNet: Neural Rigging for Articulated Characters.
https://zhan-xu.github.io/rig-net/
Из апдейтов - к ней наконец-то выкатили код. И датасеты, на которых учили ригать персонажей.
Но Автодеск и Максончик делают вид, что ничего такого в природе нет. И до продукта это не доходит.

Из последнего интересного в этой области: TARig

Мы представляем TARig - метод нейронного риггинга с учетом шаблонов, предназначенный для автоматической генерации стандартных и высококачественных скелетов и весов кожи для гуманоидных персонажей. Результирующий скелет состоит из широко используемого шаблона гуманоида с 21 шаблонным суставом и ассоциированных наборов вторичных суставов. Помимо заданной топологии шаблонного скелета, мы дополнительно изучаем boneflow field, чтобы определить внутренние связи для каждого вторичного набора суставов и избежать контр-анатомического построения скелета. Обширные эксперименты показали, что TARig обеспечивает высокое качество риггинга и превосходит другие современные методы авториггинга в части генерации скелета и оценки веса кожи для гуманоидных персонажей.
https://www.x-mol.net/paper/article/1667441415086129152

boneflow field - оптический поток для скелетов!

Однако все это - академические бумаги.

Может Адобченко наконец-то прикупит нормальное 3Д и вкрутит туда ИИ-фишки?

JALI: лицевая анимация на стероидах ИИ.
И это не нейромокап.

Среди авторов RigNet: Neural Rigging for Articulated Characters из предыдущего поста (когда на датасете из уже зариганных персонажей, сетку учат ригать абсолютно произвольного персонажа с нуля) - Крис Ландрет, который делал Bingo (Genie 1998), Ryan (Oscar 2005), Spine (Genie nomination 2009). Это прям ветеран 3Д.

Старперы могут всплакнуть над роликом Бинго из 1998. Тогда это было ошеломительно.

Так вот, Крис также входит в Jali Research, которые пилят автоматическое и быстрое создание высококачественной трехмерной лицевой анимации на основе текста и аудио.

И это не аватарчики для метаверсиков, это жоский тяжелый пост-продакшен в Майя и UE.

Вот интересное видео, где сравнивают процесс создания анимации лица (ручками и ИИ) для короткометражки “The Spine” 2009 от того же Chris Landreth.
Сам процесс разбит на 4 части. Анимация и повороты головы, липсинк, анимация глаз, челюсти и ассиметрия. И занимает 20 часов для этого диалога. Если ручками.

Потом показывают тот же процесс, но сделанный с помощью JALI lip sync and facial animation software. Который занимает полтора часа. Автоматизация всего, включая генерацию движений головы и глаз. И да, deep learning, все как мы любим.
Полное видео: https://youtu.be/qxSnFExiDJE

Поглядите на сайт JALI
http://jaliresearch.com/

P.S. Посту про Криса и Джали - три года. И новых инструментов для лицевой 3Д-анимации в традиционных 3Д-софтах не появляется. Зато многочисленные аватары или гибридные решения типа HeyGen растут как грибы.
Это значит лишь то, что рынок поста для кино чудовищно мал и вовлекает в себя ну очень небольшое количество рабочих рук, а соцсети рулят спросом на инструменты.

Я продолжу 3Д-нытьё про ИИ.

Четыре года назад писал про то, как Автодеск взял миллион моделек с Турбосквида и обучил нейросеточку генерить UV-layout на антропоморфных сетках. И все это в 3Д. Вот полигональный болван в T-позе, вот его UV, и так миллион раз. А теперь вот новый болван – давай его UV. Ну и ИИ дает UV. Это так и называлось AIUV. Лично говорил с ними на Сигграфе - выглядело просто убойно.
Видос долгое время висел тут:
https://area.autodesk.com/inspire/articles/ai-at-autodesk-for-3d-and-vfx-content-creation
Но на итоге тема ai-at-autodesk как-то затихла (что меня дистрактит невыносимо, новые нормальные артисты вкатываются в ИИ, и только 3Д-олигархи делают вид, что ничего не происходит).

А щас вот вышел TopoGun 3 - специализированный софт для ретопологии. Последний раз обновлялся 11 лет назад!
И что, в новой версии ни слова про ИИ. Все ручками и эвристиками.
https://topogun.com/

Неужели сложно подучить ИИ делать ретоп и UV-maps на хотя бы популярных классах задач.

Для тех, кто занимается серьезным композом. Не плашечки в After Effects, а хардкор в Nuke.
Влад Ахтырский допилил свою систему до бета-версии.
"Junior" - конвейер композитинга с поддержкой искусственного интеллекта для Nuke 12, 13 и 14.
Все начиналось с идеи умного кея с помощью ИИ, когда на выходе не готовая картинка, а набор рулек для Нюка, которые и делают эту картинку и которые можно подергать.
Теперь это целый конвейер, который берет на вход шот, обрабатывает его, раскладывает все по нужным папкам и генерит нужные параметры в Нюке.
Посмотрите полное видео тут:
https://www.youtube.com/watch?v=lrYVCpqn8FE
И если вы в композе - записывайтесь в бету.

А еще мы потолковали с Владом, куда может укатиться композ с приходом GPT-4V, когда ИИ будет понимать ЧТО изображено в шоте и делать "семантический композ". И в отличие от многочисленных бумаг у Влада уже есть готовое решение встроенное в Нюк.