Краткий пересказ длинных видосов (на Ютюбе) от Яндекса.
Вставляете ссылку и вперед.
Ставить шпионский браузер не надо.
https://300.ya.ru/
Удивительно, что полгода-год назад мы только вздыхали "а вот бы поиметь пересказ всех этих длинных видосов", особенно те, кто терпеть не могут смотреть, а любят пробежать глазами по тексту.
Дополнительный бонус для тех, кто записал видос, а потом такой "блин, надо еще таймкоды расставить.
Женя уже опробовал на стримах, говорит работает отлично.

OpenAI похоже будет делать собственные процессоры(чипы).

Генеральный директор Сэм Альтман публично жаловался на нехватку графических процессоров, на рынке которых доминирует Nvidia, которая контролирует более 80% мирового рынка чипов, лучше всего подходящих для запуска приложений искусственного интеллекта.

С 2020 года OpenAI работает на огромном суперкомпьютере, построенном Microsoft, одним из крупнейших спонсоров, который использует 10 000 графических процессоров (GPU) Nvidia.

Приобретение компании, производящей чипы, может ускорить процесс создания собственного чипа OpenAI, как это произошло с Amazon.com и приобретением Annapurna Labs в 2015 году.

Главный спонсор OpenAI, Microsoft, также разрабатывает собственный чип искусственного интеллекта, который OpenAI тестирует. Эти планы могут сигнализировать о дальнейшем дистанцировании между двумя компаниями.

https://www.reuters.com/technology/chatgpt-owner-openai-is-exploring-making-its-own-ai-chips-sources-2023-10-06/

Всем сестрам по чипам.
Давайте разберемся у кого какие чипы есть сейчас и на чем будет крутиться ИИ в лучших ИИ-домах.

Вчера писал, что OpenAI наверняка будет делать свой чип (можно читать как "процессор"), чтобы снизить зависимость от Нвидия и от Микрософт. А объявления о вакансиях на сайте OpenAI также свидетельствуют о намерении компании набирать специалистов для разработки аппаратных средств.

Сегодня вышла новость, что Микрософт тоже пилит свои чипы-процессоры, чтобы не зависеть от Нвидия. У которой на минуточку 80% всего этого рынка (если говорить про ИИ-вычисления).

Чипы будут называться Athena и будут конкурировать по характеристикам с Нвидия H100. Покажут 14 ноября на конференции Ignite.

AMD всячески толкает свой чип Instinct MI300X, который (по их словам) будет обеспечивать в 2.4 раза большую плотность памяти, чем GPU H100 «Hopper» от Nvidia, и в 1,6 раза большую пропускную способность памяти.

Интел тоже не спит и уже сделал Intel Habana Gaudi2, который тоже сравнивает с H100.

У Гугла давно уже есть свои собственные тензорные процессоры TPU v5e. И я недавно постил примеры того, как космически быстро крутится на них Stable Diffusion SDXL.

Амазон приобрел в 2015 году компанию Annapurna Labs и тоже сделал свои чипы-процессоры. И недавнее валивание денег Амазоном в Anthropic, конкурента OpenAI, было обусловлена тем, что Anthropic будет использовать чипы Amazon под названиями Trainium и Inferentia.

В то же время Google Cloud обнародовал информацию о том, что такие клиенты, как Midjourney и Character AI, используют тензорные процессоры компании.

Метачка тоже делала свои чипы, не очень успешно, но сейчас пилит кастомный кремниевый чип для ИИ, для своего суперкомпьютера на 16 000 GPU.

В общем если раньше под задачу закупались компьютеры и сервера, то теперь под задачу просто проектируются собственные чипы!
Для этого, конечно, надо быть OpenAI или Микрософтом, или Гуглом, или Амазоном.

А ежики будут колоться, плакать и покупать карты Нвидия, чтобы крутить Stable Diffusion у себя под столом.

Сегодня много про 3Д и ИИ.
Вот тут выкатился в сеть такой смешной сервис.
Animate Everything - Animate 3D Models with AI
Берете свою 3Д-модель персонажа. ИИ анализирует ее, подбирает к ней скелет, скинит (то есть назначает вдияние скелета на вертексы модели), а потом даже анимирует ваш персонаж, назначая ему некую анимацию из базы.
Досмотрев до назначения анимашки, я понял, что это скорее игрушка для тех, кто пилит AR-анимацию, фильтры и вот это вот все. Может быть для мобильных игр и украшения сайтов и аппов. Для взрослых спецэффектов и анимации это не пойдет. Никаких анимаций пальцев, блендшейпов и по-моему даже анимационных кривых.
Но.
Интересно понаблюдать, как такие сложные и ужасно тягомотные процессы как риггинг постепенно отдаются на откуп ИИ. В этом сервисе еще прикольно то, что он написан полностью на WebGL, работает (быстро) в любом браузере, не требует ацких видеокарт и знания 300 пунктов меню Майя.
Также интересно, что на видосе есть даже персонажи-автомобили, всякоразны многоножки и другие мутанты. Ну и чистые меши, что радует глаз.
Для взрослых мальчиков напишу следующий пост про взрослый ИИ-риг.
https://app.anything.world/animation-rigging

P.S. Очень хочется развидеть стиль рекламы сервиса. Взять какой-то ИИ и сказать, а сделай кавер этой рекламы в духе нормального моушен-дизайна от The Mill. А то от розовых пикселей болят нейроны.

3Д-риггинг для взрослых с помощью ИИ.

Удивительно, что на этом фронте тишина уже примерно 3 года как.
Именно тогда вышла фантастическая работа RigNet: Neural Rigging for Articulated Characters.
https://zhan-xu.github.io/rig-net/
Из апдейтов - к ней наконец-то выкатили код. И датасеты, на которых учили ригать персонажей.
Но Автодеск и Максончик делают вид, что ничего такого в природе нет. И до продукта это не доходит.

Из последнего интересного в этой области: TARig

Мы представляем TARig - метод нейронного риггинга с учетом шаблонов, предназначенный для автоматической генерации стандартных и высококачественных скелетов и весов кожи для гуманоидных персонажей. Результирующий скелет состоит из широко используемого шаблона гуманоида с 21 шаблонным суставом и ассоциированных наборов вторичных суставов. Помимо заданной топологии шаблонного скелета, мы дополнительно изучаем boneflow field, чтобы определить внутренние связи для каждого вторичного набора суставов и избежать контр-анатомического построения скелета. Обширные эксперименты показали, что TARig обеспечивает высокое качество риггинга и превосходит другие современные методы авториггинга в части генерации скелета и оценки веса кожи для гуманоидных персонажей.
https://www.x-mol.net/paper/article/1667441415086129152

boneflow field - оптический поток для скелетов!

Однако все это - академические бумаги.

Может Адобченко наконец-то прикупит нормальное 3Д и вкрутит туда ИИ-фишки?

JALI: лицевая анимация на стероидах ИИ.
И это не нейромокап.

Среди авторов RigNet: Neural Rigging for Articulated Characters из предыдущего поста (когда на датасете из уже зариганных персонажей, сетку учат ригать абсолютно произвольного персонажа с нуля) - Крис Ландрет, который делал Bingo (Genie 1998), Ryan (Oscar 2005), Spine (Genie nomination 2009). Это прям ветеран 3Д.

Старперы могут всплакнуть над роликом Бинго из 1998. Тогда это было ошеломительно.

Так вот, Крис также входит в Jali Research, которые пилят автоматическое и быстрое создание высококачественной трехмерной лицевой анимации на основе текста и аудио.

И это не аватарчики для метаверсиков, это жоский тяжелый пост-продакшен в Майя и UE.

Вот интересное видео, где сравнивают процесс создания анимации лица (ручками и ИИ) для короткометражки “The Spine” 2009 от того же Chris Landreth.
Сам процесс разбит на 4 части. Анимация и повороты головы, липсинк, анимация глаз, челюсти и ассиметрия. И занимает 20 часов для этого диалога. Если ручками.

Потом показывают тот же процесс, но сделанный с помощью JALI lip sync and facial animation software. Который занимает полтора часа. Автоматизация всего, включая генерацию движений головы и глаз. И да, deep learning, все как мы любим.
Полное видео: https://youtu.be/qxSnFExiDJE

Поглядите на сайт JALI
http://jaliresearch.com/

P.S. Посту про Криса и Джали - три года. И новых инструментов для лицевой 3Д-анимации в традиционных 3Д-софтах не появляется. Зато многочисленные аватары или гибридные решения типа HeyGen растут как грибы.
Это значит лишь то, что рынок поста для кино чудовищно мал и вовлекает в себя ну очень небольшое количество рабочих рук, а соцсети рулят спросом на инструменты.

Я продолжу 3Д-нытьё про ИИ.

Четыре года назад писал про то, как Автодеск взял миллион моделек с Турбосквида и обучил нейросеточку генерить UV-layout на антропоморфных сетках. И все это в 3Д. Вот полигональный болван в T-позе, вот его UV, и так миллион раз. А теперь вот новый болван – давай его UV. Ну и ИИ дает UV. Это так и называлось AIUV. Лично говорил с ними на Сигграфе - выглядело просто убойно.
Видос долгое время висел тут:
https://area.autodesk.com/inspire/articles/ai-at-autodesk-for-3d-and-vfx-content-creation
Но на итоге тема ai-at-autodesk как-то затихла (что меня дистрактит невыносимо, новые нормальные артисты вкатываются в ИИ, и только 3Д-олигархи делают вид, что ничего не происходит).

А щас вот вышел TopoGun 3 - специализированный софт для ретопологии. Последний раз обновлялся 11 лет назад!
И что, в новой версии ни слова про ИИ. Все ручками и эвристиками.
https://topogun.com/

Неужели сложно подучить ИИ делать ретоп и UV-maps на хотя бы популярных классах задач.

Для тех, кто занимается серьезным композом. Не плашечки в After Effects, а хардкор в Nuke.
Влад Ахтырский допилил свою систему до бета-версии.
"Junior" - конвейер композитинга с поддержкой искусственного интеллекта для Nuke 12, 13 и 14.
Все начиналось с идеи умного кея с помощью ИИ, когда на выходе не готовая картинка, а набор рулек для Нюка, которые и делают эту картинку и которые можно подергать.
Теперь это целый конвейер, который берет на вход шот, обрабатывает его, раскладывает все по нужным папкам и генерит нужные параметры в Нюке.
Посмотрите полное видео тут:
https://www.youtube.com/watch?v=lrYVCpqn8FE
И если вы в композе - записывайтесь в бету.

А еще мы потолковали с Владом, куда может укатиться композ с приходом GPT-4V, когда ИИ будет понимать ЧТО изображено в шоте и делать "семантический композ". И в отличие от многочисленных бумаг у Влада уже есть готовое решение встроенное в Нюк.

Меня в который раз просто подбрасывает от того, как Станислав Лем предсказал описанное в предыдущем посте в своем романе "Возвращение со звезд". Где людям сделали прививку от агрессии.
И к чему это привело. Держите пару цитат и попробуйте их соотнести с тем, что происходит сейчас в области "выравнивания" генеративных моделей.

"Посмотрите парочку мелодрам, и вы поймёте, в чём заключаются нынешние критерии эротического выбора. Самое важное — молодость. Потому-то все так борются за неё. Морщины, седина, особенно преждевременная, вызывают почти такие же чувства, как в давние времена проказа…
— Почему?
— Вам это трудно понять. Но аргументы здравого смысла бессильны против господствующих обычаев. Вы всё ещё не отдаёте себе отчёта в том, как много факторов, игравших раньше решающую роль в эротической сфере, исчезло. Природа не терпит пустоты: их должны были заменить другие. Возьмите хотя бы то, с чем вы настолько сжились, что перестали даже замечать исключительность этого явления, — риск. Его теперь не существует, Брегг. А ведь литература, искусство, вся культура целыми веками черпала из этого источника: любовь перед лицом смерти. Орфей спускался в страну мёртвых за Эвридикой. Отелло убил из любви. Трагедия Ромео и Джульетты… Теперь нет уже трагедий. Нет даже шансов на их существование. Мы ликвидировали ад страстей, и тогда оказалось, что вместе с ним исчез и рай. Всё теперь тёпленькое, Брегг."

"Легкая атлетика существовала в каком-то карликовом виде. Бег, толкание, прыжки, плавание и почти никаких элементов атлетической борьбы. Бокса вообще не было, а то, что называлось классической борьбой, было попросту смешным; какие-то тычки вместо порядочного боя. В проекционном зале магазина я посмотрел одну встречу на первенство мира и думал, что лопну от злости. Временами я хохотал как сумасшедший. Расспрашивал о вольной американской борьбе, о дзю-до, о джиу-джитсу, но никто даже не знал, что это такое. Понятно, ведь даже футбол скончался, не оставив потомства, ибо был игрой, в которой возможны острые схватки и травмы. Хоккей был, но какой! Играли в таких надутых комбинезонах, что игроки сами походили на огромные шары. Две такие команды, сталкивающиеся одна с другой, как резиновые мячи, выглядели потешно, но ведь это же был фарс, а не матч!"

Прививку от агрессии и секса можно теперь тестировать на LLM и смотреть как она будет жить дальше. Не зря я тут втапливал за то, что LLM - это идеальные лабораторные крысы размером с Юпитер, которых можно безнаказанно кромсать, изучая по дороге устройство кожаных.

Парни из Микрософта Ронен Элдан и Марк Руссинович (тот самый автор SysInternals, Prоccess Explorer и Autoruns)научились стирать определенную информацию из башки LLM - а именно, они стерли все знания о существовании книг о Гарри Поттере (включая персонажей и сюжеты) из открытого исходного кода Meta's Llama2-7B.

За один час.

Сначала на текстах о Гарри Поттере была обучена модель, позволяющая выделять токены, наиболее связанные с ними, сравнивая предсказания с базовой моделью.

Потом они заменяли уникальные выражения из "Гарри Поттера" их общими аналогами и генерировали альтернативные прогнозы и ответы.

На основе этих альтернативных предсказаний производилась тонкая настройка базовой модели, которая эффективно стирала из памяти исходный текст, когда ей предлагался промпт с соответствующим контекстом.

Производительность в стандартных бенчмарках, таких как ARC, BoolQ и Winogrande, "практически не пострадала".

И тут я снова вспомню Лема: "Наибольшим достижением считалось то, что перемены не сказывались отрицательно на развитии интеллекта и формировании личности и — что, быть может, ещё важнее — не чувство страха лежало в основе этих ограничений. Человек не убивал, потому что «это не приходило ему в голову».

Изучаем кожаных дальше. С помощью LLM.

https://venturebeat.com/ai/researchers-turn-to-harry-potter-to-make-ai-forget-about-copyright-material/

Вышел хороший инсайд про новый Квест и лыжную маску от Эппле.
До Эппле, наконец-то дошло, что пол-кило на голове - это перебор даже для твердолобых фанатов, поэтому в статье упоминается разработка более легкого варианта Vision Pro.
Более того, к концу статьи выясняется, что год назад Apple почти прекратили работу над автономным очками AR и это была личная неудача для Тима Кука, который рассматривал очки AR как ключевую цель. Но оставляется место для намеков на то, что Эппле к этому вернется.
Что касается Квеста, то налицо смена риторики с Метаверса на Игры и Повышение производительности. Ну то есть прямая конкуренция с Эппле.
В статье еще много информации про то, как Эппле запуталась в диоптриях и про новый Квест.
Но фишка в том, что Vision Pro будет непонятно когда, а вот Квест 3 уже кое-где появился, нашел прям свежий обзор, дам следующим постом.
https://www.bloomberg.com/news/newsletters/2023-10-08/apple-plans-smaller-lighter-vision-headset-meta-works-on-cheaper-quest-3-ar-lnhh1ulx

https://www.youtube.com/watch?v=yRR_23zQM6Q

Обзор нового Квеста 3 еще до начала продаж! Прям подробный и плюс сравнение с Pico 4, Quest 2 и Quest Pro.
https://www.youtube.com/watch?v=yRR_23zQM6Q