M3 от Microsoft. Лучше поздно, но с ИИ и ARM.

Микрософтик забабахал презентацию концепции ИИ-ноутов под названием Copilot+PC. И нет, это не ноуты от самого микрософта, как пишут в телеге. Это концепция + ПЛЮС СОБСТВЕННЫЙ ПРОЦЕССОР(это главная новость).
Это ноуты, имеющие ARM-процессор, где есть "чип для ИИ", типа NPU (neural processor unit), который достигает 45 TOPS вычислений для ИИ-задач. Это, как пишет микрософт, приводит к большему количеству ИИ-операций НА ВАТТ, чем MacBook Air M3 и Nvidia RTX 4060. Внимание, "на ватт".
Микрософт также интегрирует более 40 моделей AI непосредственно в Windows on Arm, чтобы обеспечить новые возможности в Windows и для разработчиков приложений. Около 10 из них - небольшие языковые модели, которые будут работать в фоновом режиме. Эти модели позволят разработчикам привнести опыт ИИ непосредственно в свои приложения, а измерения времени автономной работы Microsoft включают их непрерывную работу в NPU.

Выпускать такие ARM-машинки Asus, Dell, HP, Lenovo, Samsung и сам Microsoft. Там вроде поначалу будет стоять процессор Qualcomm Snapdragon X Elite.

Два вопроса:

1. Совместимость с приложениями для "обычной интеловой" Винды?
Ответ: "будет эмулировать приложения в два раза быстрее, чем Windows предыдущего поколения на устройствах Arm.". Ни о чем не говорит, время покажет.

2. Разработчики, конечно, охренеют. И пусть Адобченко уже анонсировал поддержку ARM. Но приложений для Винды в разы больше, чем для Мака. Вспомним, как разрабы переползали на Apple Silicon и умножим на N.

В общем выглядит как запоздалый ответ на Эппле Силикон с четырех-летней задержкой. Но с ИИ наперевес. Причем первая попытка с Windows на ARM-архитектуре у Микрософта явно провалилась. Но может щас ИИ поможет.

По ИИ-Windows - следующий пост.

P.S.
В 2018 году Nvidia представила, скажем так, концепцию STUDIO - линейка ноутбуков заточенных под пост-продакшен на базе RTX. Чтобы делать взрослую компьютерную графику: 3Д, композ, монтаж. Они отстроились от игровых ноутов через, во-первых, легкий вес и средние габариты, а, во-вторых, через Studio Driver. Стоили ноуты в полтора раза дороже обычных и выпускали их только определенные "взрослые" вендоры (HP, DELL, ASUS). Было много вопросов и к драйверу и к самой концепции. Китайцы наладили выпуск сравнимых по мощности и габаритам ноутов довольно скоро. У меня пыхтит леново с неурезанной 2080, уделывая многие студио-ноуты.
Так что ждем и китайские версии ИИ-Windows.

Подробнее тут:
https://blogs.microsoft.com/blog/2024/05/20/introducing-copilot-pcs/

Теперь про ИИ на новой Винде с ARM-процессором.

1. Меня больше всего триггернула функция Total Recall (Вспомнить всё one love).
Поглядите тут: https://youtu.be/5JmkWJNng2I?t=26
ИИ запоминает ВСЕ ВАШИ ДЕЙСТВИЯ. С привязкой по времени. Это, конечно, потрясающе для обучения и дообучения. Через некоторое время вы только поглядите на экран, а ИИ поймет, что вы собираетесь сделать и сделает (правда в игры будет играть неинтересно).
Но подумайте, а вы хотите, чтобы все ваши глупые действия протоколировались?

2. Live Captions также позволяет делать переводы на основе AI любого видео в реальном времени. Забавно, что в демо ролике светится перевод с русского на английский.

3. Microsoft также добавляет Auto Super Resolution, которая автоматически масштабирует игры для улучшения частоты кадров и графического разрешения. Тут боян, конечно.

4. Co-Creator. Там, конечно, весь этот жир для генерации контента. Судя по демо, аналог Креа. Надо будет смотреть (в след посте).

Вот тут подробно про софт и железо:
https://www.youtube.com/watch?v=iHQgf3DNAr8&t=419s

Поглядеть на внешний вид новых ИИ-писюков от Микрософт и на то как работает рисовалка Co-Creator можно тут
#ябвзял

Тут по интернетику прокатилась демка от Синтезия. Очень хороший маркетинг - они взяли запись демо gtp-4o и присунули голосовые ответы модели(звук) в свой генератор мимики для аватаров.
Выглядит просто убойно. Синтезия действительно проапгредила свой движок и их аватары теперь артикулируют и шевелят лицом очень хорошо.

Но, коллеги, кто вам сказал, что это реалтайм?

Нейролипсинк - вещь тяжелая, неприятная...

И, похоже, идея брать демо-видео от OpenAI и делать на них свой маркетинг пошла в массы.
Теперь китайцы из DeemosTech, за которыми я внимательно слежу, тоже взяли и скормили голос из демо в свой движок Media2Face. Я опять не уверен, что это реалтайм.
Но сам движок выглядит очень занятно. Он генерит не финальное видео, как у Синтезия или D-ID, а полигональную модель головы. Точнее, он генерит анимацию заранее существующей сетки. Почитайте про него тут, посмотрите видео внутри, очень занятно.

https://sites.google.com/view/media2face

Вчера писал про моделинг на кончиках пальцев. Сегодня лайтинг на ладони. С пульта.

В удивительное время живем. Можно светить фонариком в плоскую картинку на экране, и получать трехмерное освещение этой картики так, как будто у нас есть ее трехмерная модель. Ну или как будто это не картинка, а реальность.
Подробности тут.

Недавно давал карту ИИ-стартапов по миру - где и как инвестируют в ИИ.
Сегодня такая же карта по городам и стартапам в целом. Там скоринг немного более сложный, описан прямо на картинке.
После Сан-Франциско и Нью-Йорка сразу идут Пекин и Шанхай.
Ну и если сложить США и Китай, то остальным станам останется пять мест.
Из Европы только Берлин, который занимает последнее место в рейтинге.

Zero GPU для всех.

Если у вас нет конской видеокарты(и вы не умеете разворачивать репозитарии с гитхаба), то есть хорошая новость.
ХаггингФейс вонзает 10 миллионов в программу Zero GPU.
Если грубо, то они теперь дают поюзать их GPU в гораздо большем объеме, чем раньше.
Для старых нормальных:
они собрали почти 300 всех этих безумных опен-сорсных (и не очень) проектов и сделали каталог, где можно погонять эти проекты в качестве демо на их GPU.
Про многие из них я уже писал (Хуньянь, InstanMesh, StoryDiffusion и др), про остальные можно почитать у Нейронавтика, который делает гигантскую работу.
Теперь можете сами погонять весь этот ИИ на сколько хватит квоты.
Для новых нормальных:
Если вы пилите что-то свое, то можете разместить свои модели и демо на HuggingFace.

Держите весь каталог тут:
https://huggingface.co/spaces/enzostvs/zero-gpu-spaces
И ну тестировать весь этот ад!

Подробнее тут:
https://www.theverge.com/2024/5/16/24156755/hugging-face-celement-delangue-free-shared-gpus-ai

3D-Arena

Помните, я писал, что после LLM-Arena, где разные ллм-хлещутся друг с другом руками кожаных за звание лучшей, появилась Image Arena. Где хлещутся генераторы картинок.
Кожаные генерят две картинки по промпту, тыкают в понравившуюся больше, и только потом видят, чем сгенерили, а моделька поднимается в рейтинге.

Теперь кто-то сварганил такое же для 3Д-генераторов.
Но к сожалению всерьез это воспринимать нельзя. Там есть очень устаревшие модели, нет самых жирных и популярных генераторов, даже опен-сорсных, но можно оценивать модели по разным параметрам.

https://huggingface.co/spaces/ZhangYuhan/3DGen-Arena

На картинке - сосиски на гриле, а не то, что вы подумали.

Нейровьюпорт.

Был на Silicon Graphics такой софт TDI Explore, его ядро в основном вошло в Maya.
И там был IPR - Interactive Photorealistic Renderer (IPR). Когда выделяешь часть картинки, а он тебе подрендеривает её сразу. Это щас есть везде, но в 1993 году это была нереальная уникальная фишка. 30 лет назад.

Я вот сейчас гляжу на то, что творит Мартин, Krea и Substance3D и думаю, что интерактивный нейрорендер - это просто снос башки. Ключевая фишка - интерактивность. Когда не надо нажимать кнопку рендер.
Тут в конце апскейл с помощью Магнифика и псевдовидео в Леонардо.

Но есть плохая новость - все еще надо знать 3Д.

Блокчейн TON ищет талантливых разработчиков!

Стартует масштабный хакатон “The Open League Hackathon” с призовым пулом $2,000,000 от команды блокчейна TON.

В поддержку хакатона все Web3-энтузиасты приглашаются на трёхдневные оффлайн встречи для нетворкинга в 13 городах мира:

📍Прага, Берлин, Киев, Варшава, Тбилиси, Белград, Сеул, Тайбэй (Тайвань), Гуруграм (Индия), Гонг-Конг, Минск, Москва и Санкт-Петербург.

Первые встречи начнутся уже 24 мая. Ищи свой город и регистрируйся здесь 👈 тык

Что вас ждет:

— 3 дня нетворка, лекций, конкурсов и работы над собственными проектами с поддержкой представителей TON Foundation и команд экосистемы TON

— Призовые $5.000 для трех лучших проектов на каждом оффлайн ивенте + много мерча и других бонусов

Не упусти возможность представить свое приложение 900 миллионам активных пользователей Telegram вместе с TON.

Регистрируйся — https://tgtelespace.link/qntzco

Снап Камера вернулась!

У Снапчата была очень прикольная программка для Винды - Snap Camera. Она ставится как виртуальная камера между вашей вебкой и выводом изображения на экран(или в софт). И позволяет накладывать разные забавные маски(линзы) на ваше лицо прямо в реальном времени.
Я часто баловался тем, что на стримах или интервью вдруг менял (хоткеем) свою внешность. Особенно вещая про дипфейки.
К сожалению Snap Camera как приложение умерло, его больше нет на сайте Снапа (но у меня старая версия еще работает).
Но недавно они обновили эту камеру и выпустили расширение для Хрома.
Теперь, если у вас созвоны через браузерного клиента (например, Google Meet), то можете в списке доступных камеры выбирать Snap Camera и ну натягивать маски(линзы) себе на лицо прямо во время созвона.
Подробнее тут: https://help.snapchat.com/hc/en-us/articles/7012304217876-Snap-Camera

А еще у Снапа есть Hosted Web AR Lenses, который тоже работает в браузере, об этом почитайте тут: https://t.me/reptiloidnaya/864

AnimateDiff плюс Инпайнтинг.

И ротоскопинг.

Вот такие эффекты делают взрослые ребята.
И пока чуда нет.
Для руки пришлось делать полный ротоскоп в After Effect.
Segment Anything и прочие демки из интернетика не справились. Только хардкор, только маски ручками.
Потом маска для руки кормилась в "latent noise mask" node в comfyUI для инпайнтинга в vid 2 vid animatediff + IPAdapter workflow.
Транзишены по руке - с помощью depth maps в After Effects.

Результат впечатляет, но есть плохая новость - надо знать After Effects.

P.S. Прикидываем, сколько бы такое делалось без ИИ.

Автодеск купил Wonder Dynamics.

У меня один вопрос: почему только сейчас?
Wonder Dynamics - довольно старый проект, по сравнению с другими ИИ стартапами.

Ну и конечно второй вопрос: что теперь будет с WD?
https://techcrunch.com/2024/05/21/autodesk-acquires-ai-powered-vfx-startup-wonder-dynamics/

А ведь это все пойдет/пошло в датасеты для обучения Соры и других: ⬇️⬇️⬇️⬇️

Почему нет десктопной версии chatGPT для Windows?

Есть версия, что выход версии для Виндовс отложен из-за вчерашнего анонса Copilot Plus AI от Микрософта и что интеграция gpt4-o будет встроена в новую Windows 11 на этих новых машинках, о которых я писал вчера. И там она будет юзать тот самый нейрочип NPU.
А что будет для Windows 10 и "обычных" PC - пока непонятно.

Бесплатный аналог Wonder Dynamics? Часть 2

Основной функционал
1. Автоматический композинг 3D персонажей:
• Интеграция 3D моделей в предзагруженные видеоролики (пока только по запросу от креаторов).
2. Генерация альфа-масок и масок и карт глубины, сегментации:
• Создание альфа-масок для точного выделения объектов.
• Генерация масок глубины для реалистичного совмещения с фоном.
• Получение сегментационных масок
3. Создание cleanplates:
• Автоматическая генерация чистых кадров без 3D персонажей для улучшенного композинга.
4. Автоматическая анимация персонажей:
• Захват движений актеров и генерация анимаций, которые готовы к использованию в таких редакторах, как Maya, Blender, Unreal Engine и Unity.
• Передача движений и мимики на персонажей.
5. Стилизация персонажей (СКОРО):
• Возможность изменения внешнего вида персонажей для создания уникальных образов благодаря диффузионным моделям.
• Использование нейросетевых технологий для трансформации персонажей и слоев видеороликов.

Работает прямо в телеграмме.

Итак, Microsoft Build.
- Team Copilot: офигенная штука, судя по видео, такой типа еще один сотрудник, который может вести заметки на встрече, на вопросы отвечать, задачи сам ставить, генерировать ответы и запрашивать дополнительную информацию. MS прям делает "AI-сотрудников" и я бы даже сказал менеджеров )

- Copilot Studio: Такой Robotic Process Automation на максималках! Платформа для создания кастомных копилотов, которые могут процессы автоматизировать, причем вызывая разные приложения, динамически адаптируясь, обращаясь к человеку, если что-то непонятно или не хватает данных. Ну это прям новый уровень вообще! Настроил авто-обработку документов и сидишь пьешь смузи )

- Phi Silica: Локальная маленькая моделька, заточенная на нейропроцессоры новых ноутов Copilot + PC. И можно по API к ней обращаться. Я думаю, что ноуты эти распространятся лет через 5, но пока просто показываем.

- Phi-3-Vision: Новая визуальная хорошая маленькая моделька от MS (4B параметров). Тоже оптимизированная для локального применения. Ну и еще Small и Medium обновили на 7 и 14B.

- Real-time Intelligence в Fabric: Будет теперь искать аномалии и нотификации присылать в реальном времени, если что необычного с вашими данными происходит

- GitHub Copilot Extensions: Можно интегрировать сторонные тулы и тогда AI сможет данные из них подсасывать

- Azure AI Search: Оптимизировали поиск по большим данным, гибридный поиск (и по векторам, и по тексту), так что теперь все быстрее и лучше, и для LLM.

- Azure AI Studio: создавай GenAI проекты с кучей моделек, мониторингом, безопасностью, оркестрацией агентов, файн-тюнингом и все в удобном интерфейсе. Звучит прям как сильный конкурент Vertex AI наконец-то

- Azure OpenAI Services: добавили GPT-4o (обычно с задержкой в пару месяцев появлялось все), файнтюнинг простой, Assistants API

- Cognition + Microsoft: воу-воу, Devin (тот самый AI-разработчик) будет совместно с MS разрабатываться и доступен в Azure.

Ну это прям дофига всего, И для разработчиков, и для бизнес-пользователей действительно полезно.

Видосы:
https://youtu.be/4k2T5sfGIP4
https://youtu.be/5H6_pCUt-mk
https://youtu.be/JI6IQvSLP9M