GoogleAI выкатил обновление своей риалтайм системы распознавания позы человека BlazePose. Быстрее, точнее, сильнее!

Теперь BlazePose превосходит по качеству не только Apple Vision, но и серверный AlphaPose, при этом оставаясь в реальном времени как на телефоне, так и в браузере. Есть легка и тяжелая версия модели — на все случаи жизни.

Потыкать в веб-демо на жабаскрипте можно тут. Как запустить на Python, JS, Android and iOS читать тут.

Пы сы, не многие знают, но проектом BlazePose в GooleAI сейчас занимаются ребята из бывшего белорусского стартапа AIMATTER, который гугл купил в 2017 году.

ой, для особо ленивых даже колаб прикрутили

кто здесь повелитель стайлтрансферов?! наконец мне покорился еще один алгоритм, на удивление очень шустрый в плане скорости обработки изображения. плюс он здорово обрабатывает видео, нет заметных скачков между кадрами, а еще ему не страшно большое разрешение. минус в том что ему нельзя просто скормить картинку - источник стиля, требуется долгое обучение на огромном датасете (105 ГБ, Карл!). зато теперь я могу обрабатывать разные видосы в стиле ван гога, моне, сезанна итд. список доступных предобученных моделей есть на гитхабе

Ай как хорошо сделано!

Как насчет GAUGAN, только с подручными предметами?Загляните в проект 2017 года Learning to see: Gloomy Sunday, там нейронная сеть преобразует полотенце в море, а зарядку от телефона в горы)

Важно отметить, что это не “перенос стиля”, а генерация нового изображения на основе семантической маски, в качестве которой выступает оригинальное изображение и его цвета (цвет каждого пикселя исходного избражения интерпретируется, как один из классов семантической маски). Код по ссылке.

Кстати, на следующей неделе мы объявим воркшоп, на котром научим пользоваться нейронными сетями и другими AR/VR инструментами для создания крутого контента без кода! Кому первому отправить ссылку на регистрацию? :)

в среде vfx есть отдельное большое направление - симуляция жидкости, люди годами стараются приблизиться к супер реалистичному результату. хотя мне как обывателю кажется что уже итак достаточно похоже и можно остановиться. а потом из нового ролика на канале TwoMinutePapers выясняется что до идеала еще далеко. а еще можно не тратить часы на просчет симуляции сначала частиц и потом ремешинга финальной геометрии. 6 человек из института в австрии разработали новый способ и достаточно шустрый в сравнении с известными мне решениями. ну очень хочется попробовать.
п.с. хороший комментарий с ютуба - эта вода больше похожа на воду чем настоящая вода)

когда увидел как хитро симулируется водичка из поста выше, вспомнил про прекрасный эксперимент в гудини. chris harkin сделал симуляцию огня а потом полученными векторами скоростей задвигал кривые. получается что то типа анимации волос в воде

трекинг скелета для бедных)
после нескольких дней сражений я таки смог передать массив точек из пайтона в тач. для такого трекинга не требуется дорогой кинект, в моем случае хватило камеры телефона и алгоритма mediapipe

записал урок для тех кто очень хочет разобраться но не знает с чего начать. за косяки по звуку сорян, обещаю исправиться) ну и конечно лайк репост пиписка!