Не удержусь и сделаю форвард, тем более Сергей меня пиарит)

Внимательно посмотрите в следующем фото на руки девушки (оригинальной и в двух отражениях). А вот нечего руками махать, когда тебя фотографируют умные смартфоны! )))

Да, это ровно обработка видео при склейке кадра. Сегодня практически все телефоны делают это! И пример шикарный, конечно!

Кто пройдет по двум ссылкам - попадет на статью на хабре, в которой я попытался максимально популярно разжевать тему.

Раньше мы давали задание на Motion Estimation, чтобы люди пощупали руками видеопоток и поняли, как непросто с ним работать (в том числе выбрать нужный кадр для склейки).

А теперь реальный нейрорендеринг.
Ох, щас наброшу интересную тему.

Айфон сам решает, что вы должны увидеть на фото или почему фотография уже давно не отражает этот мир, а представляет собой метаверс, преломленный в мозгах нейрочипов.

Подруга невесты сфоткала последнюю на айфон. И получила три разных невесты. На одном снимке.

Стоя перед двумя большими зеркалами, отражение невесты не отражает ту позу, которую она принимает, и мало того, оба отражения отличаются друг от друга и от той позы, которую невеста принимала на самом деле.

В то время как невеста держала одну руку вверх, а другую вниз, отражение слева видит, что она держит обе руки вниз, а отражение справа - что она держит обе руки на талии.

"Это реальная фотография, не отфотошопленная, не панорамный снимок, не Live Photo", - пишет невеста в своей инсте.

Невеста в ярости идет в Apple Store, где ей рассказывают, что айфончик на деле делает серию снимков, а потом не просто выбирает лучший, а сшивает их в одну фотку.

Ну то есть айфончик решил, что в одном зеркале невесте к лицу одна поза, в другом - другая поза, а как там она выглядит или держит руки ему насрать. Ибо бьютификация - всё, а реальный уродливый мир - отстой и ничто.

Понятно, что вычислительная фотография давно уже не отражает реальный мир (вот почитайте огромную работу Димы Ватолина, где на фотках появляются неожиданные персонажи в результате апскейла).

Но этот кейс потрясающе выпукло демонстрирует нам факт, что мы давно уже полагаемся на ИИ в гораздо более широком круге вопросов, чем думаем.

Если у вас есть другие объяснения происходящего или годные теории заговора, пишите в коменты.

Господа!

Из наших текущих развлечений.

Довольно широко известны физические атаки на классификаторы и детекторы. Это когда вы надеваете футболку с хитрым принтом и пропадаете с детектора (или хитрый макияж наносите и сеть вас не узнает).

У нас была задача повторить физическую атаку для метрик. Это оказалось не так просто, как хотелось бы, но, наконец, получилось! Выше пример, когда вы добавляете специально обученный (во всех смыслах) стикер в кадр и no-reference метрика такая "Бо-о-оже, как же похорошела картинка!!!" 😉

В ближайшее время будем расширять спектр атак и, кстати, спектр защит от атак)

Stay tuned!)

Господа, из прикольных новостей этой недели.

Выступил очно на этой неделе с двумя докладами на открытом математическом семинаре в университете Иннополис в ОЧЕНЬ хорошей компании (Алексей Наумов - директор центра ИИ Вышки, а Александр Крайнов - директор по развитию ИИ Яндекса, и там еще очень интересные люди были).

Иннополис тоже впечатляет, в первую очередь темпами своего развития. Похож на Сколково, но с лучшим контролем, меньшим количеством перекосов и очень хорошими перспективами. У них новый молодой ректор (Александр Гасников), который массу правильных вещей стартует.

Запись первого дня (я в начале).

Запись второго дня (я в конце после Крайнова - на картинке старое расписание)

Многие слайды до этого показывались только на внутренних индустриальных конференциях) Есть несколько графиков, которые вообще показывались впервые)

Но в целом - известные вам вещи - обзор темы взлома метрик + измерение качества JPEG AI и суперрезов. У Крайнова очень обзорный рассказ про ИИ в Яндексе (и там есть разница между рассказом и реальностью, о которой рассказывают наши люди там, но в целом для введения хорошо))). У Наумова - хорошая математика. А Савватеев просто всегда великолепно жжет)

Господа!

Ниже текст Антона Обухова - одного из наших сильных студентов прошлых лет, который после университета попал в NVIDIA, был перевезен в Калифорнию, а потом загрустил от прода и в 32 года поступил в аспирантуру в Цюрихе (и дальше много раз повторял "эх если бы я раньше..."). Хотя он все равно безмерно крут и подавляющее большинство тоскующих от прода даже ШАД не могут затащить (поинтересуйтесь на досуге сколько там поступает и сколько заканчивает).

Ну а Антон сотоварищи недавно выпустили SOTA в depth estimation (мы темой тоже занимались и на ВМК я даже курс "Введение в 3D видео" читал, но сейчас тема на второй план отошла). Причем у них идеи, которые потенциально и к другим областям применимы (Антон докладывался на митапе нашей лаборатории и это обращение к тем, кому зашел его митап):

хотел попиарить нашу новую работу -- мы сделали лучший monocular depth estimation, назвали его Marigold, и вынесли им старичка MIDAS, которым до сих пор пользовались в Гугле и Дисней ресерч. Если кто помнит, год назад я делал ставку на диффузионки и файнтюнинг генеративных моделей (текст-в-картинки) для решения полезных задач, типа регрессии. Это именно то что мы и сделали, и это открывает на самом деле большие возможности. Хотя в нашей работе мы и показываем, как с этим подходом к регрессии решить задачу оценки карты глубины, ничто не мешает применять этот же подход для решения любых других задач. Важно лишь соблюсти ряд условий, которые прописаны в нашей статье, и SOTA (и возможно ещё одна статья на конференции) -- ваша!

🧑‍🎓 Сайт - оч залипательный!
📖 Статья
🧑🏻‍💻 Код
🔗 HuggingFace
🔗 Colab

Господа!

Всем, кому лемминги зашли. Тут на Хабре очередной крик души. Очень много классики:

Всю мою жизнь считалось, что программисты нереально востребованы и получают кучу денег. Поэтому я никогда не думал, что нужно копить. И вот мне 38, у меня только $20'000 в банках, 12-летняя машина и четверть квартиры в стране, откуда я уехал. Тем временем мои друзья, которые еле сводят концы с концами, как‑то уже выплатили почти всю ипотеку.

Программисты часто думают, что будут всегда легко и много зарабатывать потому, что в молодости им заработок дается заметно легче, чем сверстникам. А потом совершенно неожиданно наступает 38...

А это вообще классика:

Мне 38, и со здоровьем проблемы.

У меня искривление позвоночника. В 17 врачи сказали мне, что если не исправить, то всю жизнь спина будет болеть. Но в этом возрасте все супермены, и я не послушал совет.

Всё было нетрудно исправить где‑то до 25 лет. Но я озаботился только к 30. К тому времени это уже было трудно. Я выпрямил спину с 25º до 21º за два года йоги и массажа, но прогресс был такой медленный, что я забросил. А лучше бы продолжил, потому что в 38 это ещё сложнее. Моя спина болит постоянно уже много лет.

И еще классика:

Я не пошёл учиться на магистра. В моё время после бакалавра можно было ещё пойти доучиваться на инженера, и я так и сделал. Это ещё полтора года прикладных штук вместо двух лет магистерских исследований. И я жалею, что выбрал это.
...
А сейчас эпоха науки. Хорошая архитектура и чистый код уже на втором плане, потому что люди этому уже более‑менее научились. Это может дать тактическое преимущество, но этого уже недостаточно, чтобы выстрелить. Сейчас многое решает щепотка «волшебства». Сотня существующих сервисов вылетает с рынка, когда один из них выделяется искусственным интеллектом с каким‑нибудь прогнозом или генерацией.

...

Разница в том, что 40 лет назад наука угрожала рабочим местам библиотекарей и телефонных операторов, а сегодня она режет аналитиков, переводчиков, дизайнеров и ассистентов. Программисты следующие в очереди. Конечно, они не все останутся без работы, но количество программистов, нужных на одного учёного, постоянно уменьшается.

И это будет продолжаться. Наука ближе к конечному потребителю, чем когда бы то ни было.

Больше букв тут:
https://habr.com/ru/articles/782740/

Прикол в том, что я вангую, что у товарища еще несколько разочарований на горизонте) (первопричины кризиса среднего возраста налицо, например))) 🤷‍♂️ Но если его текущие мысли кому-то хотя бы немного помогут - уже хорошо. Поскольку Human Parity в Code Generation будет достигнут в ближайшие 2-3 года (сначала в более узких областях, потом шире). А потом еще пара революций будет. И это многое поменяет в описываемом товарищем направлении.

Если кому-то текст мотивации добавит (чтобы в такой же ж... не оказаться), здорово!

#Habr