VideoLab & Self-Motivated Learning
1.29K subscribers
381 photos
31 videos
322 links
Канал лабораторий машграфики ВМК МГУ, анализа видео института ИИ МГУ и анализа видео университета Иннополис.

О том, как меняется DL-мир и как заставить себя прокачиваться, чтобы успевать за ним.

А лучше не просто успевать, а быть в числе лучших)
Download Telegram
Господа!

ВТОРУЮ НЕДЕЛЮ ПОДРЯД ТОЛЬКО ЗАВТРА (26го апреля, среда)! И ТОЛЬКО В ЛАБОРАТОРИИ!

Для проекта Huawei мы СНОВА арендуем большой HDR телевизор! Большая просьба подойти c 11:30 до 18:00 в 702 и посмотреть на нем мультики и покушать мятные пряники и мармеладки) (мультики новые, будут интересны даже тем, кто был в прошлый раз)

Вопросы (по координации) писать теперь по другому адресу https://t.me/ANDRYH4

Ваше беспристрастное мнение о качестве контента внесет ЕЩЕ БОЛЕЕ неоценимый вклад в улучшение HDR 4K видео ближайшего будущего! 😉
🔥14🤔2😢1
Господа!

К вопросу о публикациях бакалавров.

Сегодня у нас приняли 2 статьи наших бакалавров (выделены ниже) на EUSIPCO 2023!

Dear Nikolai Karetin, Ivan Molodetskikh, Dmitriy Vatolin,

Paper ID: 1751
Title: PERCEPTUAL SUPER-RESOLUTION BENCHMARK WITH DEEP FULL-REFERENCE METRIC FOR PAIRWISE QUALITY ASSESSMENT

The review process for the 31st European Signal Processing Conference (EUSIPCO 2023) has now been finalized, and it is our pleasure to inform you that your paper has been accepted for publication. Congratulations!

Dear Egor Chistov, Nikita Alutis, Maxim Velikanov, Dmitriy Vatolin,

Paper ID: 1728
Title: COLOR MISMATCHES IN STEREOSCOPIC VIDEO: REAL-WORLD DATASET AND DEEP CORRECTION METHOD

The review process for the 31st European Signal Processing Conference (EUSIPCO 2023) has now been finalized, and it is our pleasure to inform you that your paper has been accepted for publication. Congratulations!

Но это не все. Недавно статья Екатерины Шумицкой зашла на ICLR Tiny! (на секундочку, это А*)

Публикаций бакалавром первым автором на конференциях такого уровня у нас пока не было! И, очевидно, в этом большая заслуга Насти Анциферовой!

У нас цель - как минимум по Scopus у каждого бакалавра (первым автором). 3 статьи бакалавров за неделю, включая ICLR Tiny - хорошо приближают к этой цели! )

Горячие поздравления авторам! 🥳🎉🥇🏆🎉🥳
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉14🔥7
Господа!

Что-то я наши новости не кидаю, а они таки у нас есть!

Так у нас ОПУБЛИКОВАН НОВЫЙ (15-й по счету!) бенчмарк MSU Metrics Robustness (пока бета)! 👍

В нем 15 метрик качества видео и картинок проанализированы на предмет устойчивости к 9 видам состязательных атак, включая популярные FGSM-based, толкаемые в т.ч. нами Universal Adversarial Perturbation-based и Perceptual-aware атаки.

Внимательный читатель заметит, что в соседнем бенчмарке у нас 49 метрик качества в лидерборде, так что есть куда расширять (другое дело, что это огромная работа).

У этого бенчмарка самая большая команда (большинство других делало 1-2 человека). Потенциально - это безмерно интересный бенчмарк, который может стать одним из наших самых звездных.🆒

Интересно, что тема непреднамеренного взлома (когда метрика в loss непреднамеренно ломается при обучении сети, т.е. при обучении находятся недостатки метрики, а не улучшается модель, чего обучающий может сразу не заметить) постепенно становится все более и более популярной. На КДПВ (который чуть-чуть виден на скриншоте выше) видно, как нейросетевая метрика почти в 4 раза (эпичный пример!) поднимается взломом, портя при этом картинку, а не улучшая ее, как должно быть при улучшении метрики. И у нас есть шанс глубоко прокопать эту интереснейшую тему! 👍

Публикация была привязана к отдаче статьи, углубление работ продолжается (в частности сейчас уперлись в потолок по вычислительным мощностям). Не будем останавливаться на достигнутом! 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤1
Коллеги!

Когда мы набираем студентов меня иногда спрашивают, а я регулярно подчеркиваю, что мы любим девушек.

Раскрываю причины! 😉

Статья FAST ADVERSARIAL CNN-BASED PERTURBATION ATTACK ON NO-REFERENCE IMAGE QUALITY METRICS у нас зашла на ICLR (которая входит в ТОП-3 The Most Important AI Conferences 2023, т.н. AI Core A*), при то, что в авторах, как легко заметить выше - две наших замечательных девушки. Причем Екатерина - первый и основной автор - только что закончила бакалавриат (!!!).

Деликатно замечу, что у нас аспирантов с хотя бы просто с А* по пальцам одной руки на факультете (поправьте меня, если вдруг чего не знаю). Да, тут Tiny, но и основной автор - бакалавр! Ну и недавно Tiny track решили включить в труды (это увеличит их цитирование). Йе-е-е-е-е! 🥳

Пруф: https://dblp.org/rec/conf/iclr/ShumitskayaAV23

В общем девушек мы очень любим, особенно таких классных! 💐🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍5🤔1
Коллеги!

Из наших неопубликованных новостей. На сайте «Истовый инженер» (сайт про инженерные профессии с упором, внезапно, на Software Engineer) вышло мое интервью. 😁

В начале они зачем-то хотели "про то, как все начиналось" поспрашивать. Так что кому интересно про то, как создавалась лаборатория компьютерной графики на ВМК - велкам. А дальше про развитие стереокино (в том числе наш вклад), про сравнение кодеков (самый известный в мире наш проект), про бенчмарки и взлом метрик качества. В общем - про нашу активность.

Го читать! 📖😉
🔥5❤1
Господа!

Я про это пока не писал, а у нас идет весьма интересный проект. Сейчас нейросети конкретно добрались до сжатия картинок и уже два года идет процесс разработки стандарта JPEG AI. Это зимой мы работали над метриками артефактов нейросетевого сжатия (они иногда довольно прикольно галлюцинируют, причем сильно не всегда это можно легко задетектить). В конце весны мы сильно интенсифицировали этот проект (в том числе выделили 400 тысяч рублей на разметку артефактов на Толоке), а в июне я вошел в состав экспертов стандарта, мы получили доступ к исходникам драфта JPEG AI и начали гонять наши метрики на них.

Видео (ниже) для Науки PRO мы записали в начале июня, но при монтаже добавили в него реальные косяки JPEG AI (наслаждайтесь одними из первых в мире 😉😂🤣). Датасет артефактов нейросетевого сжатия планируем опубликовать этой зимой. Ну и понятно, что в картинки пошли, чтобы быть лучше готовыми к аналогичным проблемам в видео (ибо работы в области нейросетевых кодеков уже идут и там мно-о-о-о-ого чудного и фееричного 😨☺️😉)))

Кратко за 22 минуты про эволюцию сжатия картинок в 21 веке:
https://youtu.be/OrikOKilifU
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👏1
Господа!

Сегодня на собрании сотрудников факультета многолетняя работа вашего покорного слуги и вверенного ему коллектива была отмечена деканом! 💃✌️💃

Приятно! 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18🎉4❤1
Господа, сегодня Сергей расскажет про наш новый бенчмарк, ссылку на который я кидал выше, будучи в хорошей компании докладчиков)))
❤1
Сегодня в рамках конференции Practical МL Conf от Яндекса Сергей Лаврушкин, старший научный сотрудник лаборатории «Интеллектуальный анализ видео», сделает доклад на тему «Как выбрать метрику в Loss, или Бенчмарк устойчивости современных метрик качества к состязательным атакам».

🗓07 сентября, начало в 14:45

➡️Ссылка для подключения к трансляции

📌Программа конференции
❤1👍1🔥1
Всем привет!

В эту среду (20.09 14:35) состоится первая лекция спецкурса «‎Методы обработки и сжатия медиаданных»‎

В ходе курса вы узнаете:
* Как сжать любой файл в точку
* Почему шакалит JPEG
* Как взломать метрику оценки качества VMAF
* Что такое AV1 и почему за ним будущее сжатия видео
* Как нейросетевые подходы сжатия врываются в современный мир

Курс рекомендуется студентам второго курса для распределения на кафедру ИИТ

Где: Второй учебный корпус, ауд. 609
Когда: по средам в 14:35
🔥17🥴6❤3
Господа!

Прошлая неделя была на редкость насыщенной. Я чудом выделил время для ВМК, поскольку с воскресенья по субботу принял участие в 4 конференциях (и уже той же ночью был в поезде в Питер). Такого интенсивного пополнения моей коллекции беджей у меня еще не было)))

Общения и интересных впечатлений море. Мир очень бурно меняется. Пару слов расскажу в начале лекции)
❤15🔥8👏2
Господа!

Тем временем мы опубликовали 16-й бенчмарк!

Встречайте MSU Video Saliency Prediction Benchmark! На этот раз - про алгоритмы предсказания карт внимания (куда люди будут смотреть в видео).

На страничке можно покликать, как предсказывают карты внимания модели и куда реально смотрят люди). Надо сказать, что сегодня часто модели работают уже ОЧЕНЬ хорошо! Особенно для профессионального контента.

Для самых продвинутых: Задание на построение карт внимания выдается в нашем курсе в программе AI Masters)
❤1
Коллеги!

Ну и чтобы 2 раза не вставать)

Просто выкатить бенчмарк - ну замерил, ну опубликовал. Сложно сделать его популярным и полезным.

Для измерения этого показателя мы используем paperswithcode - очень неплохой сайт, где собирают статьи с кодом, бенчмарки и датасеты. Задача - выйти на 1 место в своей категории.

На этой неделе 9-й наш бенчмарк вышел в топ (т.е. выше только наш же может быть), причем в очень сложной категории - интерполяции кадров видео, где было аж 20 бенчмарков-конкурентов(!), включая очень раскрученный Vimeo90K!!!

Это классная работа Андрея Акифьева заняла 2 года бакалавриата! 🔥🔥🔥

Пруф:
https://paperswithcode.com/task/video-frame-interpolation

Очень хорошо, когда ваш диплом не только полезен, но и занимает где-то первое место в мире! 👏👏👏
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24❤1
Господа!

Я периодически встречаюсь с мнением студентов о том, что математика программисту не нужна (и в принципе для быдлокодинга это абсолютно верно).

Но часто даже те, кто хочет идти в research уверены, что там немного математики. При этом если дать себе труд немного копнуть тему, хорошо видно, что даже в DL актуальная математика довольно быстро меняется.

На днях Иван Оселедец (директор института ИИ Сбера и Центра ИИ Сколтеха) сделал любопытный доклад на конференции для математиков "Математика и ИИ: проблемы и задачи, которые требуют решения" (всего 33 слайда), где хорошо видно, как смещается фокус нерешенных задач (и актуальная используемая математика).

Понятно, что он топит за свои результаты (например, использование гиперболической геометрии для измерения расстояния между ембеддингами для изображений - очень неплохие места в бенчмарках), но в любом случае доклад весьма показателен!

Ну и понятно, что кто-то скажет - математика меняется, зачем ее изучать, если все равно через несколько лет будет новая! (Хотя изучать стек веб-программирования, сильно меняющийся каждые 5 лет это почему-то не мешает 😉😂). А кто-то затащит и эту тему, и смежные. И вообще прокачается эти темы затаскивать и будет на коне через 5 лет, когда LLM сильно изменят расклад на рынке труда в программировании. 🤷‍♂️💪

Всем правильных выводов! 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍2👏2🤩2
Господа!

Отличная новость - Карен Симонян, когда-то мой студент ВОШЕЛ В ТОР-100 ЛЮДЕЙ В AI В 2023 ГОДУ по версии Business Insider!!! Единственный из СНГ!

Интересно, что в личке возникла интересная переписка на тему того, что Карену повезло войти в ТОP-100 AI. Конечно, повезло!

Для полноты картины приведу более полный список его везений:

* Сначала ему повезло быть лучшим студентом курса на спецкурсе 😉
* Потом он начал фигачить и повезло сделать качественный Motion Estimation (который у нас во многих проектах использовался, и как референс в задании курса).
* При этом он параллельно и довольно успешно работал над методом Video Super-Resilution (восстанавливающим, что характерно)
* Дальше ему повезло, что статью по МЕ взяли на Графикон, а статью по SR взяли на ICIP (не каждый аспирант туда попадает)
* Потом ему повезло сделать неплохой деинтерлейсер на классификаторах и статью о нем взяли на BMVC (тоже отличный уровень)!
* Дальше ему повезло и его взяли в аспирантуру в лабораторию в Оксфорде
* Там ему повезло сначала сделать интересную работу по салиентности, а потом предложить архитектуру нейросети VGG (свой вклад она внесла).
* На постдоке ему повезло соосновать стартап Vision Factory AI, который в том же году купила DeepMind (чистое везение, очевидно)))
* В DeepMind ему повезло возглавить команду, которая (повезло!) создала AlphaZero (а потом AlphaFold)
* Потом ему повезло стать Chief Scientist в стартапе Inflection AI, которому повезло получить 1.3 миллиарда летом этого года.
* И, наконец, ему повезло, что его выбрали в список AI Top-100)

Очевидно, человек в рубашке родился! 😂🤣😂

Ну а вообще, кто не знает, это самый простой (и действенный) способ уменьшить число хейтеров - это говорить - "Мне просто повезло!". Знаете, как у качка-штангиста спрашивают - "как вы установили мировой рекорд?" А он такой: "Мне просто повезло!" 😉😁😁😁

Везения вам, господа! ))) (Т.е. жду крутых результатов по заданиям)))
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20❤3
​​💯 The AI 100 2023: The top people in artificial intelligence.

❗️Сразу попрошу вас – чтобы было интереснее, сначала прочитайте пост, а потом посмотрите приложенный к посту скриншот, не наоборот, а то спойлеры 😁

Любопытный список, на анализ которого я потратил, возможно, больше времени, чем нужно. Но думаю, вам тоже будет интересно. Business Insider подготовил и выкатил список топ-100 людей в AI версии 2023 года. И без paywall, так что я побежал читать. Мне захотелось посмотреть, кто это – и не просто поглазеть, а проанализировать немного.

Я прошелся по каждому из списка и вот что получилось:

1/ В списке представители следующих групп:
▪️43 из стартапов
▪️25 из корпораций
▪️14 из университетов и исследовательских центров
▪️5 из non-profit организаций
▪️4 VC
▪️9 прочее

2/ География жутко концентрирована (P.S. география – это то, где люди находятся сейчас, а не откуда они, почти всегда данные из Linkedin или Crunchbase):
▪️85 из США
▪️7 из Канады
▪️8 из остальных 8 стран

3/ Среди 43 представителей стартапов наиболее встречающиеся направления следующие:
▪️7 Generative AI
▪️6 Biotech & HealthTech
▪️4 AI Audio and video production
▪️3 Conversational AI
▪️2 ML Tools
▪️2 Big Data
▪️2 Edu Tech
▪️2 Defense Tech

4/ Какие компании представлены чаще всего:
▪️5 Amazon
▪️5 Google (совместно с DeepMind)
▪️2 OpenAI
▪️2 Anthropic
▪️2 Hugging Face

5/ Несколько любопытных фактов по списку:
🔹 В списке есть два представителя компаний, которые производят контент для фильмов и т.п. Это прикольно. Я их объединил в одну группу с классическим стартапами, которые генерят видео или аудио под запрос;
🔹 Всего 1 представитель государственного сектора, зато 2 из инвестбанков и 2 из прессы (Bloomberg и NYT);
🚀 Есть 1 человек из пространства СНГ так сказать. Это Карен Симонян из стартапа Inflection AI. Он живет в Армении, а Infection AI – это “personal AI”, они разрабатывают ассистента, собеседника, партнера и т.п. для каждого. Самое ошеломительное, последний раунд Infection AI поднял на $1.3B в конце июня 2023 года (🤑 WAT!?), а лид инвесторами стали Microsoft и Nvidia. Карен джан и команда, мои поздравления, если вы это читаете!
❓Казалось бы, что еще может быть интереснее для нас с вами? Но есть еще кое-что. Есть один человек в списке, деятельность которого можно описать как “comedian and actor”. Это Сара Сильверман. Так вот, откуда такой человек в списке?
Сара была первым человеком, который подал в суд на разработчиков LLM моделей за то, что они использовали ее работы, защищенные вроде как авторским правом. Потом это переросло в class action, к ней присоединились ее соавторы, создатели The Game of Thrones и другие. Авторы рейтинга считают, что несмотря на то, что суд может длиться годами, для нас с вами действия Сары могут послужить источником того, что мы сможем понять более детально, как работают такие модели (наверное, из материалов суда), а также позволят авторам уникального контента понимать, что им делать в противостоянии с гигантскими моделями генераторов контента и как защитить себя.

Вот такой любопытный список, изучайте: https://www.businessinsider.com/the-ai-100-2023-the-people-who-make-ai-intelligent-2023-10

@proVenture

#research #ai
❤5👍3