VideoLab & Self-Motivated Learning
1.29K subscribers
381 photos
31 videos
322 links
Канал лабораторий машграфики ВМК МГУ, анализа видео института ИИ МГУ и анализа видео университета Иннополис.

О том, как меняется DL-мир и как заставить себя прокачиваться, чтобы успевать за ним.

А лучше не просто успевать, а быть в числе лучших)
Download Telegram
Коллеги!

На прошлой неделе Максим Синюков (4 курс) доложил свою статью (постер) на Data Compression Conference в штате Юта в США.

Из путевых заметок Максима:

Наши статьи по взлому метрик заинтересовали Bytedance, Netflix, Amazon, Alibaba (некоторые даже видели статью раньше). Из Amazon люди удивились, что некоторые метрики у них используются как основные (например, VMAF) и могут так сильно быть взломаны. Сказали, что им это очень важно. Пропиарил старую статью по взлому VMAF NEG

Из нетфликса было пару человек. Сильный взлом они не видели, тоже были сильно удивлены. Но все равно Андрей Норкин сказал, что для их внутренних целей компании она подходит, поэтому все хорошо с метрикой.

Какие выводы можно сделать:

1. "Сложно не значит невозможно". Да, поехать в США сейчас эпопея, но это совершенно реально!

2. Первую Scopus статью у Максима приняли в августе перед началом 2 курса (следствие его плотной работы по научной теме весной). Заметим, что не у всех бакалавров получается Scopus. При этом прикольно, что улучшение нейросетевых помогаек программистам идет такими темпами, что не может не сказаться на популярных специальностях уже с конца этого года. И кто-то будет к этому так или иначе готов, а кто-то нет.

3. Компании активно интересовались нашими исследованиями и мы, очевидно, недостаточно усилий прикладываем для рекламы наших достижений. Будем работать.

До сведения Нетфликса, что с метрикой не все хорошо, обязательно доведем, они недооценивают последствий сильного взлома ))) (а с Норкиным мы знакомы лично)
🔥14❤8
У нас много разных интересных новостей, руки не доходят писать.

Пару недель назад сделал доклад в треке AI на TrueTechDay от МТС. На удивление мероприятие было очень масштабным. Они называют 2 тысячи человек на месте (7 треков параллельно!) и еще 16 тысяч уникальных онлайн.

Наиболее интересным (помимо впечатлившего размаха мероприятия и, собственно, докладов) там было очень интересное общение с другими спикерами. На которое едва ли не большая часть времени там ушла))). В том числе были очень интересные дискуссии про будущее LLM.
👍7🤔2👎1
Ну и чтобы 2 раза не вставать на тему LLM)

Выше график роста успешности предложений GitHub Copilot за 3 и 4 кварталы прошлого года (график отсюда). Видно, что в 4 квартале рост ускорился.

Вопрос: что будет, если они добавят +20% за 4 квартала этого года? )))

Понятно, что это непросто, но с другой стороны если кто следит, как GPT штурмует CodeForces и LeetCode, там очень впечатляющий прогресс за последние 1,5 года. А в этом году вложения в тему выросли чуть не на два порядка (только OpenAI получила 10 миллиардов долларов инвестиций, что не может не сказаться на скорости их работы).

Из свежего - Amazon недавно предложила свой Amazon CodeWhisperer совершенно бесплатно:
https://aws.amazon.com/ru/codewhisperer/
Понятно, почему они так делают - им нужны данные для обучения и совершенствования. Но тенденция и конкуренция налицо!

Что это означает для вас... 🤔

Помню 4 года назад я спорил с дизайнером по поводу прогресса нейросетей (тогда только-только нейросети мазки кистей повторяли). Дизайнер мне не верил, что их профессия сильно пострадает. Сегодня это факт.

Два года назад я спорил с копирайтером, что нейросети их потеснят. Он мне говорил "Яндекс Балабол - это просто смешно!". Хорошо смеется тот, кто смеется без последствий... Сегодня их профессия почти накрылась.

Я с огромным удовольствием поспорю (желательно публично, чтобы материал для хабра был))), что в ближайшие 3-4 года структура спроса (сформулируем деликатно) на программистские специальности кардинальным образом изменится! Запомните этот твит! 😉

Это заведомо будет означать необходимость переобучения и дообучения (которые тем сложнее, чем больше возраст). Плюсом для вас будет то, что с дистанции сойдет много "возрастных" программистов, но я бы на вашем месте не радовался этому, а смотрел бы дальше 😉. Sapienti sat!
Please open Telegram to view this post
VIEW IN TELEGRAM
😁3🔥1
Кому интересно в режиме реального времени наблюдать, как китайцы захватывают мир 😉 (в области видеокодеков) - вот предельно свежий анонс (выложен только что) о релизе двух наших сравнений кодеков, сделанный специально к NAB Show. В двух словах - они движутся без лишней PR шумихи, но широким фронтом (несколькими компаниями) и довольно мощно.

https://www.linkedin.com/pulse/msu-video-codecs-comparison-hardware-cloud-released-dmitriy-vatolin/
Господа!

ТОЛЬКО ЗАВТРА! И ТОЛЬКО В ЛАБОРАТОРИИ!

Для проекта Huawei мы арендуем большой HDR монитор! Большая просьба подойти с 10:30 до 15:30 в 702 и посмотреть на нем мультики и покушать мятные пряники) (с чаем!!!))))

Вопросы (по координации) писать https://t.me/nickossaf

Ваше беспристрастное мнение о качестве контента внесет неоценимый вклад в улучшение видео ближайшего будущего! 😉
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥5🤩2👍1
Господа!

ВТОРУЮ НЕДЕЛЮ ПОДРЯД ТОЛЬКО ЗАВТРА (26го апреля, среда)! И ТОЛЬКО В ЛАБОРАТОРИИ!

Для проекта Huawei мы СНОВА арендуем большой HDR телевизор! Большая просьба подойти c 11:30 до 18:00 в 702 и посмотреть на нем мультики и покушать мятные пряники и мармеладки) (мультики новые, будут интересны даже тем, кто был в прошлый раз)

Вопросы (по координации) писать теперь по другому адресу https://t.me/ANDRYH4

Ваше беспристрастное мнение о качестве контента внесет ЕЩЕ БОЛЕЕ неоценимый вклад в улучшение HDR 4K видео ближайшего будущего! 😉
🔥14🤔2😢1
Господа!

К вопросу о публикациях бакалавров.

Сегодня у нас приняли 2 статьи наших бакалавров (выделены ниже) на EUSIPCO 2023!

Dear Nikolai Karetin, Ivan Molodetskikh, Dmitriy Vatolin,

Paper ID: 1751
Title: PERCEPTUAL SUPER-RESOLUTION BENCHMARK WITH DEEP FULL-REFERENCE METRIC FOR PAIRWISE QUALITY ASSESSMENT

The review process for the 31st European Signal Processing Conference (EUSIPCO 2023) has now been finalized, and it is our pleasure to inform you that your paper has been accepted for publication. Congratulations!

Dear Egor Chistov, Nikita Alutis, Maxim Velikanov, Dmitriy Vatolin,

Paper ID: 1728
Title: COLOR MISMATCHES IN STEREOSCOPIC VIDEO: REAL-WORLD DATASET AND DEEP CORRECTION METHOD

The review process for the 31st European Signal Processing Conference (EUSIPCO 2023) has now been finalized, and it is our pleasure to inform you that your paper has been accepted for publication. Congratulations!

Но это не все. Недавно статья Екатерины Шумицкой зашла на ICLR Tiny! (на секундочку, это А*)

Публикаций бакалавром первым автором на конференциях такого уровня у нас пока не было! И, очевидно, в этом большая заслуга Насти Анциферовой!

У нас цель - как минимум по Scopus у каждого бакалавра (первым автором). 3 статьи бакалавров за неделю, включая ICLR Tiny - хорошо приближают к этой цели! )

Горячие поздравления авторам! 🥳🎉🥇🏆🎉🥳
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉14🔥7
Господа!

Что-то я наши новости не кидаю, а они таки у нас есть!

Так у нас ОПУБЛИКОВАН НОВЫЙ (15-й по счету!) бенчмарк MSU Metrics Robustness (пока бета)! 👍

В нем 15 метрик качества видео и картинок проанализированы на предмет устойчивости к 9 видам состязательных атак, включая популярные FGSM-based, толкаемые в т.ч. нами Universal Adversarial Perturbation-based и Perceptual-aware атаки.

Внимательный читатель заметит, что в соседнем бенчмарке у нас 49 метрик качества в лидерборде, так что есть куда расширять (другое дело, что это огромная работа).

У этого бенчмарка самая большая команда (большинство других делало 1-2 человека). Потенциально - это безмерно интересный бенчмарк, который может стать одним из наших самых звездных.🆒

Интересно, что тема непреднамеренного взлома (когда метрика в loss непреднамеренно ломается при обучении сети, т.е. при обучении находятся недостатки метрики, а не улучшается модель, чего обучающий может сразу не заметить) постепенно становится все более и более популярной. На КДПВ (который чуть-чуть виден на скриншоте выше) видно, как нейросетевая метрика почти в 4 раза (эпичный пример!) поднимается взломом, портя при этом картинку, а не улучшая ее, как должно быть при улучшении метрики. И у нас есть шанс глубоко прокопать эту интереснейшую тему! 👍

Публикация была привязана к отдаче статьи, углубление работ продолжается (в частности сейчас уперлись в потолок по вычислительным мощностям). Не будем останавливаться на достигнутом! 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥8❤1
Коллеги!

Когда мы набираем студентов меня иногда спрашивают, а я регулярно подчеркиваю, что мы любим девушек.

Раскрываю причины! 😉

Статья FAST ADVERSARIAL CNN-BASED PERTURBATION ATTACK ON NO-REFERENCE IMAGE QUALITY METRICS у нас зашла на ICLR (которая входит в ТОП-3 The Most Important AI Conferences 2023, т.н. AI Core A*), при то, что в авторах, как легко заметить выше - две наших замечательных девушки. Причем Екатерина - первый и основной автор - только что закончила бакалавриат (!!!).

Деликатно замечу, что у нас аспирантов с хотя бы просто с А* по пальцам одной руки на факультете (поправьте меня, если вдруг чего не знаю). Да, тут Tiny, но и основной автор - бакалавр! Ну и недавно Tiny track решили включить в труды (это увеличит их цитирование). Йе-е-е-е-е! 🥳

Пруф: https://dblp.org/rec/conf/iclr/ShumitskayaAV23

В общем девушек мы очень любим, особенно таких классных! 💐🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤10👍5🤔1
Коллеги!

Из наших неопубликованных новостей. На сайте «Истовый инженер» (сайт про инженерные профессии с упором, внезапно, на Software Engineer) вышло мое интервью. 😁

В начале они зачем-то хотели "про то, как все начиналось" поспрашивать. Так что кому интересно про то, как создавалась лаборатория компьютерной графики на ВМК - велкам. А дальше про развитие стереокино (в том числе наш вклад), про сравнение кодеков (самый известный в мире наш проект), про бенчмарки и взлом метрик качества. В общем - про нашу активность.

Го читать! 📖😉
🔥5❤1
Господа!

Я про это пока не писал, а у нас идет весьма интересный проект. Сейчас нейросети конкретно добрались до сжатия картинок и уже два года идет процесс разработки стандарта JPEG AI. Это зимой мы работали над метриками артефактов нейросетевого сжатия (они иногда довольно прикольно галлюцинируют, причем сильно не всегда это можно легко задетектить). В конце весны мы сильно интенсифицировали этот проект (в том числе выделили 400 тысяч рублей на разметку артефактов на Толоке), а в июне я вошел в состав экспертов стандарта, мы получили доступ к исходникам драфта JPEG AI и начали гонять наши метрики на них.

Видео (ниже) для Науки PRO мы записали в начале июня, но при монтаже добавили в него реальные косяки JPEG AI (наслаждайтесь одними из первых в мире 😉😂🤣). Датасет артефактов нейросетевого сжатия планируем опубликовать этой зимой. Ну и понятно, что в картинки пошли, чтобы быть лучше готовыми к аналогичным проблемам в видео (ибо работы в области нейросетевых кодеков уже идут и там мно-о-о-о-ого чудного и фееричного 😨☺️😉)))

Кратко за 22 минуты про эволюцию сжатия картинок в 21 веке:
https://youtu.be/OrikOKilifU
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥2👏1
Господа!

Сегодня на собрании сотрудников факультета многолетняя работа вашего покорного слуги и вверенного ему коллектива была отмечена деканом! 💃✌️💃

Приятно! 🙂
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥18🎉4❤1
Господа, сегодня Сергей расскажет про наш новый бенчмарк, ссылку на который я кидал выше, будучи в хорошей компании докладчиков)))
❤1
Сегодня в рамках конференции Practical МL Conf от Яндекса Сергей Лаврушкин, старший научный сотрудник лаборатории «Интеллектуальный анализ видео», сделает доклад на тему «Как выбрать метрику в Loss, или Бенчмарк устойчивости современных метрик качества к состязательным атакам».

🗓07 сентября, начало в 14:45

➡️Ссылка для подключения к трансляции

📌Программа конференции
❤1👍1🔥1
Всем привет!

В эту среду (20.09 14:35) состоится первая лекция спецкурса «‎Методы обработки и сжатия медиаданных»‎

В ходе курса вы узнаете:
* Как сжать любой файл в точку
* Почему шакалит JPEG
* Как взломать метрику оценки качества VMAF
* Что такое AV1 и почему за ним будущее сжатия видео
* Как нейросетевые подходы сжатия врываются в современный мир

Курс рекомендуется студентам второго курса для распределения на кафедру ИИТ

Где: Второй учебный корпус, ауд. 609
Когда: по средам в 14:35
🔥17🥴6❤3
Господа!

Прошлая неделя была на редкость насыщенной. Я чудом выделил время для ВМК, поскольку с воскресенья по субботу принял участие в 4 конференциях (и уже той же ночью был в поезде в Питер). Такого интенсивного пополнения моей коллекции беджей у меня еще не было)))

Общения и интересных впечатлений море. Мир очень бурно меняется. Пару слов расскажу в начале лекции)
❤15🔥8👏2