Забавна также сама тема работы. В 2 словах - 2 года назад мы выкатили метод хакинга (накрутки) топовой на сегодня метрики качества видео (VMAF, разработана Netflix). Метод весьма зашел. В том числе Google уже включила накрутку VMAF нашим методом в свой open source кодек AV1 (топовый на сегодня по сжатию в мире). Летом прошлого года Netflix выкатила патч - VMAF NEG, который закрывал эту уязвимость, а этой весной мы его сломали опять как раз в работе 2-курсника, которому была выданы идеи, до которых не добирались в проектах). И сейчас работаем в этой теме еще более фундаментально над методами дистилляции метрик качества видео, что позволяет как анализировать метрики, так и строить adversarial атаки на потоке. Интересно, что атаки на метрики и их устойчивость - оказалась очень востребованной темой (ибо с одной стороны достаточно теоретическая, а с другой - с четким практическим выхлопом), но про то какие тут будут контракты - позднее, как подпишем)
Анонсирую только из уже подписанного. В начале сентября декан подписал документы о вступлении МГУ (в лице нашей лаборатории) в UltraHD World Association. Смысл простой: в 2020 году Китай достиг доли в 42% производства 4K телевизоров в мире, став крупнейшим в мире производителем и потребителем 4K TV. Ассоциация создана для объединения производителей оборудования, контента и технологий для создания и продвижения 8K и HDR следующего поколения. Т.е. крайне востребованы работы по сжатию, Super Resolution, HDR и метрикам всего этого, что очень сильно пересекается с нашей тематикой. Соответственно в ноябре я буду делать доклад на китайской конференции ассоциации о наших достижениях. Как наш предыдущий первый бенчмарк Super Resolution попал в топ paperswithcode.com, а недавно у нас второй вышел. Впрочем об этом в следующий раз. )
До встречи на лекции в среду в 14:35 в П-8 (будут лемминги, если кто из старшекурсников поможет с рекламой - будет здорово).
Анонсирую только из уже подписанного. В начале сентября декан подписал документы о вступлении МГУ (в лице нашей лаборатории) в UltraHD World Association. Смысл простой: в 2020 году Китай достиг доли в 42% производства 4K телевизоров в мире, став крупнейшим в мире производителем и потребителем 4K TV. Ассоциация создана для объединения производителей оборудования, контента и технологий для создания и продвижения 8K и HDR следующего поколения. Т.е. крайне востребованы работы по сжатию, Super Resolution, HDR и метрикам всего этого, что очень сильно пересекается с нашей тематикой. Соответственно в ноябре я буду делать доклад на китайской конференции ассоциации о наших достижениях. Как наш предыдущий первый бенчмарк Super Resolution попал в топ paperswithcode.com, а недавно у нас второй вышел. Впрочем об этом в следующий раз. )
До встречи на лекции в среду в 14:35 в П-8 (будут лемминги, если кто из старшекурсников поможет с рекламой - будет здорово).
Streaming Learning Center
VMAF is Hackable: What Now? - Streaming Learning Center
Just a quick note to let you know about some recent findings relating to the Netflix VMAF metric.
Еще одним свежим рекордом является наш второй бенчмарк по super-resolution. Его основная идея - измерение, насколько эффективно работают алгоритмы увеличения разрешения, на сжатом видео. Эта тема прогремела года 3 назад, когда появились нейросети очень неплохо обрабатывающие мультфильмы, фанаты отконвертировали любимые анимэ в 4К и прониклись. Однако с обычным видео ситуация сильно сложнее. При том, что доля 4К телевизоров растет, да и 2К+ экраны у новых смартфонов уже давно норма. Т.е. качественно растянуть видео на большой экран уже очень востребованная тема.
Круть этого проекта в том, что человек начал его на 2 курсе в начале мая, а уже в конце августа была опубликована альфа. Всего 4 месяца (включая месяц сессии!), это реально рекорд! Интересно, что 1 место (по Спирману) при сравнении с усредненным мнением людей заняла метрика, разработанная той самой девушкой на 3 курсе, о которой я писал 3 поста назад)))
Я сознательно акцентирую достижения бакалавров, про старших тоже будет! )
До встречи в 14:30! )
Круть этого проекта в том, что человек начал его на 2 курсе в начале мая, а уже в конце августа была опубликована альфа. Всего 4 месяца (включая месяц сессии!), это реально рекорд! Интересно, что 1 место (по Спирману) при сравнении с усредненным мнением людей заняла метрика, разработанная той самой девушкой на 3 курсе, о которой я писал 3 поста назад)))
Я сознательно акцентирую достижения бакалавров, про старших тоже будет! )
До встречи в 14:30! )
Господа! Из свежих новостей. В этот вторник двое наших 4-курсников доложились на 31-й конференции по комп. графике и компьютерному зрению GraphiCon-2021. У обоих статьи на английском, пойдут в Scopus, написаны на 3 курсе. (тут должен быть вопрос, а чем ты %USERNAME% занимался на 3 курсе))))
В чем идея: чтобы попасть в топовое R&D место - нужны статьи и чем круче, тем лучше) А сразу написать статью на CVPR (A* - самый топ) - объективно оч сложно. Любой фитнес-тренер подтвердит - вес нужно наращивать постепенно!)
Мой бывший студент Карен Симонян (изобрел VGG, работает в Google DeepMind) - как раз великолепный пример быстрого наращивания "веса" публикаций.
В этом плане - Scopus - годная первая ступень), если ее затащить на 3 курсе, дальше можно штурмовать В-, А- и А* конференции. Если вы затащите CVPR с практичной темой - уровень компаний, где вам будут рады, будет оч хорош. Примеры наших студентов расскажу! ) (стараюсь пореже, ибо обвиняют, мол агитирую студентов уезжать, что не так)))
В чем идея: чтобы попасть в топовое R&D место - нужны статьи и чем круче, тем лучше) А сразу написать статью на CVPR (A* - самый топ) - объективно оч сложно. Любой фитнес-тренер подтвердит - вес нужно наращивать постепенно!)
Мой бывший студент Карен Симонян (изобрел VGG, работает в Google DeepMind) - как раз великолепный пример быстрого наращивания "веса" публикаций.
В этом плане - Scopus - годная первая ступень), если ее затащить на 3 курсе, дальше можно штурмовать В-, А- и А* конференции. Если вы затащите CVPR с практичной темой - уровень компаний, где вам будут рады, будет оч хорош. Примеры наших студентов расскажу! ) (стараюсь пореже, ибо обвиняют, мол агитирую студентов уезжать, что не так)))
Скрин из свежей почты в тему последней лекции. Интересно, что такие обращения есть из Intel, Huawei и Яндекс, а хорошо понимающие в теме люди от нас уходили на работу еще в Samsung, Amazon, Google и другие топовые компании.
Интересно, что если условное распознавание сегодня читают в каждому уважающем себя условном МИСиС (и завтра эти люди будут стучаться лбами на собеседованиях), то лекции и исследования по сжатию есть еще только в Томске. И в других странах то же самое (программа отражает в первую очередь запросы моды леммингов). И с распространением больших данных и 4D видео все только усугубится))).
Текущий план - сокращать классическое сжатие в пользу тем, актуальных и для сжатия, и для обработки видео (другая крайне востребованная область, лекций по которой в России почти нет).
Интересно, что если условное распознавание сегодня читают в каждому уважающем себя условном МИСиС (и завтра эти люди будут стучаться лбами на собеседованиях), то лекции и исследования по сжатию есть еще только в Томске. И в других странах то же самое (программа отражает в первую очередь запросы моды леммингов). И с распространением больших данных и 4D видео все только усугубится))).
Текущий план - сокращать классическое сжатие в пользу тем, актуальных и для сжатия, и для обработки видео (другая крайне востребованная область, лекций по которой в России почти нет).
Господа! Рад сообщить, что вышел свежий номер Альманаха "Искусственный интеллект" https://aireport.ru/, посвященный железу для ИИ. Сей номер открывает большая вводная статья вашего покорного слуги, где я рассказываю, ключевые моменты от базовых вещей до интересных новых тем, которые появились в ускорении нейросетей на май этого года (когда готовился номер).
Только для вас прямая ссылка на PDF (в номере еще много интересных статей и данных).
Только для вас прямая ссылка на PDF (в номере еще много интересных статей и данных).
Господа! Послезавтра наш выпускник, руководящий небольшой исследовательской группой в Яндексе расскажет, каково это - гонять по городу машинки, чувствовать что от тебя зависит жизнь пассажиров и пешеходов и какие знания для этого нужны (фактически происходит создание новой индустрии автопилотов с нуля, причем на алгоритмах нового типа, которые тоже появляются и совершенствуются прямо на глазах).
Начнется все в среду в 14:35 (но сначала я расскажу про наши исследования, а потом - Михаил). Все будет в Zoom вот ссылка.
Подойдет для любого курса, приходите сами, приглашайте знакомых! )
Начнется все в среду в 14:35 (но сначала я расскажу про наши исследования, а потом - Михаил). Все будет в Zoom вот ссылка.
Подойдет для любого курса, приходите сами, приглашайте знакомых! )
Господа, кому интересно - вот статья, на которую Михаил ссылался в среду: https://arxiv.org/pdf/2004.11647.pdf Совместная публикация Яндекс и (внезапно!) Google по автопилотам.
Господа! Из нашего текущего прикольного. Мы на этой неделе выпустили первую часть нашего ежегодного сравнения кодеков. Этот проект крайне известен за рубежом (у нас сотни тысяч скачиваний отчетов) и Смелянский как-то рассказывал что он там представляется что с ВМК МГУ, а его спрашивают, а, это где кодеки сравнивают? )))
Этот год в сравнении был крайне горячим, поскольку в этом году появилось 6 кодеков нового стандарта VVC от ISO + недавно вышел AV1 (ради создания которого FAANG объединились с конкурентами!) + только-только дозрел первый кодек нового китайского стандарта AVS3. В общем - как пишут Streaming video is a hot commodity now! Про прикольные вещи внутри - возможно как-нибудь расскажу) (там очень много узкопрофессионального, но очень интересного - в полном отчете более 20000 графиков).
Как обычно написан пост в LinkedIn про это! Кто зарегистрирован - лайки приветствуются! )
Этот год в сравнении был крайне горячим, поскольку в этом году появилось 6 кодеков нового стандарта VVC от ISO + недавно вышел AV1 (ради создания которого FAANG объединились с конкурентами!) + только-только дозрел первый кодек нового китайского стандарта AVS3. В общем - как пишут Streaming video is a hot commodity now! Про прикольные вещи внутри - возможно как-нибудь расскажу) (там очень много узкопрофессионального, но очень интересного - в полном отчете более 20000 графиков).
Как обычно написан пост в LinkedIn про это! Кто зарегистрирован - лайки приветствуются! )
Господа!
В наиболее популярном, среди профессионалов передачи видео в интернете журнале Streaming Media вышло интервью со мной, где на наглядных (надеюсь) графиках разбираются вопросы наших свежих исследований:
* Почему взлом метрики VMAF от Netflix - это проблема?
* Как новый стандарт сжатия AV1 убивает PSNR?
* Насколько круты новые нон-референс метрики качества видео?
* Какой прогресс есть в области Super-Resolution и в чем проблемы по измерению этого прогресса?
* И, наконец, как показал себя новый стандарт VVC, принятый в прошлом году?
Если кратко - то новые стандарты - реально круты и сильно экономят битрейт и место на диске, но... ломают старые добрые метрики...
В наиболее популярном, среди профессионалов передачи видео в интернете журнале Streaming Media вышло интервью со мной, где на наглядных (надеюсь) графиках разбираются вопросы наших свежих исследований:
* Почему взлом метрики VMAF от Netflix - это проблема?
* Как новый стандарт сжатия AV1 убивает PSNR?
* Насколько круты новые нон-референс метрики качества видео?
* Какой прогресс есть в области Super-Resolution и в чем проблемы по измерению этого прогресса?
* И, наконец, как показал себя новый стандарт VVC, принятый в прошлом году?
Если кратко - то новые стандарты - реально круты и сильно экономят битрейт и место на диске, но... ломают старые добрые метрики...
Streaming Media Magazine
Moscow State's Dr. Dmitriy Vatolin Talks Codecs and Quality
The head of the Moscow State University Graphics and Media Lab-the people behind VQMT and Subjectify.us-offers his insights into objective and subjective metrics, as well as VMAF hacking and AV1.
Коллеги!
Я под Новый год выпустил текст, посвященный заканчивающемуся году науки в России или как наука сейчас выглядит (с моей точки зрения).
Текст дискуссионный и весьма рекомендуется тем, кто смотрит в сторону R&D отделов компаний )))
https://habr.com/ru/post/598305/
Я под Новый год выпустил текст, посвященный заканчивающемуся году науки в России или как наука сейчас выглядит (с моей точки зрения).
Текст дискуссионный и весьма рекомендуется тем, кто смотрит в сторону R&D отделов компаний )))
https://habr.com/ru/post/598305/
Уже на следующей неделе мы начинаем курс "Интеллектуальные методы обработки видео". Успешное прохождение курса будет являться основным критерием для распределения на кафедру ИИТ в видеогруппу лаборатории Компьютерной графики и мультимедиа.
В основной части курса рассматриваются задачи обработки видео (повышение разрешения, обнаружение смен сцен, удаление нежелательных объектов, замена фона, моделирование внимания зрителя). Для каждой из задач помимо традиционных подходов к решению рассматриваются современные подходы на основе нейронных сетей. Помимо этого в курсе рассматриваются новые форматы видео и изображений: стереоскопический, пленоптический и 360/VR. В частности, затрагиваются вопросы получения, оценки качества и обработки контента этих типов.
Первая лекция будет 16 февраля в 14:35 дистанционно!
Телеграм-чат курса:
https://t.me/joinchat/dFpDOhmtVNY4ODli
В основной части курса рассматриваются задачи обработки видео (повышение разрешения, обнаружение смен сцен, удаление нежелательных объектов, замена фона, моделирование внимания зрителя). Для каждой из задач помимо традиционных подходов к решению рассматриваются современные подходы на основе нейронных сетей. Помимо этого в курсе рассматриваются новые форматы видео и изображений: стереоскопический, пленоптический и 360/VR. В частности, затрагиваются вопросы получения, оценки качества и обработки контента этих типов.
Первая лекция будет 16 февраля в 14:35 дистанционно!
Телеграм-чат курса:
https://t.me/joinchat/dFpDOhmtVNY4ODli
VideoLab & Self-Motivated Learning
Уже на следующей неделе мы начинаем курс "Интеллектуальные методы обработки видео". Успешное прохождение курса будет являться основным критерием для распределения на кафедру ИИТ в видеогруппу лаборатории Компьютерной графики и мультимедиа. В основной части…
Ссылка на лекцию.
Начало в 14:35.
https://us02web.zoom.us/j/82913355970?pwd=VmRLMVFIZjRKTGh0dEpHOUlBaUpHdz09
Начало в 14:35.
https://us02web.zoom.us/j/82913355970?pwd=VmRLMVFIZjRKTGh0dEpHOUlBaUpHdz09
Zoom Video
Join our Cloud HD Video Meeting
Zoom is the leader in modern enterprise video communications, with an easy, reliable cloud platform for video and audio conferencing, chat, and webinars across mobile, desktop, and room systems. Zoom Rooms is the original software-based conference room solution…
Господа! Я давно не кидал наших хороших новостей, а они есть!
Пару месяцев назад мы выиграли грант на создание лаборатории в Институте ИИ МГУ (он пока не гуглится, даже сайт и все остальное скорее всего только к концу года будет).
На прошлой неделе мы были в помещениях, где только что закончен ремонт и сейчас завозится оборудование (это комната для семинаров, а слева свеже-привезенные еще не распакованные сервера, которые скоро уедут в серверную).
Пару месяцев назад мы выиграли грант на создание лаборатории в Институте ИИ МГУ (он пока не гуглится, даже сайт и все остальное скорее всего только к концу года будет).
На прошлой неделе мы были в помещениях, где только что закончен ремонт и сейчас завозится оборудование (это комната для семинаров, а слева свеже-привезенные еще не распакованные сервера, которые скоро уедут в серверную).
Наибольший ажиотаж (и лайки) в нашем чате вызвало сообщение, что там есть кухня с холодильником, 2 микроволновками и даже посудомоечной машиной Bosсh)))
Это наш аспирант Иван, который вам на 1 лекции этого семестра рассказывал про свои проекты (посудомойка сразу у него за спиной). Прямо скажем - такое в лабораториях МГУ не слишком привычно)))
Это наш аспирант Иван, который вам на 1 лекции этого семестра рассказывал про свои проекты (посудомойка сразу у него за спиной). Прямо скажем - такое в лабораториях МГУ не слишком привычно)))
А это рабочие комнаты с большими потолками и пачками еще не распакованных мониторов.
Также буквально сегодня привезли сервер на 5 млн с 4 очень хорошими карточками NVIDIA условно по миллиону и еще хранилище на 52Тб (еще миллион). Это удваивает наши вычислительные мощности (и почти удваивает мощности по хранению), но что важнее - можно более крупные сеточки обучать.
Учитывая, что сейчас продукцию Intel & NVIDIA купить - отдельный нетривиальный квест - это просто праздник!
Также буквально сегодня привезли сервер на 5 млн с 4 очень хорошими карточками NVIDIA условно по миллиону и еще хранилище на 52Тб (еще миллион). Это удваивает наши вычислительные мощности (и почти удваивает мощности по хранению), но что важнее - можно более крупные сеточки обучать.
Учитывая, что сейчас продукцию Intel & NVIDIA купить - отдельный нетривиальный квест - это просто праздник!
Также появилось дополнительное финансирование. В частности мы планируем в этом году примерно в 20 раз увеличить расходы на Яндекс.Толоку относительно 2021 года (создание датасетов + разметка данных - важнейший компонент успеха - нам жестко не хватало денег на разметку в прошлом году, в этом году планируем эту проблему порешать). Ну и еще много разных плюсов.
Конкретно для студентов это означает:
1. Заметное увеличение финансирования публикаций, включая начальный уровень (Scopus)
2. Увеличение процента старших, которые находятся тут (лучшие условия для прокачки)
3. Внутренние гранты (до 500 тр), в том числе за создание бенчмарков, датасетов и других результатов, идущих во внешний мир
Отдельно и специально планируется финансировать именно успех проектов, т.е. популярность бенчмарков и цитирования статей. Т.е. чтобы у тех, кто классный проект сделал нормально по сумме денег получалось.
Также планируем привлекать к работе людей (в т.ч. бывших выпускников) работающих в компаниях, но желающих прокачать R&D (либо для попадания в research отдел, либо для смены работы на работу с большей долей research), поскольку сегодня появился заметный спрос на готовность участвовать в исследовательских проектах с целью стать соавтором статей (уровнем, чем выше, тем лучше).
Это не все планы) И предыдущие планы со своими стартапами и т.п. оно не отменяет, а дополняет!
Stay tuned! )
Конкретно для студентов это означает:
1. Заметное увеличение финансирования публикаций, включая начальный уровень (Scopus)
2. Увеличение процента старших, которые находятся тут (лучшие условия для прокачки)
3. Внутренние гранты (до 500 тр), в том числе за создание бенчмарков, датасетов и других результатов, идущих во внешний мир
Отдельно и специально планируется финансировать именно успех проектов, т.е. популярность бенчмарков и цитирования статей. Т.е. чтобы у тех, кто классный проект сделал нормально по сумме денег получалось.
Также планируем привлекать к работе людей (в т.ч. бывших выпускников) работающих в компаниях, но желающих прокачать R&D (либо для попадания в research отдел, либо для смены работы на работу с большей долей research), поскольку сегодня появился заметный спрос на готовность участвовать в исследовательских проектах с целью стать соавтором статей (уровнем, чем выше, тем лучше).
Это не все планы) И предыдущие планы со своими стартапами и т.п. оно не отменяет, а дополняет!
Stay tuned! )
Сегодня вышло большое (1,5 часа) интервью со мной в основном про кодеки) В принципе на лекциях многие вещи уже были, но тем не менее держите:
Forwarded from Podlodka Podcast – анонсы и новости подкаста про IT (Anna Banana)
Podlodka #267 – Кодеки
Разработка кодеков – это целая вселенная, о которой многие совсем ничего не знают. Чтобы разобраться, мы позвали в гости Дмитрия Ватолина, который с 2003 года руководит крупнейшим в мире сравнением кодеков. В выпуске мы говорим про то, как устроена архитектура кодеков, какие идеи стоят за их различными компонентами, как оценивается их эффективность, и как выглядит будущее сжатия файлов.
Поддержи лучший подкаст про IT: https://boosty.to/podlodka
Сайт: https://podlodka.io/267
Soundcloud: https://soundcloud.com/podlodka/podlodka-ep-267
iTunes: https://apple.co/2vCBRcs
Я.Музыка: https://bit.ly/32lGgNC
YouTube: https://youtu.be/2WvXVs_UJIM
Разработка кодеков – это целая вселенная, о которой многие совсем ничего не знают. Чтобы разобраться, мы позвали в гости Дмитрия Ватолина, который с 2003 года руководит крупнейшим в мире сравнением кодеков. В выпуске мы говорим про то, как устроена архитектура кодеков, какие идеи стоят за их различными компонентами, как оценивается их эффективность, и как выглядит будущее сжатия файлов.
Поддержи лучший подкаст про IT: https://boosty.to/podlodka
Сайт: https://podlodka.io/267
Soundcloud: https://soundcloud.com/podlodka/podlodka-ep-267
iTunes: https://apple.co/2vCBRcs
Я.Музыка: https://bit.ly/32lGgNC
YouTube: https://youtu.be/2WvXVs_UJIM
Хорошая новость:
Я второй год подряд выиграл конкурс лучших статей Хабра "Технотекст 2021". На этот раз в номинации "Образование в IT" (в прошлом году взял в номинации "Искусственный Интеллект").
Все результаты тут:
https://habr.com/ru/company/habr/blog/670398/
рекомендую, поскольку получилась подборка очень годных статей. Я Хабр читаю весьма регулярно, и то не все из них читал.
Еще из хорошего - первое место в номинации "Информационная безопасность" взял мой бывший студент Алексей Шалпегин, что меня не может не радовать)
#Habr #our_successes
Я второй год подряд выиграл конкурс лучших статей Хабра "Технотекст 2021". На этот раз в номинации "Образование в IT" (в прошлом году взял в номинации "Искусственный Интеллект").
Все результаты тут:
https://habr.com/ru/company/habr/blog/670398/
рекомендую, поскольку получилась подборка очень годных статей. Я Хабр читаю весьма регулярно, и то не все из них читал.
Еще из хорошего - первое место в номинации "Информационная безопасность" взял мой бывший студент Алексей Шалпегин, что меня не может не радовать)
#Habr #our_successes
Хабр
Технотекст-2021: есть победители
Привет, Хабр! 9 месяцев, 600 заявок, 570 принятых заявок, 1,5 месяца работы жюри, 15 профессионалов в жюри в соответствии с номинациями и 0,5 потерянного протокола — так выглядит конкурс технических...