Коллеги! Из свежего — вчерашняя лекция нашего сотрудника на Яндекс-практикуме (может быть интересно для и тех, кто хочет понять разницу архитектур, и для тех, кого интересуют тонкости темы):
https://www.youtube.com/watch?v=yPCeYXxSLjA
https://www.youtube.com/watch?v=yPCeYXxSLjA
YouTube
Вебинар «Вычисляем на видеокартах. Технология OpenCL»
На вебинаре расскажем, как использовать видеокарту в качестве полноценного вычислительного устройства, мощности которого чаще всего простаивают.
Разберёмся, почему графические процессоры применимы не только к играм, но и к машинному обучению, обработке научных…
Разберёмся, почему графические процессоры применимы не только к играм, но и к машинному обучению, обработке научных…
Коллеги!
Всем, кто делал арифметик когда-то на спецкурсе будет интересно. Я выложил очередную статью на хабр )
В этот раз про прошлый конкурс с призовым фондом 50 тысяч евро, развитие алгоритмов сжатия за последние 20 лет (в том числе о приходе рекуррентных сетей в виде LSTM и триумфальном приходе в область трансформеров (которые довольно активно сейчас в разных областях конкурентов раскатывают, если кто следит).
И да! В новом конкурсе могут и студенты попытать счастья) Это начало иметь смысл. Во-первых призовой фонд 200 тысяч евро, во-вторых, деньги даются до 3 места, причем в 12 номинациях. И, наконец, есть отдельная студенческая номинация)
#Habr
Всем, кто делал арифметик когда-то на спецкурсе будет интересно. Я выложил очередную статью на хабр )
В этот раз про прошлый конкурс с призовым фондом 50 тысяч евро, развитие алгоритмов сжатия за последние 20 лет (в том числе о приходе рекуррентных сетей в виде LSTM и триумфальном приходе в область трансформеров (которые довольно активно сейчас в разных областях конкурентов раскатывают, если кто следит).
И да! В новом конкурсе могут и студенты попытать счастья) Это начало иметь смысл. Во-первых призовой фонд 200 тысяч евро, во-вторых, деньги даются до 3 места, причем в 12 номинациях. И, наконец, есть отдельная студенческая номинация)
#Habr
VideoLab & Self-Motivated Learning
Коллеги! Всем, кто делал арифметик когда-то на спецкурсе будет интересно. Я выложил очередную статью на хабр ) В этот раз про прошлый конкурс с призовым фондом 50 тысяч евро, развитие алгоритмов сжатия за последние 20 лет (в том числе о приходе рекуррентных…
Из забавного - предыдущий пост уже довольно долго держится на 2 месте в топе месяца Хабра:
https://habr.com/ru/top/monthly/
Что весьма неожиданно даже для автора (обычно там в топе более хайповые темы, чем какие-то алгоритмы сжатия))).
https://habr.com/ru/top/monthly/
Что весьма неожиданно даже для автора (обычно там в топе более хайповые темы, чем какие-то алгоритмы сжатия))).
Господа!
У нас забавное достижение! Есть такой сайт paperswithcode.com - культовый для каглеров и топовых людей из R&D отделов компаний. Мы буквально недавно летом зарелизили новый бенчмарк алгоритмов Video Super-Resolution и в августе разместили его на paperswithcode, а июльский алгоритм одного из участников (Real-ESRGAN) там вошел на 2 место в тренде по текущему росту популярности. Причем у нас Real-ESRGAN на 8 месте в бенчмарке (что бенчмарк поднимает - интересно, кто же первые 7 тогда???)))) В общем ссылка на наш бенчмарк попала на первый экран paperswithcode в хорошем для нас свете и уже пару дней держится). Везение, конечно, но учитывая, что там представлены ВСЕ темы Computer Science - неплохо оказаться на пике топовой!)
Интересно, что бенчмарк сделала на 3 курсе за год работы девушка (у которой такими темпами хорошие шансы на зарплату 400+ т.р. в R&D). А ты как провел лето после 3 курса, %USERNAME%? ))))
У нас забавное достижение! Есть такой сайт paperswithcode.com - культовый для каглеров и топовых людей из R&D отделов компаний. Мы буквально недавно летом зарелизили новый бенчмарк алгоритмов Video Super-Resolution и в августе разместили его на paperswithcode, а июльский алгоритм одного из участников (Real-ESRGAN) там вошел на 2 место в тренде по текущему росту популярности. Причем у нас Real-ESRGAN на 8 месте в бенчмарке (что бенчмарк поднимает - интересно, кто же первые 7 тогда???)))) В общем ссылка на наш бенчмарк попала на первый экран paperswithcode в хорошем для нас свете и уже пару дней держится). Везение, конечно, но учитывая, что там представлены ВСЕ темы Computer Science - неплохо оказаться на пике топовой!)
Интересно, что бенчмарк сделала на 3 курсе за год работы девушка (у которой такими темпами хорошие шансы на зарплату 400+ т.р. в R&D). А ты как провел лето после 3 курса, %USERNAME%? ))))
This media is not supported in your browser
VIEW IN TELEGRAM
Всем привет!
В ближайшую среду (22.09) состоится первая лекция спецкурса «Методы обработки и сжатия медиаданных»
В ходе курса вы узнаете:
* Как сжать любой файл в точку
* Почему шакалит JPEG
* Где нужны фракталы на практике
* Что такое h264 и x264 и чем они отличаются
а также:
* Как программисту преуспеть в жизни
и многие другие интересные и актуальные вопросы
Где: Второй учебный корпус, ауд. П-8
Когда: по средам в 14:35
Чат в телеграм: ссылка
В ближайшую среду (22.09) состоится первая лекция спецкурса «Методы обработки и сжатия медиаданных»
В ходе курса вы узнаете:
* Как сжать любой файл в точку
* Почему шакалит JPEG
* Где нужны фракталы на практике
* Что такое h264 и x264 и чем они отличаются
а также:
* Как программисту преуспеть в жизни
и многие другие интересные и актуальные вопросы
Где: Второй учебный корпус, ауд. П-8
Когда: по средам в 14:35
Чат в телеграм: ссылка
Коллеги, у нас тут очередной рекорд был, про который я не написал. Это "Самая ранняя Scopus статья" в нашей истории! Человек получил Acceptance международной конференции в конце августа, фактически будучи на 2 курсе! ) Тут я должен написать: А как ты провел лето после 2 курса, %USERNAME%? )))))))
Но интереснее другое - ко мне в августе обратились (независимо) молодой сотрудник Huawei - "Хочу у вас писать статьи" и молодой сотрудник Яндекс "Хочу у вас ресечить и тренироваться статьи подавать". Ибо внезапно выяснилось, что в отделах, где не тикеты закрывают, при приеме задают вопросы "Есть ли у вас научные статьи? А где первый автор?" или "Делали ли вы доклады? Конференции? Митапы?". В этом плане японская конференция (с картинки выше) выглядит неплохим началом, которым могут похвастаться очень немногие выпускники )))
Но интереснее другое - ко мне в августе обратились (независимо) молодой сотрудник Huawei - "Хочу у вас писать статьи" и молодой сотрудник Яндекс "Хочу у вас ресечить и тренироваться статьи подавать". Ибо внезапно выяснилось, что в отделах, где не тикеты закрывают, при приеме задают вопросы "Есть ли у вас научные статьи? А где первый автор?" или "Делали ли вы доклады? Конференции? Митапы?". В этом плане японская конференция (с картинки выше) выглядит неплохим началом, которым могут похвастаться очень немногие выпускники )))
Забавна также сама тема работы. В 2 словах - 2 года назад мы выкатили метод хакинга (накрутки) топовой на сегодня метрики качества видео (VMAF, разработана Netflix). Метод весьма зашел. В том числе Google уже включила накрутку VMAF нашим методом в свой open source кодек AV1 (топовый на сегодня по сжатию в мире). Летом прошлого года Netflix выкатила патч - VMAF NEG, который закрывал эту уязвимость, а этой весной мы его сломали опять как раз в работе 2-курсника, которому была выданы идеи, до которых не добирались в проектах). И сейчас работаем в этой теме еще более фундаментально над методами дистилляции метрик качества видео, что позволяет как анализировать метрики, так и строить adversarial атаки на потоке. Интересно, что атаки на метрики и их устойчивость - оказалась очень востребованной темой (ибо с одной стороны достаточно теоретическая, а с другой - с четким практическим выхлопом), но про то какие тут будут контракты - позднее, как подпишем)
Анонсирую только из уже подписанного. В начале сентября декан подписал документы о вступлении МГУ (в лице нашей лаборатории) в UltraHD World Association. Смысл простой: в 2020 году Китай достиг доли в 42% производства 4K телевизоров в мире, став крупнейшим в мире производителем и потребителем 4K TV. Ассоциация создана для объединения производителей оборудования, контента и технологий для создания и продвижения 8K и HDR следующего поколения. Т.е. крайне востребованы работы по сжатию, Super Resolution, HDR и метрикам всего этого, что очень сильно пересекается с нашей тематикой. Соответственно в ноябре я буду делать доклад на китайской конференции ассоциации о наших достижениях. Как наш предыдущий первый бенчмарк Super Resolution попал в топ paperswithcode.com, а недавно у нас второй вышел. Впрочем об этом в следующий раз. )
До встречи на лекции в среду в 14:35 в П-8 (будут лемминги, если кто из старшекурсников поможет с рекламой - будет здорово).
Анонсирую только из уже подписанного. В начале сентября декан подписал документы о вступлении МГУ (в лице нашей лаборатории) в UltraHD World Association. Смысл простой: в 2020 году Китай достиг доли в 42% производства 4K телевизоров в мире, став крупнейшим в мире производителем и потребителем 4K TV. Ассоциация создана для объединения производителей оборудования, контента и технологий для создания и продвижения 8K и HDR следующего поколения. Т.е. крайне востребованы работы по сжатию, Super Resolution, HDR и метрикам всего этого, что очень сильно пересекается с нашей тематикой. Соответственно в ноябре я буду делать доклад на китайской конференции ассоциации о наших достижениях. Как наш предыдущий первый бенчмарк Super Resolution попал в топ paperswithcode.com, а недавно у нас второй вышел. Впрочем об этом в следующий раз. )
До встречи на лекции в среду в 14:35 в П-8 (будут лемминги, если кто из старшекурсников поможет с рекламой - будет здорово).
Streaming Learning Center
VMAF is Hackable: What Now? - Streaming Learning Center
Just a quick note to let you know about some recent findings relating to the Netflix VMAF metric.
Еще одним свежим рекордом является наш второй бенчмарк по super-resolution. Его основная идея - измерение, насколько эффективно работают алгоритмы увеличения разрешения, на сжатом видео. Эта тема прогремела года 3 назад, когда появились нейросети очень неплохо обрабатывающие мультфильмы, фанаты отконвертировали любимые анимэ в 4К и прониклись. Однако с обычным видео ситуация сильно сложнее. При том, что доля 4К телевизоров растет, да и 2К+ экраны у новых смартфонов уже давно норма. Т.е. качественно растянуть видео на большой экран уже очень востребованная тема.
Круть этого проекта в том, что человек начал его на 2 курсе в начале мая, а уже в конце августа была опубликована альфа. Всего 4 месяца (включая месяц сессии!), это реально рекорд! Интересно, что 1 место (по Спирману) при сравнении с усредненным мнением людей заняла метрика, разработанная той самой девушкой на 3 курсе, о которой я писал 3 поста назад)))
Я сознательно акцентирую достижения бакалавров, про старших тоже будет! )
До встречи в 14:30! )
Круть этого проекта в том, что человек начал его на 2 курсе в начале мая, а уже в конце августа была опубликована альфа. Всего 4 месяца (включая месяц сессии!), это реально рекорд! Интересно, что 1 место (по Спирману) при сравнении с усредненным мнением людей заняла метрика, разработанная той самой девушкой на 3 курсе, о которой я писал 3 поста назад)))
Я сознательно акцентирую достижения бакалавров, про старших тоже будет! )
До встречи в 14:30! )
Господа! Из свежих новостей. В этот вторник двое наших 4-курсников доложились на 31-й конференции по комп. графике и компьютерному зрению GraphiCon-2021. У обоих статьи на английском, пойдут в Scopus, написаны на 3 курсе. (тут должен быть вопрос, а чем ты %USERNAME% занимался на 3 курсе))))
В чем идея: чтобы попасть в топовое R&D место - нужны статьи и чем круче, тем лучше) А сразу написать статью на CVPR (A* - самый топ) - объективно оч сложно. Любой фитнес-тренер подтвердит - вес нужно наращивать постепенно!)
Мой бывший студент Карен Симонян (изобрел VGG, работает в Google DeepMind) - как раз великолепный пример быстрого наращивания "веса" публикаций.
В этом плане - Scopus - годная первая ступень), если ее затащить на 3 курсе, дальше можно штурмовать В-, А- и А* конференции. Если вы затащите CVPR с практичной темой - уровень компаний, где вам будут рады, будет оч хорош. Примеры наших студентов расскажу! ) (стараюсь пореже, ибо обвиняют, мол агитирую студентов уезжать, что не так)))
В чем идея: чтобы попасть в топовое R&D место - нужны статьи и чем круче, тем лучше) А сразу написать статью на CVPR (A* - самый топ) - объективно оч сложно. Любой фитнес-тренер подтвердит - вес нужно наращивать постепенно!)
Мой бывший студент Карен Симонян (изобрел VGG, работает в Google DeepMind) - как раз великолепный пример быстрого наращивания "веса" публикаций.
В этом плане - Scopus - годная первая ступень), если ее затащить на 3 курсе, дальше можно штурмовать В-, А- и А* конференции. Если вы затащите CVPR с практичной темой - уровень компаний, где вам будут рады, будет оч хорош. Примеры наших студентов расскажу! ) (стараюсь пореже, ибо обвиняют, мол агитирую студентов уезжать, что не так)))
Скрин из свежей почты в тему последней лекции. Интересно, что такие обращения есть из Intel, Huawei и Яндекс, а хорошо понимающие в теме люди от нас уходили на работу еще в Samsung, Amazon, Google и другие топовые компании.
Интересно, что если условное распознавание сегодня читают в каждому уважающем себя условном МИСиС (и завтра эти люди будут стучаться лбами на собеседованиях), то лекции и исследования по сжатию есть еще только в Томске. И в других странах то же самое (программа отражает в первую очередь запросы моды леммингов). И с распространением больших данных и 4D видео все только усугубится))).
Текущий план - сокращать классическое сжатие в пользу тем, актуальных и для сжатия, и для обработки видео (другая крайне востребованная область, лекций по которой в России почти нет).
Интересно, что если условное распознавание сегодня читают в каждому уважающем себя условном МИСиС (и завтра эти люди будут стучаться лбами на собеседованиях), то лекции и исследования по сжатию есть еще только в Томске. И в других странах то же самое (программа отражает в первую очередь запросы моды леммингов). И с распространением больших данных и 4D видео все только усугубится))).
Текущий план - сокращать классическое сжатие в пользу тем, актуальных и для сжатия, и для обработки видео (другая крайне востребованная область, лекций по которой в России почти нет).
Господа! Рад сообщить, что вышел свежий номер Альманаха "Искусственный интеллект" https://aireport.ru/, посвященный железу для ИИ. Сей номер открывает большая вводная статья вашего покорного слуги, где я рассказываю, ключевые моменты от базовых вещей до интересных новых тем, которые появились в ускорении нейросетей на май этого года (когда готовился номер).
Только для вас прямая ссылка на PDF (в номере еще много интересных статей и данных).
Только для вас прямая ссылка на PDF (в номере еще много интересных статей и данных).
Господа! Послезавтра наш выпускник, руководящий небольшой исследовательской группой в Яндексе расскажет, каково это - гонять по городу машинки, чувствовать что от тебя зависит жизнь пассажиров и пешеходов и какие знания для этого нужны (фактически происходит создание новой индустрии автопилотов с нуля, причем на алгоритмах нового типа, которые тоже появляются и совершенствуются прямо на глазах).
Начнется все в среду в 14:35 (но сначала я расскажу про наши исследования, а потом - Михаил). Все будет в Zoom вот ссылка.
Подойдет для любого курса, приходите сами, приглашайте знакомых! )
Начнется все в среду в 14:35 (но сначала я расскажу про наши исследования, а потом - Михаил). Все будет в Zoom вот ссылка.
Подойдет для любого курса, приходите сами, приглашайте знакомых! )
Господа, кому интересно - вот статья, на которую Михаил ссылался в среду: https://arxiv.org/pdf/2004.11647.pdf Совместная публикация Яндекс и (внезапно!) Google по автопилотам.
Господа! Из нашего текущего прикольного. Мы на этой неделе выпустили первую часть нашего ежегодного сравнения кодеков. Этот проект крайне известен за рубежом (у нас сотни тысяч скачиваний отчетов) и Смелянский как-то рассказывал что он там представляется что с ВМК МГУ, а его спрашивают, а, это где кодеки сравнивают? )))
Этот год в сравнении был крайне горячим, поскольку в этом году появилось 6 кодеков нового стандарта VVC от ISO + недавно вышел AV1 (ради создания которого FAANG объединились с конкурентами!) + только-только дозрел первый кодек нового китайского стандарта AVS3. В общем - как пишут Streaming video is a hot commodity now! Про прикольные вещи внутри - возможно как-нибудь расскажу) (там очень много узкопрофессионального, но очень интересного - в полном отчете более 20000 графиков).
Как обычно написан пост в LinkedIn про это! Кто зарегистрирован - лайки приветствуются! )
Этот год в сравнении был крайне горячим, поскольку в этом году появилось 6 кодеков нового стандарта VVC от ISO + недавно вышел AV1 (ради создания которого FAANG объединились с конкурентами!) + только-только дозрел первый кодек нового китайского стандарта AVS3. В общем - как пишут Streaming video is a hot commodity now! Про прикольные вещи внутри - возможно как-нибудь расскажу) (там очень много узкопрофессионального, но очень интересного - в полном отчете более 20000 графиков).
Как обычно написан пост в LinkedIn про это! Кто зарегистрирован - лайки приветствуются! )
Господа!
В наиболее популярном, среди профессионалов передачи видео в интернете журнале Streaming Media вышло интервью со мной, где на наглядных (надеюсь) графиках разбираются вопросы наших свежих исследований:
* Почему взлом метрики VMAF от Netflix - это проблема?
* Как новый стандарт сжатия AV1 убивает PSNR?
* Насколько круты новые нон-референс метрики качества видео?
* Какой прогресс есть в области Super-Resolution и в чем проблемы по измерению этого прогресса?
* И, наконец, как показал себя новый стандарт VVC, принятый в прошлом году?
Если кратко - то новые стандарты - реально круты и сильно экономят битрейт и место на диске, но... ломают старые добрые метрики...
В наиболее популярном, среди профессионалов передачи видео в интернете журнале Streaming Media вышло интервью со мной, где на наглядных (надеюсь) графиках разбираются вопросы наших свежих исследований:
* Почему взлом метрики VMAF от Netflix - это проблема?
* Как новый стандарт сжатия AV1 убивает PSNR?
* Насколько круты новые нон-референс метрики качества видео?
* Какой прогресс есть в области Super-Resolution и в чем проблемы по измерению этого прогресса?
* И, наконец, как показал себя новый стандарт VVC, принятый в прошлом году?
Если кратко - то новые стандарты - реально круты и сильно экономят битрейт и место на диске, но... ломают старые добрые метрики...
Streaming Media Magazine
Moscow State's Dr. Dmitriy Vatolin Talks Codecs and Quality
The head of the Moscow State University Graphics and Media Lab-the people behind VQMT and Subjectify.us-offers his insights into objective and subjective metrics, as well as VMAF hacking and AV1.
Коллеги!
Я под Новый год выпустил текст, посвященный заканчивающемуся году науки в России или как наука сейчас выглядит (с моей точки зрения).
Текст дискуссионный и весьма рекомендуется тем, кто смотрит в сторону R&D отделов компаний )))
https://habr.com/ru/post/598305/
Я под Новый год выпустил текст, посвященный заканчивающемуся году науки в России или как наука сейчас выглядит (с моей точки зрения).
Текст дискуссионный и весьма рекомендуется тем, кто смотрит в сторону R&D отделов компаний )))
https://habr.com/ru/post/598305/
Уже на следующей неделе мы начинаем курс "Интеллектуальные методы обработки видео". Успешное прохождение курса будет являться основным критерием для распределения на кафедру ИИТ в видеогруппу лаборатории Компьютерной графики и мультимедиа.
В основной части курса рассматриваются задачи обработки видео (повышение разрешения, обнаружение смен сцен, удаление нежелательных объектов, замена фона, моделирование внимания зрителя). Для каждой из задач помимо традиционных подходов к решению рассматриваются современные подходы на основе нейронных сетей. Помимо этого в курсе рассматриваются новые форматы видео и изображений: стереоскопический, пленоптический и 360/VR. В частности, затрагиваются вопросы получения, оценки качества и обработки контента этих типов.
Первая лекция будет 16 февраля в 14:35 дистанционно!
Телеграм-чат курса:
https://t.me/joinchat/dFpDOhmtVNY4ODli
В основной части курса рассматриваются задачи обработки видео (повышение разрешения, обнаружение смен сцен, удаление нежелательных объектов, замена фона, моделирование внимания зрителя). Для каждой из задач помимо традиционных подходов к решению рассматриваются современные подходы на основе нейронных сетей. Помимо этого в курсе рассматриваются новые форматы видео и изображений: стереоскопический, пленоптический и 360/VR. В частности, затрагиваются вопросы получения, оценки качества и обработки контента этих типов.
Первая лекция будет 16 февраля в 14:35 дистанционно!
Телеграм-чат курса:
https://t.me/joinchat/dFpDOhmtVNY4ODli
VideoLab & Self-Motivated Learning
Уже на следующей неделе мы начинаем курс "Интеллектуальные методы обработки видео". Успешное прохождение курса будет являться основным критерием для распределения на кафедру ИИТ в видеогруппу лаборатории Компьютерной графики и мультимедиа. В основной части…
Ссылка на лекцию.
Начало в 14:35.
https://us02web.zoom.us/j/82913355970?pwd=VmRLMVFIZjRKTGh0dEpHOUlBaUpHdz09
Начало в 14:35.
https://us02web.zoom.us/j/82913355970?pwd=VmRLMVFIZjRKTGh0dEpHOUlBaUpHdz09
Zoom Video
Join our Cloud HD Video Meeting
Zoom is the leader in modern enterprise video communications, with an easy, reliable cloud platform for video and audio conferencing, chat, and webinars across mobile, desktop, and room systems. Zoom Rooms is the original software-based conference room solution…
Господа! Я давно не кидал наших хороших новостей, а они есть!
Пару месяцев назад мы выиграли грант на создание лаборатории в Институте ИИ МГУ (он пока не гуглится, даже сайт и все остальное скорее всего только к концу года будет).
На прошлой неделе мы были в помещениях, где только что закончен ремонт и сейчас завозится оборудование (это комната для семинаров, а слева свеже-привезенные еще не распакованные сервера, которые скоро уедут в серверную).
Пару месяцев назад мы выиграли грант на создание лаборатории в Институте ИИ МГУ (он пока не гуглится, даже сайт и все остальное скорее всего только к концу года будет).
На прошлой неделе мы были в помещениях, где только что закончен ремонт и сейчас завозится оборудование (это комната для семинаров, а слева свеже-привезенные еще не распакованные сервера, которые скоро уедут в серверную).