Господа!

ТОЛЬКО ЗАВТРА! И ТОЛЬКО В ЛАБОРАТОРИИ!

Для проекта Huawei мы арендуем большой HDR монитор! Большая просьба подойти с 10:30 до 15:30 в 702 и посмотреть на нем мультики и покушать мятные пряники) (с чаем!!!))))

Вопросы (по координации) писать https://t.me/nickossaf

Ваше беспристрастное мнение о качестве контента внесет неоценимый вклад в улучшение видео ближайшего будущего! 😉

Господа!

К вопросу о публикациях бакалавров.

Сегодня у нас приняли 2 статьи наших бакалавров (выделены ниже) на EUSIPCO 2023!

Dear Nikolai Karetin, Ivan Molodetskikh, Dmitriy Vatolin,

Paper ID: 1751
Title: PERCEPTUAL SUPER-RESOLUTION BENCHMARK WITH DEEP FULL-REFERENCE METRIC FOR PAIRWISE QUALITY ASSESSMENT

The review process for the 31st European Signal Processing Conference (EUSIPCO 2023) has now been finalized, and it is our pleasure to inform you that your paper has been accepted for publication. Congratulations!

Dear Egor Chistov, Nikita Alutis, Maxim Velikanov, Dmitriy Vatolin,

Paper ID: 1728
Title: COLOR MISMATCHES IN STEREOSCOPIC VIDEO: REAL-WORLD DATASET AND DEEP CORRECTION METHOD

The review process for the 31st European Signal Processing Conference (EUSIPCO 2023) has now been finalized, and it is our pleasure to inform you that your paper has been accepted for publication. Congratulations!

Но это не все. Недавно статья Екатерины Шумицкой зашла на ICLR Tiny! (на секундочку, это А*)

Публикаций бакалавром первым автором на конференциях такого уровня у нас пока не было! И, очевидно, в этом большая заслуга Насти Анциферовой!

У нас цель - как минимум по Scopus у каждого бакалавра (первым автором). 3 статьи бакалавров за неделю, включая ICLR Tiny - хорошо приближают к этой цели! )

Горячие поздравления авторам! 🥳🎉🥇🏆🎉🥳

Господа!

Что-то я наши новости не кидаю, а они таки у нас есть!

Так у нас ОПУБЛИКОВАН НОВЫЙ (15-й по счету!) бенчмарк MSU Metrics Robustness (пока бета)! 👍

В нем 15 метрик качества видео и картинок проанализированы на предмет устойчивости к 9 видам состязательных атак, включая популярные FGSM-based, толкаемые в т.ч. нами Universal Adversarial Perturbation-based и Perceptual-aware атаки.

Внимательный читатель заметит, что в соседнем бенчмарке у нас 49 метрик качества в лидерборде, так что есть куда расширять (другое дело, что это огромная работа).

У этого бенчмарка самая большая команда (большинство других делало 1-2 человека). Потенциально - это безмерно интересный бенчмарк, который может стать одним из наших самых звездных.🆒

Интересно, что тема непреднамеренного взлома (когда метрика в loss непреднамеренно ломается при обучении сети, т.е. при обучении находятся недостатки метрики, а не улучшается модель, чего обучающий может сразу не заметить) постепенно становится все более и более популярной. На КДПВ (который чуть-чуть виден на скриншоте выше) видно, как нейросетевая метрика почти в 4 раза (эпичный пример!) поднимается взломом, портя при этом картинку, а не улучшая ее, как должно быть при улучшении метрики. И у нас есть шанс глубоко прокопать эту интереснейшую тему! 👍

Публикация была привязана к отдаче статьи, углубление работ продолжается (в частности сейчас уперлись в потолок по вычислительным мощностям). Не будем останавливаться на достигнутом! 😁

Господа!

Я про это пока не писал, а у нас идет весьма интересный проект. Сейчас нейросети конкретно добрались до сжатия картинок и уже два года идет процесс разработки стандарта JPEG AI. Это зимой мы работали над метриками артефактов нейросетевого сжатия (они иногда довольно прикольно галлюцинируют, причем сильно не всегда это можно легко задетектить). В конце весны мы сильно интенсифицировали этот проект (в том числе выделили 400 тысяч рублей на разметку артефактов на Толоке), а в июне я вошел в состав экспертов стандарта, мы получили доступ к исходникам драфта JPEG AI и начали гонять наши метрики на них.

Видео (ниже) для Науки PRO мы записали в начале июня, но при монтаже добавили в него реальные косяки JPEG AI (наслаждайтесь одними из первых в мире 😉😂🤣). Датасет артефактов нейросетевого сжатия планируем опубликовать этой зимой. Ну и понятно, что в картинки пошли, чтобы быть лучше готовыми к аналогичным проблемам в видео (ибо работы в области нейросетевых кодеков уже идут и там мно-о-о-о-ого чудного и фееричного 😨☺️😉)))

Кратко за 22 минуты про эволюцию сжатия картинок в 21 веке:
https://youtu.be/OrikOKilifU

Господа!

Сегодня на собрании сотрудников факультета многолетняя работа вашего покорного слуги и вверенного ему коллектива была отмечена деканом! 💃✌️💃

Приятно! 🙂

Коллеги!

Ну и чтобы 2 раза не вставать)

Просто выкатить бенчмарк - ну замерил, ну опубликовал. Сложно сделать его популярным и полезным.

Для измерения этого показателя мы используем paperswithcode - очень неплохой сайт, где собирают статьи с кодом, бенчмарки и датасеты. Задача - выйти на 1 место в своей категории.

На этой неделе 9-й наш бенчмарк вышел в топ (т.е. выше только наш же может быть), причем в очень сложной категории - интерполяции кадров видео, где было аж 20 бенчмарков-конкурентов(!), включая очень раскрученный Vimeo90K!!!

Это классная работа Андрея Акифьева заняла 2 года бакалавриата! 🔥🔥🔥

Пруф:
https://paperswithcode.com/task/video-frame-interpolation

Очень хорошо, когда ваш диплом не только полезен, но и занимает где-то первое место в мире! 👏👏👏

Господа!

Я периодически встречаюсь с мнением студентов о том, что математика программисту не нужна (и в принципе для быдлокодинга это абсолютно верно).

Но часто даже те, кто хочет идти в research уверены, что там немного математики. При этом если дать себе труд немного копнуть тему, хорошо видно, что даже в DL актуальная математика довольно быстро меняется.

На днях Иван Оселедец (директор института ИИ Сбера и Центра ИИ Сколтеха) сделал любопытный доклад на конференции для математиков "Математика и ИИ: проблемы и задачи, которые требуют решения" (всего 33 слайда), где хорошо видно, как смещается фокус нерешенных задач (и актуальная используемая математика).

Понятно, что он топит за свои результаты (например, использование гиперболической геометрии для измерения расстояния между ембеддингами для изображений - очень неплохие места в бенчмарках), но в любом случае доклад весьма показателен!

Ну и понятно, что кто-то скажет - математика меняется, зачем ее изучать, если все равно через несколько лет будет новая! (Хотя изучать стек веб-программирования, сильно меняющийся каждые 5 лет это почему-то не мешает 😉😂). А кто-то затащит и эту тему, и смежные. И вообще прокачается эти темы затаскивать и будет на коне через 5 лет, когда LLM сильно изменят расклад на рынке труда в программировании. 🤷‍♂️💪

Всем правильных выводов! 😉