Коллеги!

Я периодически топлю за то, что производные ChatGPT существенно поменяют мир в ближайшие 3-5 лет. В последней статье на хабре (которая, кстати, №1 по хабралайкам среди всех моих статей за 7 лет, добралась до 150 тысяч просмотров, 14 места в топе года и до по сути до 2 места по полезноте - в статье 4 место, но за это время она умудрилась обогнать "Краткий справочник по «всем-всем» командам Linux" и "Как я несколько лет боролся с прокрастинацией и победил: полное практическое руководство" 😨😉😎... Как получилось обогнать победу прокрастинации я до сих пор не понимаю, очевидно я недооцениваю актуальность проблемы мозгового ожирения). Но там я про ChatGPT буквально одним предложением.

А тема на глазах развивается! Есть, например, стартап, который пилит поисковую систему нового поколения. И я его как хакнуть VMAF спросил:
https://labs.kagi.com/ai/contextai?question=how+to+hack+VMAF

В ответах чисто в стиле ChatGPT и с использование веба очень наглядно видно, насколько веб улучшает качество ответа на таком запросе:
———————————————————————————
Web + AI

Hacking VMAF is possible by artificially increasing the metric through video preprocessing techniques. This can be done by applying different color corrections to compressed videos, which increase the values of full-reference metric VMAF and its tuning-resistant version, VMAF NEG [1][2][3][4]. A pipeline for tuning parameters of processing algorithms has been proposed that allows to increase VMAF by up to 218.8% [5]. It should be noted that while it is possible to hack VMAF, this should be taken with a grain of salt when comparing pre-processing approaches [6]. Additionally, other methods such as video distortion have also been proposed for increasing VMAF quality values [7].
[1]: Hacking VMAF and VMAF NEG: vulnerability to different ... (https://arxiv.org/abs/2107.04510)
[2]: Potential VMAF Hack · Issue #489 · Netflix/vmaf · GitHub (https://github.com/Netflix/vmaf/issues/489)
[3]: Hacking VMAF and VMAF NEG: vulnerability to different ... (https://arxiv.org/pdf/2107.04510)
[4]: Hacking VMAF with Video Color and Contrast Distortion (https://ceur-ws.org/Vol-2485/paper12.pdf)
[5]: [PDF] Hacking VMAF and VMAF NEG: Vulnerability to Different ... (https://www.semanticscholar.org/paper/71c676b4ec1465ed6a52684c1cf5ffea7a717c45)
[6]: Review: iSize BitSave Video Preprocessing (https://www.streamingmedia.com/Articles/Editorial/Featured-Articles/Review-iSize-BitSave-Video-Preprocessing-139985.aspx?utm_source=related_articles&utm_medium=gutenberg&utm_campaign=editors_selection)
[7]: Video Distortion Method for VMAF Quality Values Increasing | DeepAI (https://deepai.org/publication/video-distortion-method-for-vmaf-quality-values-increasing)

AI

VMAF (Video Multi-Method Assessment Fusion) is a video quality metric developed by Netflix. It combines multiple algorithms to measure the perceptual quality of a video, and can be used to compare different encodings or codecs. Unfortunately, VMAF cannot be hacked as it is an algorithm that measures the quality of videos based on various factors such as resolution, bitrate, frame rate etc.

#Habr

Господа!

Из забавного. В прошлом году нас больше 4 месяцев плотной работы заняла запись онлайн курса по сжатию в Вышке.

Ключевые отличия:
* Собрали темы по сжатию, в т.ч. которые на ВМК я перестал читать (например, сжатие звука)
* Под это дело обновили часть слайдов
* Сделали задания небольшими и добавили тесты

Сейчас глобальное развитие идет в сторону онлайн курсов, но у них помимо пачки плюсов есть пачка минусов + нужно по-другому делать слайды, нужно по-другому давать материал (блоки максимум 15 минут), нужно по-другому проверять задания. Но это в любом случае новый уровень и охват гораздо большей аудитории.

Материала записали довольно много. Вместе с допами получилось больше 20 часов видео в 10 лекциях (т.е. для желающих идти глубже материала больше, чем в среднем семестровом курсе).

Также по настоятельной просьбе продюсера курса я организовал 4 интервью с двумя экспертами по темам лекций. Это когда я прикидываюсь валенком задаю сознательно глупые вопросы о том, как это все применяется сегодня в реально жизни в компаниях. Причем с руководителем технической части Кинопоиска мы пошли еще дальше (в игре в Дудя))) и был даже блиц))))) В общем постарались реализовать то, что заметно сложнее реализовать в рамках обычного курса, а в онлайн - самое оно!

Кому интересно - вот промо курса.

Останавливаться на достигнутом не собираемся - будем двигаться дальше! 😉

О еще одном нашем курсе скоро напишу! 😎

Ну и чтобы 2 раза не вставать на тему LLM)

Выше график роста успешности предложений GitHub Copilot за 3 и 4 кварталы прошлого года (график отсюда). Видно, что в 4 квартале рост ускорился.

Вопрос: что будет, если они добавят +20% за 4 квартала этого года? )))

Понятно, что это непросто, но с другой стороны если кто следит, как GPT штурмует CodeForces и LeetCode, там очень впечатляющий прогресс за последние 1,5 года. А в этом году вложения в тему выросли чуть не на два порядка (только OpenAI получила 10 миллиардов долларов инвестиций, что не может не сказаться на скорости их работы).

Из свежего - Amazon недавно предложила свой Amazon CodeWhisperer совершенно бесплатно:
https://aws.amazon.com/ru/codewhisperer/
Понятно, почему они так делают - им нужны данные для обучения и совершенствования. Но тенденция и конкуренция налицо!

Что это означает для вас... 🤔

Помню 4 года назад я спорил с дизайнером по поводу прогресса нейросетей (тогда только-только нейросети мазки кистей повторяли). Дизайнер мне не верил, что их профессия сильно пострадает. Сегодня это факт.

Два года назад я спорил с копирайтером, что нейросети их потеснят. Он мне говорил "Яндекс Балабол - это просто смешно!". Хорошо смеется тот, кто смеется без последствий... Сегодня их профессия почти накрылась.

Я с огромным удовольствием поспорю (желательно публично, чтобы материал для хабра был))), что в ближайшие 3-4 года структура спроса (сформулируем деликатно) на программистские специальности кардинальным образом изменится! Запомните этот твит! 😉

Это заведомо будет означать необходимость переобучения и дообучения (которые тем сложнее, чем больше возраст). Плюсом для вас будет то, что с дистанции сойдет много "возрастных" программистов, но я бы на вашем месте не радовался этому, а смотрел бы дальше 😉. Sapienti sat!

Господа!

ТОЛЬКО ЗАВТРА! И ТОЛЬКО В ЛАБОРАТОРИИ!

Для проекта Huawei мы арендуем большой HDR монитор! Большая просьба подойти с 10:30 до 15:30 в 702 и посмотреть на нем мультики и покушать мятные пряники) (с чаем!!!))))

Вопросы (по координации) писать https://t.me/nickossaf

Ваше беспристрастное мнение о качестве контента внесет неоценимый вклад в улучшение видео ближайшего будущего! 😉

Господа!

К вопросу о публикациях бакалавров.

Сегодня у нас приняли 2 статьи наших бакалавров (выделены ниже) на EUSIPCO 2023!

Dear Nikolai Karetin, Ivan Molodetskikh, Dmitriy Vatolin,

Paper ID: 1751
Title: PERCEPTUAL SUPER-RESOLUTION BENCHMARK WITH DEEP FULL-REFERENCE METRIC FOR PAIRWISE QUALITY ASSESSMENT

The review process for the 31st European Signal Processing Conference (EUSIPCO 2023) has now been finalized, and it is our pleasure to inform you that your paper has been accepted for publication. Congratulations!

Dear Egor Chistov, Nikita Alutis, Maxim Velikanov, Dmitriy Vatolin,

Paper ID: 1728
Title: COLOR MISMATCHES IN STEREOSCOPIC VIDEO: REAL-WORLD DATASET AND DEEP CORRECTION METHOD

The review process for the 31st European Signal Processing Conference (EUSIPCO 2023) has now been finalized, and it is our pleasure to inform you that your paper has been accepted for publication. Congratulations!

Но это не все. Недавно статья Екатерины Шумицкой зашла на ICLR Tiny! (на секундочку, это А*)

Публикаций бакалавром первым автором на конференциях такого уровня у нас пока не было! И, очевидно, в этом большая заслуга Насти Анциферовой!

У нас цель - как минимум по Scopus у каждого бакалавра (первым автором). 3 статьи бакалавров за неделю, включая ICLR Tiny - хорошо приближают к этой цели! )

Горячие поздравления авторам! 🥳🎉🥇🏆🎉🥳

Господа!

Что-то я наши новости не кидаю, а они таки у нас есть!

Так у нас ОПУБЛИКОВАН НОВЫЙ (15-й по счету!) бенчмарк MSU Metrics Robustness (пока бета)! 👍

В нем 15 метрик качества видео и картинок проанализированы на предмет устойчивости к 9 видам состязательных атак, включая популярные FGSM-based, толкаемые в т.ч. нами Universal Adversarial Perturbation-based и Perceptual-aware атаки.

Внимательный читатель заметит, что в соседнем бенчмарке у нас 49 метрик качества в лидерборде, так что есть куда расширять (другое дело, что это огромная работа).

У этого бенчмарка самая большая команда (большинство других делало 1-2 человека). Потенциально - это безмерно интересный бенчмарк, который может стать одним из наших самых звездных.🆒

Интересно, что тема непреднамеренного взлома (когда метрика в loss непреднамеренно ломается при обучении сети, т.е. при обучении находятся недостатки метрики, а не улучшается модель, чего обучающий может сразу не заметить) постепенно становится все более и более популярной. На КДПВ (который чуть-чуть виден на скриншоте выше) видно, как нейросетевая метрика почти в 4 раза (эпичный пример!) поднимается взломом, портя при этом картинку, а не улучшая ее, как должно быть при улучшении метрики. И у нас есть шанс глубоко прокопать эту интереснейшую тему! 👍

Публикация была привязана к отдаче статьи, углубление работ продолжается (в частности сейчас уперлись в потолок по вычислительным мощностям). Не будем останавливаться на достигнутом! 😁

Господа!

Я про это пока не писал, а у нас идет весьма интересный проект. Сейчас нейросети конкретно добрались до сжатия картинок и уже два года идет процесс разработки стандарта JPEG AI. Это зимой мы работали над метриками артефактов нейросетевого сжатия (они иногда довольно прикольно галлюцинируют, причем сильно не всегда это можно легко задетектить). В конце весны мы сильно интенсифицировали этот проект (в том числе выделили 400 тысяч рублей на разметку артефактов на Толоке), а в июне я вошел в состав экспертов стандарта, мы получили доступ к исходникам драфта JPEG AI и начали гонять наши метрики на них.

Видео (ниже) для Науки PRO мы записали в начале июня, но при монтаже добавили в него реальные косяки JPEG AI (наслаждайтесь одними из первых в мире 😉😂🤣). Датасет артефактов нейросетевого сжатия планируем опубликовать этой зимой. Ну и понятно, что в картинки пошли, чтобы быть лучше готовыми к аналогичным проблемам в видео (ибо работы в области нейросетевых кодеков уже идут и там мно-о-о-о-ого чудного и фееричного 😨☺️😉)))

Кратко за 22 минуты про эволюцию сжатия картинок в 21 веке:
https://youtu.be/OrikOKilifU

Господа!

Сегодня на собрании сотрудников факультета многолетняя работа вашего покорного слуги и вверенного ему коллектива была отмечена деканом! 💃✌️💃

Приятно! 🙂