VideoLab & Self-Motivated Learning
1.29K subscribers
381 photos
31 videos
322 links
Канал лабораторий машграфики ВМК МГУ, анализа видео института ИИ МГУ и анализа видео университета Иннополис.

О том, как меняется DL-мир и как заставить себя прокачиваться, чтобы успевать за ним.

А лучше не просто успевать, а быть в числе лучших)
Download Telegram
Господа!

Отличная новость - Карен Симонян, когда-то мой студент ВОШЕЛ В ТОР-100 ЛЮДЕЙ В AI В 2023 ГОДУ по версии Business Insider!!! Единственный из СНГ!

Интересно, что в личке возникла интересная переписка на тему того, что Карену повезло войти в ТОP-100 AI. Конечно, повезло!

Для полноты картины приведу более полный список его везений:

* Сначала ему повезло быть лучшим студентом курса на спецкурсе 😉
* Потом он начал фигачить и повезло сделать качественный Motion Estimation (который у нас во многих проектах использовался, и как референс в задании курса).
* При этом он параллельно и довольно успешно работал над методом Video Super-Resilution (восстанавливающим, что характерно)
* Дальше ему повезло, что статью по МЕ взяли на Графикон, а статью по SR взяли на ICIP (не каждый аспирант туда попадает)
* Потом ему повезло сделать неплохой деинтерлейсер на классификаторах и статью о нем взяли на BMVC (тоже отличный уровень)!
* Дальше ему повезло и его взяли в аспирантуру в лабораторию в Оксфорде
* Там ему повезло сначала сделать интересную работу по салиентности, а потом предложить архитектуру нейросети VGG (свой вклад она внесла).
* На постдоке ему повезло соосновать стартап Vision Factory AI, который в том же году купила DeepMind (чистое везение, очевидно)))
* В DeepMind ему повезло возглавить команду, которая (повезло!) создала AlphaZero (а потом AlphaFold)
* Потом ему повезло стать Chief Scientist в стартапе Inflection AI, которому повезло получить 1.3 миллиарда летом этого года.
* И, наконец, ему повезло, что его выбрали в список AI Top-100)

Очевидно, человек в рубашке родился! 😂🤣😂

Ну а вообще, кто не знает, это самый простой (и действенный) способ уменьшить число хейтеров - это говорить - "Мне просто повезло!". Знаете, как у качка-штангиста спрашивают - "как вы установили мировой рекорд?" А он такой: "Мне просто повезло!" 😉😁😁😁

Везения вам, господа! ))) (Т.е. жду крутых результатов по заданиям)))
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20❤3
​​💯 The AI 100 2023: The top people in artificial intelligence.

❗️Сразу попрошу вас – чтобы было интереснее, сначала прочитайте пост, а потом посмотрите приложенный к посту скриншот, не наоборот, а то спойлеры 😁

Любопытный список, на анализ которого я потратил, возможно, больше времени, чем нужно. Но думаю, вам тоже будет интересно. Business Insider подготовил и выкатил список топ-100 людей в AI версии 2023 года. И без paywall, так что я побежал читать. Мне захотелось посмотреть, кто это – и не просто поглазеть, а проанализировать немного.

Я прошелся по каждому из списка и вот что получилось:

1/ В списке представители следующих групп:
▪️43 из стартапов
▪️25 из корпораций
▪️14 из университетов и исследовательских центров
▪️5 из non-profit организаций
▪️4 VC
▪️9 прочее

2/ География жутко концентрирована (P.S. география – это то, где люди находятся сейчас, а не откуда они, почти всегда данные из Linkedin или Crunchbase):
▪️85 из США
▪️7 из Канады
▪️8 из остальных 8 стран

3/ Среди 43 представителей стартапов наиболее встречающиеся направления следующие:
▪️7 Generative AI
▪️6 Biotech & HealthTech
▪️4 AI Audio and video production
▪️3 Conversational AI
▪️2 ML Tools
▪️2 Big Data
▪️2 Edu Tech
▪️2 Defense Tech

4/ Какие компании представлены чаще всего:
▪️5 Amazon
▪️5 Google (совместно с DeepMind)
▪️2 OpenAI
▪️2 Anthropic
▪️2 Hugging Face

5/ Несколько любопытных фактов по списку:
🔹 В списке есть два представителя компаний, которые производят контент для фильмов и т.п. Это прикольно. Я их объединил в одну группу с классическим стартапами, которые генерят видео или аудио под запрос;
🔹 Всего 1 представитель государственного сектора, зато 2 из инвестбанков и 2 из прессы (Bloomberg и NYT);
🚀 Есть 1 человек из пространства СНГ так сказать. Это Карен Симонян из стартапа Inflection AI. Он живет в Армении, а Infection AI – это “personal AI”, они разрабатывают ассистента, собеседника, партнера и т.п. для каждого. Самое ошеломительное, последний раунд Infection AI поднял на $1.3B в конце июня 2023 года (🤑 WAT!?), а лид инвесторами стали Microsoft и Nvidia. Карен джан и команда, мои поздравления, если вы это читаете!
❓Казалось бы, что еще может быть интереснее для нас с вами? Но есть еще кое-что. Есть один человек в списке, деятельность которого можно описать как “comedian and actor”. Это Сара Сильверман. Так вот, откуда такой человек в списке?
Сара была первым человеком, который подал в суд на разработчиков LLM моделей за то, что они использовали ее работы, защищенные вроде как авторским правом. Потом это переросло в class action, к ней присоединились ее соавторы, создатели The Game of Thrones и другие. Авторы рейтинга считают, что несмотря на то, что суд может длиться годами, для нас с вами действия Сары могут послужить источником того, что мы сможем понять более детально, как работают такие модели (наверное, из материалов суда), а также позволят авторам уникального контента понимать, что им делать в противостоянии с гигантскими моделями генераторов контента и как защитить себя.

Вот такой любопытный список, изучайте: https://www.businessinsider.com/the-ai-100-2023-the-people-who-make-ai-intelligent-2023-10

@proVenture

#research #ai
❤5👍3
Господа!

У нас отличная новость!

Десятый наш бенчмарк из 12 новых бенчмарков, опубликованных за последние 2 года, достиг 1 места в своей категории на сайте PapersWithCode! 🏆🥇🎉🥇🏆

С чем я горячо поздравляю его автора Алексея Брынцева 👏👏👏, всегда очень здорово, когда результат научной работы где-то лучший и дает вклад в развитие open source алгоритмов (в данном случае - в их рейтингование - тоже кусок работы).

Заметим, что большинство наших бенчмарков с закрытым датасетом (т.е. на нем нельзя заточиться), а ровно месяц назад вышла шикарная пародийная статья Pretraining on the Test Set Is All You Need о том, как можно легко получить SOTA, подмешав в тренировочную выборку часть тестовой при обучении LLM (большой языковой модели). Интересно, что статью уже процитировали в статье о бенчмаркинге юридических знаний LLM LawBench: Benchmarking Legal Knowledge of Large Language Models. В нашей области наблюдаем то же самое - результаты на других бенчмарках не воспроизводятся очень часто. Мы сейчас стараемся не раскрывать тестовый датасет, что снижает цитирования и популярность. Но пока держимся! И даже в топе! )

(намекая на прошлый пост) Всем везения с вашими результатами за время обучения! )))
🔥16
Господа!

Отличная новость в трех картинках)))

Прям сейчас в Университете Сириус в Сочи идет 12-дневная учебная смена "Доверенный ИИ", организованная ИСП РАН.

Туда позвали много очень интересных докладчиков с акцентом на вопросы надежности, тестирования, взломов, атак, защит и вот этого всего) (чего стало настолько много, что даже в своей узкой области отследить весьма непросто).
❤3
Мы туда высадили десант из трех наших сотрудников в качестве преподавателей и трех студентов, в качестве слушателей)
🔥9❤3
Так вот!

Сегодня в 14 состоялось награждение по результатам хакатона для студентов в Сириусе.

Первое место завоевала [🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁] команда ВиТя (задача со звездочкой найти их на предыдущем фото - это ВИка и КаТЯ)))):
Первое место - ВиТя: Вика Леоненкова и Катя Шумицкая
Второе место - Машалов Никита
Третье Кутузов Николай

Заметим, что там и аспиранты были, при этом Катя на 1 курсе магистратуры, а Вика - на 3 курсе бакалавриата! О как!

В общем - ВиТя рулит!))) Наши девочки КРУТЫ! Мальчики были на голову выше (по росту), но это им не помогло!))) 🏆🏆🏆🥇🥇🥇💐💐💐👏👏👏

Хакатон, кстати, был по промпт инжинирингу))) (не совсем наша тема, прямо скажем, что не помешало))) 🎉🎉🎉
🔥10❤1👍1
Коллеги!

Статья об основателе нашей лаборатории Юрии Матвеевиче Баяковском таки наконец-то появилась в Большой Российской Энциклопедии.

Интересно, что хотя там типа легко "Стать автором" и все такое - процесс был длительным и занял много усилий у Владимира Александровича Галактионова из ИПМ РАН. С другой стороны это понятный барьер перед наполнением энциклопедии мусорной информацией. 🤷‍♂️

Теперь LLM завтрашнего дня будут давать более глубокие ответы про MSU Graphics&Media Lab 😁😁😁
🔥7👍2
Господа!

В качестве прикольного дополнения к последней лекции, на которой было выдано задание о взломе метрики двумя способами - примеры еще более интересных взломов.

Здесь два типа примеров:

1. Берется запрос на генерацию картинки (тут SD 1.4) проходит обычный процесс итераций диффузии (a la classifier guided diffusion), но добавляются градиенты, вызывающие повышение метрики, где Scale - это коэффициент, на который домножается градиент перед добавлением к шуму. Каждая картинка - разная генерация с разным коэффициентом влияния. Тут прикольно посмотреть, какие картинки "любит" метрика (в данном случае No-Reference MANIQA).

2. Берется исходное изображение (фото стола), оно (а точнее его латентное представление) зашумляется и восстанавливается SD 1.4 (FR Scale - насколько перерисованное изображение близко к исходному). При этом взлом пытается сохранить близость к оригиналу. Тут на картинке прикольно наблюдать, как меняются реальные детали (в данном случае пузырьки с косметикой) и как при этом меняется взлом META-IQA + как сама картинка.

Понятно, что это самое начало процесса получения все более навороченных взломов, когда картинка/видео вроде похожи на реальные и выглядят совершенно естественно, но метрика 🤷‍♂️ накручена)

В этой задаче крайне актуально маскировать накрутку. Очень интересное направление - маскировка накрутки под вотермарк (типа вотермарк канала - но наложенный в таком месте и с такой силой, что метрика становится выше). Или надпись копирайта. Или подпись/субтитр ))) 😲 Веселье только начинается! 😉

В общем - жизнь уже никогда не будет прежней сложность взломов завтра будет оооочень изощренной! И петрить в теме будут сильно не все (и мы надеемся не только китайцы, которые уже чудеса показывают)! 🤷‍♂️😁
🤩1
Коллеги!

Я с хорошей новостью, мотивирующей лучше всех (надеюсь))) сделать выданное в среду задание спецкурса по атакам на метрики. 😉

Команда под кураторством Анастасии Анциферовой (с.н.с. нашей лаборатории в Институте ИИ МГУ и нашей научной группы в ИСП РАН) заняла 🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁 ПЕРВОЕ МЕСТО (🏆🏆🏆🥇🥇🥇👏👏👏) в большом хакатоне проектной смены "Доверенный Искусственный Интеллект" в университете Сириус с темой "Adversarial Purification for IQA Models" (состязательные защиты от атак - следующий уровень по сложности после атак).
Состав команды:
* Александр Гущин 6 курс ВМК МГУ
* Анна Чистякова 5 курс ВМК МГУ
* Владислав Минашкин 4 курс ФПМИ МФТИ

Работа оценивалась по критериям:
* Понятность презентации, постановка задачи, полученный результат (1 место!!!)
* Практическая полезность и применимость результата (1-2 место!!!)
* Общее качество работы (проект поделил 2-3 место, но баллов хватило!)))

В общем жесткой конкурентной борьбе (с преимуществом 0,2 балла по 10 бальной шкале) занято 1 место из 15 команд!!! 👏👏👏

Всего предложено 7 методов защиты против 10 атак, для всех типов атак побит baseline, для атаки AdvCF обучена модель для восстановления исходного изображения, код выложен на github! 🙂

Будем надеяться, что среди вас будут те, кто окажется в состоянии 3-4 курсу успешно атаковать (как наши девушки из новости недельной давности))), а к 5-6 курсу успешно (состязательно во всех смыслах) защищать от атак, причем и то, и другое - лучше всех! 😁😁😁
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤3
Господа!

На днях в Москве шел, VideoTech 2023 - профессиональная конференция по видеостримингу. Вчера общался там с руководителем группы видео-транскодинга Дзена (ВК) - у них очень неплохие результаты, с техническим руководителем Кинопоиска (тоже много транскодинга, раздачи и т.п.) и СТО Окко (транскодинг и т.п.) и еще несколькими целевыми людьми.

Всего почти 6 часов разговоров получилось (доклады слушал мало-мало).

Грамотных людей всем не хватает сильно! "Утешил", что с грамотными людьми скоро все будет еще хуже. Обсуждалась идея устроить курсы повышения квалификации (платные?))). Мысль интересная. Ждем, когда недостаток людей станет настолько жгучим, чтобы они занялись не переманиванием, а инвестициями в обучение (процесс на самом деле уже идет).

На AIJ случайно встретил нашего выпускника 20 года, который сейчас работает в Сбере в ML (причем доволен командой, что бывает там не всегда))) У меня были лекции "Как стать начальником" + прокачка по теме. Он отрапортовал, что уже получил под свое управление 2-х человек. Горячо тему поддержал, дал пару советов))) Работаем над тем, чтобы процент выпускников, которые будут хвастаться подчиненными устойчиво рос! )

Также встретил выпускника AI Masters этого года, ныне он аспиранта Сколтеха, который, как выяснилось, ходил на ВМК на мой курс на 2 курсе, но тогда у него было все слабо и на ИИТ не прошел. Дальше пошел на AIM (в том числе на мой курс с Сергеем Загоруйко там), и продолжает прокачиваться в аспирантуре. Горячо поддерживаю стратегию глубокой прокачки! ) (ибо времена с развитием копайлотов и их вариантов грядут тяжелые)

На VideoTech, к слову, с руководителем команды видео-транскодинга меня познакомил студент, который ходил на мой онлайн курс в Вышке (+читал статьи на хабре + смотрел наши выступления на прошлых VideoTech + читал наши научные статьи - прям человек добрался до всего, включая материалы за пейволами - рад, что люди глубоко копают). Меня человек увидел, познакомился лично. Приятно)

А ты %%USERNAME%% насколько глубоко копаешь? 😁
👍10
Господа! С подачи ИИИ МГУ вышло небольшое интервью про Карена Симоняна )
Выпускник МГУ Карен Симонян вошел в мировой рейтинг Топ-100 людей с наибольшим влиянием в сфере Искусственного Интеллекта по версии издания Business Insider в 2023 году.

О том, как проходило профессиональное становление Карена Симоняна в студенческие годы, рассказывает его научный руководитель, руководитель лаборатории интеллектуального анализа видео Института ИИ МГУ и лаборатории компьютерной графики ВМК МГУ - Ватолин Дмитрий Сергеевич.

Читайте в статье ВКонтакте!
👍3❤1
Господа!

Раз в кои-то веки не наши новости, но на мой взгляд для самых продвинутых крайне интересно. А касается вообще всех. Крупный американский венчурный фонд Coatue опубликовал любопытный доклад "The AI Revolution" на 115 слайдов.

На первом графике - запредельно наглядно показана скорость инвестиций в AI за 3.5 года. Видно, что 10 млрд в OpenAI было больше, чем ВСЕ инвестиции во ВСЕ стартапы за предыдущие 2 года. И скорость инвестиций после выросла ~ в 3 раза. Заметим, что компания нашего Карена Симоняна на втором месте по ожиданиям инвесторов 👍😉

Дальше любопытный график скорости достижения уровня человека разными алгоритмами. На вашем месте я обратил бы внимание на линию "Core Generation". LLM уже многие простые куски кода пишут намного быстрее человека и скорее всего прогресс ускорится. Судя по комментариям на Хабре у части веб-программистов уже пригорает. Странно, почему? 😉 Можно предсказать заметное изменение эффективности работы и перераспределение спроса на рынке труда.

Ну и к вопросу "никогда такого не было и вот опять" - шикарный слайд о повышении производительности труда дизайнеров. Простая реклама могла занять месяцы в 60-х, когда чтобы передвинуть надпись - нужно было заново делать рисунок. В 80-х скорость резко возросла (особенно для надписей). Дальше серьезное ускорение за счет совместной работы над макетами (в США модным стали overnight заказы, которые реально реализовывали в Индии). А сейчас с генеративными моделями можно бросать очень прикольных вариантов и кинуть на них нужный текст буквально за минуты. А ведь творческая специальность! (где-то сейчас заплакал оставшийся без ужина дизайнер)

Но ведь это не может с программистами повториться? Ведь никак не может, правда? 😉

Там есть и другие любопытные слайды!
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
❤3