Господа!
Тем временем мы опубликовали 16-й бенчмарк!
Встречайте MSU Video Saliency Prediction Benchmark! На этот раз - про алгоритмы предсказания карт внимания (куда люди будут смотреть в видео).
На страничке можно покликать, как предсказывают карты внимания модели и куда реально смотрят люди). Надо сказать, что сегодня часто модели работают уже ОЧЕНЬ хорошо! Особенно для профессионального контента.
Для самых продвинутых: Задание на построение карт внимания выдается в нашем курсе в программе AI Masters)
Тем временем мы опубликовали 16-й бенчмарк!
Встречайте MSU Video Saliency Prediction Benchmark! На этот раз - про алгоритмы предсказания карт внимания (куда люди будут смотреть в видео).
На страничке можно покликать, как предсказывают карты внимания модели и куда реально смотрят люди). Надо сказать, что сегодня часто модели работают уже ОЧЕНЬ хорошо! Особенно для профессионального контента.
Для самых продвинутых: Задание на построение карт внимания выдается в нашем курсе в программе AI Masters)
❤1
Коллеги!
Ну и чтобы 2 раза не вставать)
Просто выкатить бенчмарк - ну замерил, ну опубликовал. Сложно сделать его популярным и полезным.
Для измерения этого показателя мы используем paperswithcode - очень неплохой сайт, где собирают статьи с кодом, бенчмарки и датасеты. Задача - выйти на 1 место в своей категории.
На этой неделе 9-й наш бенчмарк вышел в топ (т.е. выше только наш же может быть), причем в очень сложной категории - интерполяции кадров видео, где было аж 20 бенчмарков-конкурентов(!), включая очень раскрученный Vimeo90K!!!
Это классная работа Андрея Акифьева заняла 2 года бакалавриата!🔥 🔥 🔥
Пруф:
https://paperswithcode.com/task/video-frame-interpolation
Очень хорошо, когда ваш диплом не только полезен, но и занимает где-то первое место в мире! 👏👏👏
Ну и чтобы 2 раза не вставать)
Просто выкатить бенчмарк - ну замерил, ну опубликовал. Сложно сделать его популярным и полезным.
Для измерения этого показателя мы используем paperswithcode - очень неплохой сайт, где собирают статьи с кодом, бенчмарки и датасеты. Задача - выйти на 1 место в своей категории.
На этой неделе 9-й наш бенчмарк вышел в топ (т.е. выше только наш же может быть), причем в очень сложной категории - интерполяции кадров видео, где было аж 20 бенчмарков-конкурентов(!), включая очень раскрученный Vimeo90K!!!
Это классная работа Андрея Акифьева заняла 2 года бакалавриата!
Пруф:
https://paperswithcode.com/task/video-frame-interpolation
Очень хорошо, когда ваш диплом не только полезен, но и занимает где-то первое место в мире! 👏👏👏
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥24❤1
Господа!
Я периодически встречаюсь с мнением студентов о том, что математика программисту не нужна (и в принципе для быдлокодинга это абсолютно верно).
Но часто даже те, кто хочет идти в research уверены, что там немного математики. При этом если дать себе труд немного копнуть тему, хорошо видно, что даже в DL актуальная математика довольно быстро меняется.
На днях Иван Оселедец (директор института ИИ Сбера и Центра ИИ Сколтеха) сделал любопытный доклад на конференции для математиков "Математика и ИИ: проблемы и задачи, которые требуют решения" (всего 33 слайда), где хорошо видно, как смещается фокус нерешенных задач (и актуальная используемая математика).
Понятно, что он топит за свои результаты (например, использование гиперболической геометрии для измерения расстояния между ембеддингами для изображений - очень неплохие места в бенчмарках), но в любом случае доклад весьма показателен!
Ну и понятно, что кто-то скажет - математика меняется, зачем ее изучать, если все равно через несколько лет будет новая! (Хотя изучать стек веб-программирования, сильно меняющийся каждые 5 лет это почему-то не мешает 😉😂). А кто-то затащит и эту тему, и смежные. И вообще прокачается эти темы затаскивать и будет на коне через 5 лет, когда LLM сильно изменят расклад на рынке труда в программировании. 🤷♂️💪
Всем правильных выводов!😉
Я периодически встречаюсь с мнением студентов о том, что математика программисту не нужна (и в принципе для быдлокодинга это абсолютно верно).
Но часто даже те, кто хочет идти в research уверены, что там немного математики. При этом если дать себе труд немного копнуть тему, хорошо видно, что даже в DL актуальная математика довольно быстро меняется.
На днях Иван Оселедец (директор института ИИ Сбера и Центра ИИ Сколтеха) сделал любопытный доклад на конференции для математиков "Математика и ИИ: проблемы и задачи, которые требуют решения" (всего 33 слайда), где хорошо видно, как смещается фокус нерешенных задач (и актуальная используемая математика).
Понятно, что он топит за свои результаты (например, использование гиперболической геометрии для измерения расстояния между ембеддингами для изображений - очень неплохие места в бенчмарках), но в любом случае доклад весьма показателен!
Ну и понятно, что кто-то скажет - математика меняется, зачем ее изучать, если все равно через несколько лет будет новая! (Хотя изучать стек веб-программирования, сильно меняющийся каждые 5 лет это почему-то не мешает 😉😂). А кто-то затащит и эту тему, и смежные. И вообще прокачается эти темы затаскивать и будет на коне через 5 лет, когда LLM сильно изменят расклад на рынке труда в программировании. 🤷♂️
Всем правильных выводов!
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍2👏2🤩2
Господа!
Отличная новость - Карен Симонян, когда-то мой студент ВОШЕЛ В ТОР-100 ЛЮДЕЙ В AI В 2023 ГОДУ по версии Business Insider!!! Единственный из СНГ!
Интересно, что в личке возникла интересная переписка на тему того, что Карену повезло войти в ТОP-100 AI. Конечно, повезло!
Для полноты картины приведу более полный список его везений:
* Сначала ему повезло быть лучшим студентом курса на спецкурсе 😉
* Потом он начал фигачить и повезло сделать качественный Motion Estimation (который у нас во многих проектах использовался, и как референс в задании курса).
* При этом он параллельно и довольно успешно работал над методом Video Super-Resilution (восстанавливающим, что характерно)
* Дальше ему повезло, что статью по МЕ взяли на Графикон, а статью по SR взяли на ICIP (не каждый аспирант туда попадает)
* Потом ему повезло сделать неплохой деинтерлейсер на классификаторах и статью о нем взяли на BMVC (тоже отличный уровень)!
* Дальше ему повезло и его взяли в аспирантуру в лабораторию в Оксфорде
* Там ему повезло сначала сделать интересную работу по салиентности, а потом предложить архитектуру нейросети VGG (свой вклад она внесла).
* На постдоке ему повезло соосновать стартап Vision Factory AI, который в том же году купила DeepMind (чистое везение, очевидно)))
* В DeepMind ему повезло возглавить команду, которая (повезло!) создала AlphaZero (а потом AlphaFold)
* Потом ему повезло стать Chief Scientist в стартапе Inflection AI, которому повезло получить 1.3 миллиарда летом этого года.
* И, наконец, ему повезло, что его выбрали в список AI Top-100)
Очевидно, человек в рубашке родился! 😂🤣😂
Ну а вообще, кто не знает, это самый простой (и действенный) способ уменьшить число хейтеров - это говорить - "Мне просто повезло!". Знаете, как у качка-штангиста спрашивают - "как вы установили мировой рекорд?" А он такой: "Мне просто повезло!"😉 😁😁😁
Везения вам, господа! ))) (Т.е. жду крутых результатов по заданиям)))
Отличная новость - Карен Симонян, когда-то мой студент ВОШЕЛ В ТОР-100 ЛЮДЕЙ В AI В 2023 ГОДУ по версии Business Insider!!! Единственный из СНГ!
Интересно, что в личке возникла интересная переписка на тему того, что Карену повезло войти в ТОP-100 AI. Конечно, повезло!
Для полноты картины приведу более полный список его везений:
* Сначала ему повезло быть лучшим студентом курса на спецкурсе 😉
* Потом он начал фигачить и повезло сделать качественный Motion Estimation (который у нас во многих проектах использовался, и как референс в задании курса).
* При этом он параллельно и довольно успешно работал над методом Video Super-Resilution (восстанавливающим, что характерно)
* Дальше ему повезло, что статью по МЕ взяли на Графикон, а статью по SR взяли на ICIP (не каждый аспирант туда попадает)
* Потом ему повезло сделать неплохой деинтерлейсер на классификаторах и статью о нем взяли на BMVC (тоже отличный уровень)!
* Дальше ему повезло и его взяли в аспирантуру в лабораторию в Оксфорде
* Там ему повезло сначала сделать интересную работу по салиентности, а потом предложить архитектуру нейросети VGG (свой вклад она внесла).
* На постдоке ему повезло соосновать стартап Vision Factory AI, который в том же году купила DeepMind (чистое везение, очевидно)))
* В DeepMind ему повезло возглавить команду, которая (повезло!) создала AlphaZero (а потом AlphaFold)
* Потом ему повезло стать Chief Scientist в стартапе Inflection AI, которому повезло получить 1.3 миллиарда летом этого года.
* И, наконец, ему повезло, что его выбрали в список AI Top-100)
Очевидно, человек в рубашке родился! 😂🤣😂
Ну а вообще, кто не знает, это самый простой (и действенный) способ уменьшить число хейтеров - это говорить - "Мне просто повезло!". Знаете, как у качка-штангиста спрашивают - "как вы установили мировой рекорд?" А он такой: "Мне просто повезло!"
Везения вам, господа! ))) (Т.е. жду крутых результатов по заданиям)))
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥20❤3
Forwarded from proVenture (проВенчур)
💯 The AI 100 2023: The top people in artificial intelligence.
❗️Сразу попрошу вас – чтобы было интереснее, сначала прочитайте пост, а потом посмотрите приложенный к посту скриншот, не наоборот, а то спойлеры 😁
Любопытный список, на анализ которого я потратил, возможно, больше времени, чем нужно. Но думаю, вам тоже будет интересно. Business Insider подготовил и выкатил список топ-100 людей в AI версии 2023 года. И без paywall, так что я побежал читать. Мне захотелось посмотреть, кто это – и не просто поглазеть, а проанализировать немного.
Я прошелся по каждому из списка и вот что получилось:
1/ В списке представители следующих групп:
▪️43 из стартапов
▪️25 из корпораций
▪️14 из университетов и исследовательских центров
▪️5 из non-profit организаций
▪️4 VC
▪️9 прочее
2/ География жутко концентрирована (P.S. география – это то, где люди находятся сейчас, а не откуда они, почти всегда данные из Linkedin или Crunchbase):
▪️85 из США
▪️7 из Канады
▪️8 из остальных 8 стран
3/ Среди 43 представителей стартапов наиболее встречающиеся направления следующие:
▪️7 Generative AI
▪️6 Biotech & HealthTech
▪️4 AI Audio and video production
▪️3 Conversational AI
▪️2 ML Tools
▪️2 Big Data
▪️2 Edu Tech
▪️2 Defense Tech
4/ Какие компании представлены чаще всего:
▪️5 Amazon
▪️5 Google (совместно с DeepMind)
▪️2 OpenAI
▪️2 Anthropic
▪️2 Hugging Face
5/ Несколько любопытных фактов по списку:
🔹 В списке есть два представителя компаний, которые производят контент для фильмов и т.п. Это прикольно. Я их объединил в одну группу с классическим стартапами, которые генерят видео или аудио под запрос;
🔹 Всего 1 представитель государственного сектора, зато 2 из инвестбанков и 2 из прессы (Bloomberg и NYT);
🚀 Есть 1 человек из пространства СНГ так сказать. Это Карен Симонян из стартапа Inflection AI. Он живет в Армении, а Infection AI – это “personal AI”, они разрабатывают ассистента, собеседника, партнера и т.п. для каждого. Самое ошеломительное, последний раунд Infection AI поднял на $1.3B в конце июня 2023 года (🤑 WAT!?), а лид инвесторами стали Microsoft и Nvidia. Карен джан и команда, мои поздравления, если вы это читаете!
❓Казалось бы, что еще может быть интереснее для нас с вами? Но есть еще кое-что. Есть один человек в списке, деятельность которого можно описать как “comedian and actor”. Это Сара Сильверман. Так вот, откуда такой человек в списке?
Сара была первым человеком, который подал в суд на разработчиков LLM моделей за то, что они использовали ее работы, защищенные вроде как авторским правом. Потом это переросло в class action, к ней присоединились ее соавторы, создатели The Game of Thrones и другие. Авторы рейтинга считают, что несмотря на то, что суд может длиться годами, для нас с вами действия Сары могут послужить источником того, что мы сможем понять более детально, как работают такие модели (наверное, из материалов суда), а также позволят авторам уникального контента понимать, что им делать в противостоянии с гигантскими моделями генераторов контента и как защитить себя.
Вот такой любопытный список, изучайте: https://www.businessinsider.com/the-ai-100-2023-the-people-who-make-ai-intelligent-2023-10
@proVenture
#research #ai
❗️Сразу попрошу вас – чтобы было интереснее, сначала прочитайте пост, а потом посмотрите приложенный к посту скриншот, не наоборот, а то спойлеры 😁
Любопытный список, на анализ которого я потратил, возможно, больше времени, чем нужно. Но думаю, вам тоже будет интересно. Business Insider подготовил и выкатил список топ-100 людей в AI версии 2023 года. И без paywall, так что я побежал читать. Мне захотелось посмотреть, кто это – и не просто поглазеть, а проанализировать немного.
Я прошелся по каждому из списка и вот что получилось:
1/ В списке представители следующих групп:
▪️43 из стартапов
▪️25 из корпораций
▪️14 из университетов и исследовательских центров
▪️5 из non-profit организаций
▪️4 VC
▪️9 прочее
2/ География жутко концентрирована (P.S. география – это то, где люди находятся сейчас, а не откуда они, почти всегда данные из Linkedin или Crunchbase):
▪️85 из США
▪️7 из Канады
▪️8 из остальных 8 стран
3/ Среди 43 представителей стартапов наиболее встречающиеся направления следующие:
▪️7 Generative AI
▪️6 Biotech & HealthTech
▪️4 AI Audio and video production
▪️3 Conversational AI
▪️2 ML Tools
▪️2 Big Data
▪️2 Edu Tech
▪️2 Defense Tech
4/ Какие компании представлены чаще всего:
▪️5 Amazon
▪️5 Google (совместно с DeepMind)
▪️2 OpenAI
▪️2 Anthropic
▪️2 Hugging Face
5/ Несколько любопытных фактов по списку:
🔹 В списке есть два представителя компаний, которые производят контент для фильмов и т.п. Это прикольно. Я их объединил в одну группу с классическим стартапами, которые генерят видео или аудио под запрос;
🔹 Всего 1 представитель государственного сектора, зато 2 из инвестбанков и 2 из прессы (Bloomberg и NYT);
🚀 Есть 1 человек из пространства СНГ так сказать. Это Карен Симонян из стартапа Inflection AI. Он живет в Армении, а Infection AI – это “personal AI”, они разрабатывают ассистента, собеседника, партнера и т.п. для каждого. Самое ошеломительное, последний раунд Infection AI поднял на $1.3B в конце июня 2023 года (🤑 WAT!?), а лид инвесторами стали Microsoft и Nvidia. Карен джан и команда, мои поздравления, если вы это читаете!
❓Казалось бы, что еще может быть интереснее для нас с вами? Но есть еще кое-что. Есть один человек в списке, деятельность которого можно описать как “comedian and actor”. Это Сара Сильверман. Так вот, откуда такой человек в списке?
Сара была первым человеком, который подал в суд на разработчиков LLM моделей за то, что они использовали ее работы, защищенные вроде как авторским правом. Потом это переросло в class action, к ней присоединились ее соавторы, создатели The Game of Thrones и другие. Авторы рейтинга считают, что несмотря на то, что суд может длиться годами, для нас с вами действия Сары могут послужить источником того, что мы сможем понять более детально, как работают такие модели (наверное, из материалов суда), а также позволят авторам уникального контента понимать, что им делать в противостоянии с гигантскими моделями генераторов контента и как защитить себя.
Вот такой любопытный список, изучайте: https://www.businessinsider.com/the-ai-100-2023-the-people-who-make-ai-intelligent-2023-10
@proVenture
#research #ai
❤5👍3
Господа!
У нас отличная новость!
Десятый наш бенчмарк из 12 новых бенчмарков, опубликованных за последние 2 года, достиг 1 места в своей категории на сайте PapersWithCode! 🏆🥇🎉🥇🏆
С чем я горячо поздравляю его автора Алексея Брынцева 👏👏👏, всегда очень здорово, когда результат научной работы где-то лучший и дает вклад в развитие open source алгоритмов (в данном случае - в их рейтингование - тоже кусок работы).
Заметим, что большинство наших бенчмарков с закрытым датасетом (т.е. на нем нельзя заточиться), а ровно месяц назад вышла шикарная пародийная статья Pretraining on the Test Set Is All You Need о том, как можно легко получить SOTA, подмешав в тренировочную выборку часть тестовой при обучении LLM (большой языковой модели). Интересно, что статью уже процитировали в статье о бенчмаркинге юридических знаний LLM LawBench: Benchmarking Legal Knowledge of Large Language Models. В нашей области наблюдаем то же самое - результаты на других бенчмарках не воспроизводятся очень часто. Мы сейчас стараемся не раскрывать тестовый датасет, что снижает цитирования и популярность. Но пока держимся! И даже в топе! )
(намекая на прошлый пост) Всем везения с вашими результатами за время обучения! )))
У нас отличная новость!
Десятый наш бенчмарк из 12 новых бенчмарков, опубликованных за последние 2 года, достиг 1 места в своей категории на сайте PapersWithCode! 🏆🥇🎉🥇🏆
С чем я горячо поздравляю его автора Алексея Брынцева 👏👏👏, всегда очень здорово, когда результат научной работы где-то лучший и дает вклад в развитие open source алгоритмов (в данном случае - в их рейтингование - тоже кусок работы).
Заметим, что большинство наших бенчмарков с закрытым датасетом (т.е. на нем нельзя заточиться), а ровно месяц назад вышла шикарная пародийная статья Pretraining on the Test Set Is All You Need о том, как можно легко получить SOTA, подмешав в тренировочную выборку часть тестовой при обучении LLM (большой языковой модели). Интересно, что статью уже процитировали в статье о бенчмаркинге юридических знаний LLM LawBench: Benchmarking Legal Knowledge of Large Language Models. В нашей области наблюдаем то же самое - результаты на других бенчмарках не воспроизводятся очень часто. Мы сейчас стараемся не раскрывать тестовый датасет, что снижает цитирования и популярность. Но пока держимся! И даже в топе! )
(намекая на прошлый пост) Всем везения с вашими результатами за время обучения! )))
🔥16
Господа!
Отличная новость в трех картинках)))
Прям сейчас в Университете Сириус в Сочи идет 12-дневная учебная смена "Доверенный ИИ", организованная ИСП РАН.
Туда позвали много очень интересных докладчиков с акцентом на вопросы надежности, тестирования, взломов, атак, защит и вот этого всего) (чего стало настолько много, что даже в своей узкой области отследить весьма непросто).
Отличная новость в трех картинках)))
Прям сейчас в Университете Сириус в Сочи идет 12-дневная учебная смена "Доверенный ИИ", организованная ИСП РАН.
Туда позвали много очень интересных докладчиков с акцентом на вопросы надежности, тестирования, взломов, атак, защит и вот этого всего) (чего стало настолько много, что даже в своей узкой области отследить весьма непросто).
❤3
Так вот!
Сегодня в 14 состоялось награждение по результатам хакатона для студентов в Сириусе.
Первое место завоевала [🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁] команда ВиТя (задача со звездочкой найти их на предыдущем фото - это ВИка и КаТЯ)))):
Первое место - ВиТя: Вика Леоненкова и Катя Шумицкая
Второе место - Машалов Никита
Третье Кутузов Николай
Заметим, что там и аспиранты были, при этом Катя на 1 курсе магистратуры, а Вика - на 3 курсе бакалавриата! О как!
В общем - ВиТя рулит!))) Наши девочки КРУТЫ! Мальчики были на голову выше (по росту), но это им не помогло!))) 🏆🏆🏆🥇🥇🥇💐💐💐👏👏👏
Хакатон, кстати, был по промпт инжинирингу))) (не совсем наша тема, прямо скажем, что не помешало))) 🎉🎉🎉
Сегодня в 14 состоялось награждение по результатам хакатона для студентов в Сириусе.
Первое место завоевала [🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁] команда ВиТя (задача со звездочкой найти их на предыдущем фото - это ВИка и КаТЯ)))):
Первое место - ВиТя: Вика Леоненкова и Катя Шумицкая
Второе место - Машалов Никита
Третье Кутузов Николай
Заметим, что там и аспиранты были, при этом Катя на 1 курсе магистратуры, а Вика - на 3 курсе бакалавриата! О как!
В общем - ВиТя рулит!))) Наши девочки КРУТЫ! Мальчики были на голову выше (по росту), но это им не помогло!))) 🏆🏆🏆🥇🥇🥇💐💐💐👏👏👏
Хакатон, кстати, был по промпт инжинирингу))) (не совсем наша тема, прямо скажем, что не помешало))) 🎉🎉🎉
🔥10❤1👍1
Коллеги!
Статья об основателе нашей лаборатории Юрии Матвеевиче Баяковском таки наконец-то появилась в Большой Российской Энциклопедии.
Интересно, что хотя там типа легко "Стать автором" и все такое - процесс был длительным и занял много усилий у Владимира Александровича Галактионова из ИПМ РАН. С другой стороны это понятный барьер перед наполнением энциклопедии мусорной информацией. 🤷♂️
Теперь LLM завтрашнего дня будут давать более глубокие ответы про MSU Graphics&Media Lab 😁😁😁
Статья об основателе нашей лаборатории Юрии Матвеевиче Баяковском таки наконец-то появилась в Большой Российской Энциклопедии.
Интересно, что хотя там типа легко "Стать автором" и все такое - процесс был длительным и занял много усилий у Владимира Александровича Галактионова из ИПМ РАН. С другой стороны это понятный барьер перед наполнением энциклопедии мусорной информацией. 🤷♂️
Теперь LLM завтрашнего дня будут давать более глубокие ответы про MSU Graphics&Media Lab 😁😁😁
🔥7👍2
Господа!
В качестве прикольного дополнения к последней лекции, на которой было выдано задание о взломе метрики двумя способами - примеры еще более интересных взломов.
Здесь два типа примеров:
1. Берется запрос на генерацию картинки (тут SD 1.4) проходит обычный процесс итераций диффузии (a la classifier guided diffusion), но добавляются градиенты, вызывающие повышение метрики, где Scale - это коэффициент, на который домножается градиент перед добавлением к шуму. Каждая картинка - разная генерация с разным коэффициентом влияния. Тут прикольно посмотреть, какие картинки "любит" метрика (в данном случае No-Reference MANIQA).
2. Берется исходное изображение (фото стола), оно (а точнее его латентное представление) зашумляется и восстанавливается SD 1.4 (FR Scale - насколько перерисованное изображение близко к исходному). При этом взлом пытается сохранить близость к оригиналу. Тут на картинке прикольно наблюдать, как меняются реальные детали (в данном случае пузырьки с косметикой) и как при этом меняется взлом META-IQA + как сама картинка.
Понятно, что это самое начало процесса получения все более навороченных взломов, когда картинка/видео вроде похожи на реальные и выглядят совершенно естественно, но метрика 🤷♂️ накручена)
В этой задаче крайне актуально маскировать накрутку. Очень интересное направление - маскировка накрутки под вотермарк (типа вотермарк канала - но наложенный в таком месте и с такой силой, что метрика становится выше). Или надпись копирайта. Или подпись/субтитр ))) 😲 Веселье только начинается! 😉
В общем -жизнь уже никогда не будет прежней сложность взломов завтра будет оооочень изощренной! И петрить в теме будут сильно не все (и мы надеемся не только китайцы, которые уже чудеса показывают)! 🤷♂️😁
В качестве прикольного дополнения к последней лекции, на которой было выдано задание о взломе метрики двумя способами - примеры еще более интересных взломов.
Здесь два типа примеров:
1. Берется запрос на генерацию картинки (тут SD 1.4) проходит обычный процесс итераций диффузии (a la classifier guided diffusion), но добавляются градиенты, вызывающие повышение метрики, где Scale - это коэффициент, на который домножается градиент перед добавлением к шуму. Каждая картинка - разная генерация с разным коэффициентом влияния. Тут прикольно посмотреть, какие картинки "любит" метрика (в данном случае No-Reference MANIQA).
2. Берется исходное изображение (фото стола), оно (а точнее его латентное представление) зашумляется и восстанавливается SD 1.4 (FR Scale - насколько перерисованное изображение близко к исходному). При этом взлом пытается сохранить близость к оригиналу. Тут на картинке прикольно наблюдать, как меняются реальные детали (в данном случае пузырьки с косметикой) и как при этом меняется взлом META-IQA + как сама картинка.
Понятно, что это самое начало процесса получения все более навороченных взломов, когда картинка/видео вроде похожи на реальные и выглядят совершенно естественно, но метрика 🤷♂️ накручена)
В этой задаче крайне актуально маскировать накрутку. Очень интересное направление - маскировка накрутки под вотермарк (типа вотермарк канала - но наложенный в таком месте и с такой силой, что метрика становится выше). Или надпись копирайта. Или подпись/субтитр ))) 😲 Веселье только начинается! 😉
В общем -
🤩1
Коллеги!
Я с хорошей новостью, мотивирующей лучше всех (надеюсь))) сделать выданное в среду задание спецкурса по атакам на метрики.😉
Команда под кураторством Анастасии Анциферовой (с.н.с. нашей лаборатории в Институте ИИ МГУ и нашей научной группы в ИСП РАН) заняла 🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁 ПЕРВОЕ МЕСТО (🏆🏆🏆🥇🥇🥇👏👏👏) в большом хакатоне проектной смены "Доверенный Искусственный Интеллект" в университете Сириус с темой "Adversarial Purification for IQA Models" (состязательные защиты от атак - следующий уровень по сложности после атак).
Состав команды:
* Александр Гущин 6 курс ВМК МГУ
* Анна Чистякова 5 курс ВМК МГУ
* Владислав Минашкин 4 курс ФПМИ МФТИ
Работа оценивалась по критериям:
* Понятность презентации, постановка задачи, полученный результат (1 место!!!)
* Практическая полезность и применимость результата (1-2 место!!!)
* Общее качество работы (проект поделил 2-3 место, но баллов хватило!)))
В общем жесткой конкурентной борьбе (с преимуществом 0,2 балла по 10 бальной шкале) занято 1 место из 15 команд!!! 👏👏👏
Всего предложено 7 методов защиты против 10 атак, для всех типов атак побит baseline, для атаки AdvCF обучена модель для восстановления исходного изображения, код выложен на github!🙂
Будем надеяться, что среди вас будут те, кто окажется в состоянии 3-4 курсу успешно атаковать (как наши девушки из новости недельной давности))), а к 5-6 курсу успешно (состязательно во всех смыслах) защищать от атак, причем и то, и другое - лучше всех! 😁😁😁
Я с хорошей новостью, мотивирующей лучше всех (надеюсь))) сделать выданное в среду задание спецкурса по атакам на метрики.
Команда под кураторством Анастасии Анциферовой (с.н.с. нашей лаборатории в Институте ИИ МГУ и нашей научной группы в ИСП РАН) заняла 🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁🥁 ПЕРВОЕ МЕСТО (🏆🏆🏆🥇🥇🥇👏👏👏) в большом хакатоне проектной смены "Доверенный Искусственный Интеллект" в университете Сириус с темой "Adversarial Purification for IQA Models" (состязательные защиты от атак - следующий уровень по сложности после атак).
Состав команды:
* Александр Гущин 6 курс ВМК МГУ
* Анна Чистякова 5 курс ВМК МГУ
* Владислав Минашкин 4 курс ФПМИ МФТИ
Работа оценивалась по критериям:
* Понятность презентации, постановка задачи, полученный результат (1 место!!!)
* Практическая полезность и применимость результата (1-2 место!!!)
* Общее качество работы (проект поделил 2-3 место, но баллов хватило!)))
В общем жесткой конкурентной борьбе (с преимуществом 0,2 балла по 10 бальной шкале) занято 1 место из 15 команд!!! 👏👏👏
Всего предложено 7 методов защиты против 10 атак, для всех типов атак побит baseline, для атаки AdvCF обучена модель для восстановления исходного изображения, код выложен на github!
Будем надеяться, что среди вас будут те, кто окажется в состоянии 3-4 курсу успешно атаковать (как наши девушки из новости недельной давности))), а к 5-6 курсу успешно (состязательно во всех смыслах) защищать от атак, причем и то, и другое - лучше всех! 😁😁😁
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5❤3
Господа!
На днях в Москве шел, VideoTech 2023 - профессиональная конференция по видеостримингу. Вчера общался там с руководителем группы видео-транскодинга Дзена (ВК) - у них очень неплохие результаты, с техническим руководителем Кинопоиска (тоже много транскодинга, раздачи и т.п.) и СТО Окко (транскодинг и т.п.) и еще несколькими целевыми людьми.
Всего почти 6 часов разговоров получилось (доклады слушал мало-мало).
Грамотных людей всем не хватает сильно! "Утешил", что с грамотными людьми скоро все будет еще хуже. Обсуждалась идея устроить курсы повышения квалификации (платные?))). Мысль интересная. Ждем, когда недостаток людей станет настолько жгучим, чтобы они занялись не переманиванием, а инвестициями в обучение (процесс на самом деле уже идет).
На AIJ случайно встретил нашего выпускника 20 года, который сейчас работает в Сбере в ML (причем доволен командой, что бывает там не всегда))) У меня были лекции "Как стать начальником" + прокачка по теме. Он отрапортовал, что уже получил под свое управление 2-х человек. Горячо тему поддержал, дал пару советов))) Работаем над тем, чтобы процент выпускников, которые будут хвастаться подчиненными устойчиво рос! )
Также встретил выпускника AI Masters этого года, ныне он аспиранта Сколтеха, который, как выяснилось, ходил на ВМК на мой курс на 2 курсе, но тогда у него было все слабо и на ИИТ не прошел. Дальше пошел на AIM (в том числе на мой курс с Сергеем Загоруйко там), и продолжает прокачиваться в аспирантуре. Горячо поддерживаю стратегию глубокой прокачки! ) (ибо времена с развитием копайлотов и их вариантов грядут тяжелые)
На VideoTech, к слову, с руководителем команды видео-транскодинга меня познакомил студент, который ходил на мой онлайн курс в Вышке (+читал статьи на хабре + смотрел наши выступления на прошлых VideoTech + читал наши научные статьи - прям человек добрался до всего, включая материалы за пейволами - рад, что люди глубоко копают). Меня человек увидел, познакомился лично. Приятно)
А ты %%USERNAME%% насколько глубоко копаешь? 😁
На днях в Москве шел, VideoTech 2023 - профессиональная конференция по видеостримингу. Вчера общался там с руководителем группы видео-транскодинга Дзена (ВК) - у них очень неплохие результаты, с техническим руководителем Кинопоиска (тоже много транскодинга, раздачи и т.п.) и СТО Окко (транскодинг и т.п.) и еще несколькими целевыми людьми.
Всего почти 6 часов разговоров получилось (доклады слушал мало-мало).
Грамотных людей всем не хватает сильно! "Утешил", что с грамотными людьми скоро все будет еще хуже. Обсуждалась идея устроить курсы повышения квалификации (платные?))). Мысль интересная. Ждем, когда недостаток людей станет настолько жгучим, чтобы они занялись не переманиванием, а инвестициями в обучение (процесс на самом деле уже идет).
На AIJ случайно встретил нашего выпускника 20 года, который сейчас работает в Сбере в ML (причем доволен командой, что бывает там не всегда))) У меня были лекции "Как стать начальником" + прокачка по теме. Он отрапортовал, что уже получил под свое управление 2-х человек. Горячо тему поддержал, дал пару советов))) Работаем над тем, чтобы процент выпускников, которые будут хвастаться подчиненными устойчиво рос! )
Также встретил выпускника AI Masters этого года, ныне он аспиранта Сколтеха, который, как выяснилось, ходил на ВМК на мой курс на 2 курсе, но тогда у него было все слабо и на ИИТ не прошел. Дальше пошел на AIM (в том числе на мой курс с Сергеем Загоруйко там), и продолжает прокачиваться в аспирантуре. Горячо поддерживаю стратегию глубокой прокачки! ) (ибо времена с развитием копайлотов и их вариантов грядут тяжелые)
На VideoTech, к слову, с руководителем команды видео-транскодинга меня познакомил студент, который ходил на мой онлайн курс в Вышке (+читал статьи на хабре + смотрел наши выступления на прошлых VideoTech + читал наши научные статьи - прям человек добрался до всего, включая материалы за пейволами - рад, что люди глубоко копают). Меня человек увидел, познакомился лично. Приятно)
А ты %%USERNAME%% насколько глубоко копаешь? 😁
👍10
Господа! С подачи ИИИ МГУ вышло небольшое интервью про Карена Симоняна )