VG: Video Courses
1.04K subscribers
349 photos
30 videos
301 links
Канал для объявлений лаборатории машграфики ВМК МГУ и лаборатории анализа видео института ИИ МГУ по курсам на ВМК МГУ, ФКН ВШЭ, AIM МГУ и университета Иннополис. А также для дискуссионных постов про новости в обработке видео и не только.
Download Telegram
Коллеги!

Наш аспирант Николай Сафонов продолжил хорошую традицию посещения конференций VCIP и передает всем привет из Японии с VСIP-2024! 🙂 Эта конференция — старейшая по обработке видео и нам, как хозяевам домена videoprocessing.ai, безусловно, положено там быть 😉

Из путевых заметок:
Товарищи из SJTU (Шанхайский университет) сделали датасет по стримингу, в частности для Youtube моделировали проблемы с сетью. Я пообщался с чуваком, взял вичат, он очень хотел мне сразу отдать датасет на скачивание. А ещё его команда в Настином челендже ECCV заняла второе место. А вчера ему писал Миша Дремин)

Николай пишет про наш Compressed Video Quality Assessment Challenge 2024, причем Михаил Дремин — другой наш аспирант писал им совершенно независимо и по-другому вопросу. Как говорится: "Не мир тесен, прослойка тонка!" 😉🌎🌏

И вот из второй лабы познакомился с профессором Ченг, это та самая, от которой один из самых известных нейросетевых кодеков Cheng2020. У нее довольно интересный постер по облегчение декодера нейросетевых кодеков. Поговорил. Когда сказал что из МГУ, она сказала "О это там где много крутых бенчмарков, я очень часто на ваш сайт ссылаюсь". Вообще кажется ваша идея стрельнула, нас узнают по бенчмаркам теперь молодые постдоки.

Кто лекцию про JPEG AI слушал или мой рассказ про нейросетевые артефакты JPEG AI, видели ссылки на Cheng2020 😁, так что мы на нее тоже активно ссылаемся) Ну и радует, что наш сайт знают, конечно.

Также на конференции был фуршет, на котором Николай жестоко ломал шаблоны:
Ну а мой вчерашний китайский друг удивлялся непьющему русскому) (мы им так все стереотипы обломаем)

Очень правильный вариант облома стереотипов, считаю. Руссо сайентисто, облико морале! 😂🤣😂

Ну и не работой единой, также Николай успел съездить к Фудзияме (пруф приложен!)

Как пелось в одной песне:
Фудзияма — не яма — гора
Над священной и быстрой рекой.
А Ямамото — такой генерал,
Харакири — обычай такой.


Кстати, рассказывал Николай о своей работе по измерению артефактов бандинга на экранах с разным контрастом. В эпоху массового распространения HDR экранов очень актуальная тема! 📈

Продолжаем движение! 😁👋

#pro_conferences
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥143
Господа!

На этой неделе (помимо AIJ) прошла Открытая конференция ИСП РАН, посвященная 30-летию ИСП (и 300-летию РАН).

Вообще, ИСП — один из самых молодых институтов, причем активно растущий и с достаточно молодым директором, который очень плотно вкладывается в его развитие (что, вежливо говоря, бывает сильно не всегда, а скорее исключение). Ну и 30 лет назад создавать институты было не очень принято. Тогда в основном их закрывали. Для полноты картины — у ИСП много проектов с компаниями и они официально зарегистрированы в реестре минцифры как IT компания (респект такое пробить! 💪), как следствие — льготные налоги (что очень важно в плане возможностей поднять зарплаты!), ну и они 2 года назад активно использовали бронь минцифры во время мобилизации (представляя заметный контраст с некоторыми другими институтами и университетами, тут я деликатно без примеров с вашего позволения, но они красавцы). 👏

Короче! Юбилейная конференция прошла с великолепным размахом, заметно большим, чем в прошлые разы. Промежуточно было 1700 участников. На итог, видимо, будет больше. 😲

Но гораздо важнее изменение вайба, я бы сказал. Вот реально чувствуется бурление. Все делают проекты. Всем не хватает людей. Наш сотрудник Иван Молодецких пришел доклад читать, у него сразу интервью взяли. 😂 И такая активность радует! 👍

Мы там 5 докладов прочитали) 💪

Вообще у меня лично получается где-то 17 докладов за осенний семестр, т.е. больше 1 доклада в неделю. И это рекорд за последние несколько лет. Причем я еще не ездил на когда-то традиционный ГрафиКон 😢 и отказывался от приглашений (ибо уже перебор). 🥵

В общем — будем качество докладов поднимать, количество увеличивать, а...

А ИСП РАН ГОРЯЧО ПОЗДРАВЛЯЕМ С ЮБИЛЕЕМ!
🎉🔥🎂🎉🎂🔥🎉

У института великолепные достижения, в том числе в последние годы с Центром Доверенного ИИ (в котором мы принимаем активное участие). Например, в этом году у ИСП 21 А* статья по ИИ ✌️✌️✌️, что для академического института РАН (неизбалованного государственным финансированием) прямо скажем очень круто.

В общем — новых свершений и не сбавлять темпа!
🚀🎉🙂🎉🙂🎉🙂🎉🚀

#pro_conferences
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍131
Господа!

Я опять с хорошей новостью! 😁

1 августа я писал, про то, что мы планируем прикольную тему со стиранием вотермарков на проектную смену в Сириус, по которой 16 сентября стартовал челлендж "Erasing the Invisible: A Stress-test challenge for Image Watermarking". Два месяца назад, если кто помнит, писал про то, что команда была успешно собрана, великолепно отстрелялась на проектной смене и заняла предварительно неплохие места в челлендже.

Но цыплят по осени считают. Во-первых, многие сильные команды заливают свои решения в последний момент (чтобы не бустить конкурентов), во-вторых, задаче ведь не просто "стереть невидимое" (сделать так, чтобы вотермарк точно не читался тривиально: пикселы в ноль и профит 😁). Задача минимально изменить картинку при этом.

А поскольку, как вы прекрасно знаете из лекций, метрики качества отражают человеческое не полностью, последним этапом соревнования было субъективное сравнение, когда пять топовых решений сравнивались вслепую людьми.

В скобках замечу, что с такими успехами по стиранию вотермарков на горизонте запредельно остро встает вопрос, а как вообще детектировать дипфейки? Ибо топовые компании отчитываются — мы, мол, пометили свою генерацию, с нас взятки гладки. Но, эти метки, как выясняется, довольно эффективно стираются... Есть заметная вероятность, что мы еще вернемся к этой истории, ибо она обещает быть крайне интересной!

А сейчас спешу отчитаться — ребята заняли 5 место из 77 команд!!! Результаты объявили 10 декабря, сертификат только-только прислали! А ты как провел осень %%USERNAME%%???)))

Челлендж прошел в рамках A* конференции NeurIPS и, конечно, занять топовое место в международном челлендже — это великолепный результат! )

🎉🥇🏆🎉🥇🏆🎉🥇🏆🎉
От всей души горячо поздравляю команду, это шикарное достижение! 👏👏👏👏👏
🎉🥇🏆🎉🥇🏆🎉🥇🏆🎉

#pro_conferences
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥133
Господа!

Целых полтора месяца не писал про SWE-bench, а там за это время небезызвестная компания OpenAI декларирует скачек с 53% до 71.7% 😲

В прошлый я восторгался прогрессу 7.6% за месяц с небольшим. А тут 17.7% за полтора месяца... Упс... Это что ж деется то 🤯🤯🤯

Напомню, бенчмарк создан год назад и основан на разметке реальных issues (багрепортов) гитхаба, позволяющих автоматически проверять что баг пофиксили и сложность багов варьируется от 15 минут до 4 часов работы программиста.

Развитие бенчмарка за год:

* Март 2024 — SWE-bench Lite: сокращенная версия бенчмарка, позволяющая быстрее проводить тестирование, что особенно полезно для предварительной оценки моделей (ускорение разработки).

* Июнь 2024 — Docker-версия: обеспечивает простоту установки и воспроизводимость тестирования в различных средах (снова ускорение разработки).

* Август 2024 — SWE-bench Verified: в сотрудничестве с OpenAI был создан SWE-bench Verified — поднабор из 500 задач, более глубоко проверенных разработчиками (пофиксили возможность моделей читерить при исправлении багов).

* Октябрь 2024 — SWE-bench Multimodal: позволяет оценивать способность ИИ-систем анализировать и исправлять ошибки, используя как текстовую, так и визуальную информацию (критично для интерфейсов и не только).

При этом очень похоже, что 2 года бенчмарк "не продержится" (будет решен чуть меньше, чем полностью и потеряет смысл).

Следующими шагами логично ожидать:

* Более сложный бенчмарк, куда соберут только задачи, требующие от 3+ часов работы программиста на багфикс (но такой довольно дорого собирать и размечать, хотя все крупные участники гонки типа OpenAI, Amazon, Bytedance etc в этом заинтересованы и шанс есть).

* Появление аналога Арены, например, когда репозиториям гитхаба будет предложено поучаствовать в арене сабмитами issues, под требование за ограниченное время проверять пул-реквест с багфиксом и давать обратную связь по качеству багфикса (если люди не будут за короткое время давать обратную связь по багфиксу, компаниям не будет иметь смысла финансировать участие в такой арене, но для того же гитхаба это вполне реально решить, например, отправляя новые issues на багфикс в первую очередь для тех, кто быстрее и детальнее проверил прошлые).

Именно проверка на реальных примерах (а не на ограниченных датасетах бенчмарков) позволить по опыту существенно забустить область, но ситуация для этого должна "созреть". Тут она дозревает поразительно быстро.

Сейчас Github Issues Arena выглядит как фантастика, но честно говоря текущие достижения о3 выглядели нереально фантастично всего 3 года назад, поэтому ждать, вангую, недолго.

Традиционно напомню, что CEO NVIDIA в феврале 2024 призывал не отдавать детей учиться программированию. Вы уже учитесь. Ваши действия? 😉 Мы ищем тех, кто хочет оставаться конкурентоспособным и через 10, и через 20 лет (что будет очень непросто, похоже, но победитель получит много, очень много). 😁

Ну и про второй график:
o3 scores a 2727 ELO on Codeforces which places it 175th in the global ranking. That's better than ~99.9% of humans on the website (who already tend to be far above average)

Подробнее тут: GPT-o3 can become a red coder? Там прикольные комментарии ред-кодеров, их жестко рвет, конечно...

Картинка отсюда

#SWE_benchmarking
#speed_of_progress
Please open Telegram to view this post
VIEW IN TELEGRAM
2👍2🔥1
Господа, тут в популярном канале приведен перевод интересной истории с Реддита о том, как младшая сестра человека в США в 11 лет выполняет домашнее задание смотря модный корейский сериал в параллельном окне и даже не пытаясь включить мозг 🤯😲😉 Умножить 60 на 3? Нееет... Прибавить 24 к 7? Боже упаси...

Самый залайканный ответ — человек прикалывается над параллельным просмотром сериала (про заработок через участие в игре на выживание), а самый залайканный ответ на этот ответ: "Она просто готовится к своему финансовому будущему". Иронично, да)

Далее народ залайкал:
Ее первый экзамен без материалов и без использования устройств покажет все, чему она научилась.

И ответ на него:
И ее все равно переведут в следующий класс, несмотря ни на что.

В общем кто в курсе — в США уже давно довольно заметные проблемы в образовании, особенно в STEM.

Также сказывается то, что в большинстве школ в США выставленные ученику оценки относятся к категории личных данных. Учитель не может на весь класс объявлять отметки учащихся (а то его забуллят нафиг, как за высокие, так и за низкие и виновен в этом будет, естественно, скотина-учитель).

Если кто не смотрел, то потратьте 9 минут на великолепную короткометражку "Альтернативная математика" (26 номинаций и 16 наград на фестивалях), она о том, как ПРАВИЛЬНО преподавать математику в школе) (на ютубе у перевода было 2.2 миллиона просмотров, а у англоязычного 13). Кстати, правильный ответ в конце фильма 20 002 000, конечно, там математическая ошибка, если что! 😉

Россия в этом плане пока отстает. Классы без оценок у нас есть только в некоторых частных школах, LLM пользуется меньший процент школьников и т.п. Но плавно движемся туда же.

В обсуждениях истории народ вспоминает Идиократию (фильм не самый умный, но много трендов там уловили, увы, точно) и вангует, что ваше поколение миллениалов будет самым умным по среднему IQ по сравнению со следующими поколениями. К тому идет! Впрочем, кто расслабится, окажется там же...

На этом фоне я в большим интересом смотрю за новостями из Китая:
В Китае впервые ввели полный запрет на использование мобильных на территории школ

Такой запрет приняли в городе Чжэнчжоу, провинция Хэнань. Школы города обязали строго следить за тем, чтобы ученики не проносили телефоны на территорию кампуса, «за исключением случаев, когда это необходимо для обучения». Чтобы ученик мог пронести телефон на территорию учебного кампуса, родители должны написать заявление.

Лютый фашизм, согласитесь!) (напишите об этом в комментариях)))

Известный популяризатор математики профессор Савватеев утверждает, что Китай остается последней страной, где на данный момент есть массовое качественное преподавание математики (и очень высока мотивация, кстати). Остальные скоро будут сколько в 3 минутах секунд у Сири, Алисы, Алексы, Маруси и прочих ассистентов спрашивать... На высшем образовании это тоже скажется, естественно.

Всем приятного просмотра двух пролинкованных роликов (25 минут суммарно) и мудрых выводов! 😉

Как-то так интересно мир меняется! 🤷‍♂️😲😉

#speed_of_progress
👍52🔥1😢1
Коллеги!

У нас первый accept статьи в 2025 году) Причем первый автор — Георгий Готин с 3 курса, т.е. свежий набор.

Конференция VISAPP (The International Conference on Computer Vision Theory and Applications) не самый топ, но надо же с чего-то начинать на 3 курсе молодому студенту первым автором 😉

Это первая статья нового набора. По срокам это не рекорд, рекорд у нас был года три назад, когда первая статья свеженабранного третьекурсника зашла в последних числах августа еще до формального начала учебы на 3 курсе) Но там человек мощно впахивал (и сейчас учится в Калифорнии).

Заметим, что сегодня еще добавляется политическая лотерея. У нас был случай также в позапрошлом году, когда две статьи приняли на конференцию, но местный оргкомитет просто не дал оплатить за них оргвзнос. Было обидно — пройти отбор международного программного комитета и словить desk reject по причине неуплаты оргвзноса, который мы хотели и могли оплатить.

К счастью, должен заметить что такого "наука должна быть политизирована!" явно больше на менее серьезных конференциях (куда как раз бакалавры подаются), и почти нет на топовых, куда, если кто следит, народ из Москвы ездит вполне себе толпами.

Ну и статья, как заметил внимательный читатель, посвящена атакам на метрики качества видео, интереснейшая и активно взлетающая тема сейчас (как и вообще тема атак, защит и в целом повышения устойчивости алгоритмов).

Также сейчас куча российских компаний начали чувствовать, что их продукты будут заметно отличаться от конкурентов (это я деликатно), если они не будут туда новые технологии впаивать. А впаять новую технологию сегодня, тупо адаптировав опенсорс получается сильно не всегда. Отсюда спрос на специалистов, за которыми приходят (в том числе ко мне) и жалуются, что нанять не могут. О том, как разговор складывается дальше будет в надеюсь, в разумный срок написанной наконец второй части "О русской науке" (первая — лучшая статья Хабра в номинации "Образование в IT", кто не читал рекомендую многобукв))).

В общем вопреки всему работаем (пишущих активно статьи со студентами в университетах в IT остается совсем мало, уж слишком велик на них спрос))) 😉

Еще раз поздравляю Георгия, а также его соавторов Екатерину Шумицкую и Анастасию Анциферову! Отличный результат! ) 👏🎉👍👏🎉👍👏🎉👍

#pro_conferences
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
17🔥8👍6👏3
Господа!

Из текущего прекрасного. Тестируем новый модный SR. Работает он очень классно (съевшие на SR собаку наши ребята говорят, что прямо новый уровень). Но и косячит... тоже классно.

Зацените, как он творчески доработал логотип (причем по-разному наверху и внизу)! 😁😁😁

А еще он решил, что этой майке пошли бы пуговицы. И ничтоже сумняшесь впаял их, не подумав про шов! 😂🤣😂

Выделение на картинке, кстати, это область, которую разрабатываемая сейчас метрика артефактов считает багом. Вообще ловля артефактов SR становится все сложнее и интереснее 😁 Задание на артефакты SR мы в осеннем семестре сделали в магистерском курсе. Возможно, адаптируем его под бакалавров.

Ну и активнее всего SR сегодня встраивают в умные телевизоры. В этом плане мне очень понравился первый абзац раздела телевизоров с недавнего очень годного обзора Consumer Electronic Show 2025, которое на днях закончилось в США:
TVs are always fun, and it is difficult to resist shopping. AI made its way into TV with lots of claimed use of AI for audio and video processing that I am pretty sure everyone reading this disables.

Выделение мое. Хорошо чувствуется, как ему захотят свежие AI фичи 😁

В общем "Скоро в каждом телевизоре!" (с) 🤷‍♂️😉

Ну а мы поможем в меру сил повысить качество SR. Компании хорошо понимают, как это важно. А людям можно попробовать показать, в какой модели годный алгоритм, а где что-то совсем страшное ради галочки для маркетинга впаяли. Интересная тема, короче.
👍21
This media is not supported in your browser
VIEW IN TELEGRAM
Господа!

Многие, наверное, уже в курсе, что неделю назад Марк Цукерберг в интервью Джо Рогану сказал, что в 2025 году они в (запрещенной) Meta, как и другие компании работают над написанием кода с помощью ИИ на уровне мидл-программистов. И да, поначалу это будет дорого и сложно, но в какой-то момент большая часть кода ваших приложений будет написана ИИ.

Вообще само интервью почти на 3 часа (7+ млн просмотров, почти 60 тысяч комментариев) и большая его часть — про цензуру в соцсетях. Но определенное бурление тезис про замену мидлов на AI, конечно, вызвал! 😉😉😉

Мне больше всего понравился контраргумент: "Это тот самый чувак, который гарантировал, что Метавселенная произведет революцию в мире 2 года назад?" Он очень удобен своей универсальностью. Когда нам нравится какой-то тезис, мы вспоминаем успешные проекты компании, когда не нравится — приводим список неудач. Оппонент повержен! Profit! 😂

Естественно, оценить реальный прогресс на таком уровне невозможно (хотя это наиболее частый уровень споров в соцсетях))).

Помню, 5 лет назад я говорил человеку, который собирался учиться на дизайнера, что нейросети быстро доберутся до дизайна и через 4 года (к моменту окончания учебы) ситуация сильно поменяется. Но тогда я мог привести в пример только статьи, как нейросети успешно генерируют мазки кисти. Мазки, Карл! Генеративного ИИ в современном понимании еще не было, но, очевидно, к тому шло! Но мне не верили) А потом я сам был в шоке, как скоро мой прогноз сбылся.

А 3,5 года назад говорил человеку, учившемуся на филолога (и уже зарабатывавшему копирайтингом), что нейросети скоро придут тексты. Но тогда в качестве аргумента приводил Яндекс Балабола, ныне отключенную сеть уровня GPT 1.5, которая могла только продолжать историю (иногда прикольно, но чаще неудачно). И как просел рынок копирайтинга сейчас!

К счастью для вас программисты совершенно не случайно весьма высокооплачиваемая специальность и там совершенно не случайно не так просто добраться до Senior и тем более до Staff Research Scientist и Principal Engineer в AI (и выше). Объем вещей, которые нужно не просто знать, а хорошо понимать для того, чтобы успешно вывозить проекты, становится реально большим!

Другое дело, что если у вас появляется ассистент, который, например, знает все опенсорсные библиотеки мира, их плюсы и минусы, проанализировал все их issues на гитхабе и знает, что у них работает хорошо, что плохо, ну и, естественно, знает какие задачи вам нужно решать и умеет их матчить. С таким ассистентом скорость и эффективность вашего программирования реально резко возрастает (ибо кто в компаниях давно, хорошо знает, как много велосипедов там изобретается постоянно). А такие помощники уже, очевидно, не за горами. И не только такие.

Кстати, если знаете умного прошаренного скептика, который может аргументировать не на уровне "у них были неудачи, я верю, что тут тоже будет неудача", а на уровне почему сложно решить конкретную задачу оценки и матчинга опенсорсных библиотек, буду очень признателен за контакт! 🙏 У меня в окружении в основном технооптимисты 🤷‍♂️😁, техноскептика не хвтаает!

Ну и пролью немного бальзама на душу скептикам 😁

Есть такой "Парадокс Джевонса", смысл его в том, что иногда увеличение эффективности использования какого-то ресурса вопреки интуиции приводит не к уменьшению его использования, а к увеличению, поскольку это становится экономически эффективно. В своей работе "Угольный вопрос", опубликованной аккурат 160 лет назад Джевонс заметил, что существенное повышение КПД использования угля привело не к уменьшению спроса на него, а, напротив, к увеличению, поскольку это стало выгодно.

В наших терминах это означает, что существенное снижение себестоимости написания программ может привести заметному увеличению объема их написания, что создаст дополнительный спрос.

Но расслабляться рано, поскольку в любом случае отрасль сильнейшим образом изменится и успевать за этими изменениями будет очень непросто!

Всем успешно успевать! 😁
12
Господа!

В дополнение к предыдущему посту про замену мидлов на ИИ по итогам обратной связи)

Ключевое: необходимо относиться к текущим LLM, как к самой ранней стадии развития технологии (всего 2 года бурного развития, вспомните какими были смартфоны через 2 года после первого iPhone))). Тем, кто не погружен в тему LLM плотно настоятельно рекомендую посмотреть годичной давности часовую лекцию Андрея Карпаты (ранее директор по AI в Tesla и сооснователь OpenAI, я бы вижину человека доверял) Intro to Large Language Models (1 час, 2,4 миллиона просмотров). На 0:42 он там говорит о LLM OS будущего, сравнивая саму LLM с ядром (или CPU), у которой в ближайшие годы разовьется периферия (и, кстати, assistant-model, давшая возможность общаться с LLM чатом — это в каком-то смысле как раз такая "периферия"). Он там довольно много прогнозов сделал, которые уже понемногу воплощаются. Очевидно их воплощение заметно существенно расширит возможности LLM OS.

Еще интереснее лекция Яна Лекуна (лауреат премии Тьюринга за формирование направления глубокого обучения и вице-президент Мета по ИИ) From Machine Learning to Autonomous Intelligence. Там на 1:32 собственно слайды всего около 45 минут. Лекун уверен, что генеративные модели, которые сегодня на самой вершине хайпа (на секундочку G в GPT = Generative) завтра потеряют популярность, уступив место, возможно, менее креативным, но более точным (с точки зрения галлюцинаций и полезности) моделям. Ну и еще несколько смелых прогнозов об отказе от вероятностных моделей, контрастивного обучения и обучения с подкреплением. Причем для каждого направления он обосновывает замену, потенциально имеющую большую эффективность.

Вывод: у LLM очень много резервов для совершенствования. Что мы и будем наблюдать в ближайшие годы.

Но интереснее всего оказалось письмо Эндрю Ына (сооснователь Coursera, руководил Google Brain, учредитель DeepLearning.AI) в рассылке DeepLearning.AI 6 дней назад.

Там идут мысли почти как рассуждения про парадокс Джевонса из прошлого поста:
Writing software, especially prototypes, is becoming cheaper. This will lead to increased demand for people who can decide what to build. AI Product Management has a bright future!

Программирование подешевеет, и это увеличит спрос на тех, кто может этим управлять.
Given a clear specification for what to build, AI is making the building itself much faster and cheaper. This will significantly increase demand for people who can come up with clear specs for valuable things to build.

В общем то, что ИИ будет писать быстрее и дешевле не обсуждается. Вопрос — кто будет ставить четкие задачи ИИ? Ответ Эндрю — AI PM. Ну и вывод:
The demand for good AI Product Managers will be huge.

Вангую, что народ поделится:

* на тех, кто конкретно подсядет на использование генеративных инструментов в качестве ЗАМЕНЫ собственной прокачки.

* и тех немногих, кто прокачается до уровня, который не будет заменяться "более быстрым и дешевым AI".

За что, собственно, постоянно топлю.

Ловите бонус в качестве необязательного и нетривиального ДЗ от Эндрю: 😉

* AI PMs need to understand how to manage successful AI development (очень непросто, скажу я вам).

* Skilled in utilizing data to drive AI innovation and create richer data-driven solutions (тоже кажется простым только делавшим "short way to win" решения домашек)))

* Skilled in handling ambiguity and adapting to unpredictable AI outcomes (да уж, в наших палестинах артефакты процессинга сегодня никто не умеет менеджить, их так и продают потребителям!!! Поэтому те, кто будут уметь... продолжите это предложение)

* Proficient in ongoing education to align AI innovations with user needs and product goals. (Кажется легким только с виду, процент заканчивающих ШАД и AI Masters тому свидетели)))

* Skilled in ensuring ethical AI practices, accelerating feedback loops, and creating prototypes to advance product development.

Цели определены, задачи поставлены! Погнали! 😁
6
Итак, господа, жалких 2 недели назад, я писал про свежее интервью Цукерберга, где тот говорил про замену программистов нейросетями, а чутка позднее, какие перспективы есть у LLM, с точки зрения Карпаты и ЛеКуна, а также что нужно прокачивать, чтобы остаться актуальным с точки зрения Эндрю Ына (его 5 целей на прокачку, которые будут востребованы при массовом приходе AI в программирование).

За эти две недели события явно ускорились. Во-первых, Трамп посулил 500 миллиардов долларов OpenAI & Co (правда не своих, а от ОАЭ через японский фонд, но...), далее 140 миллиардов долларов своим компаниями пообещало правительство Китая + о крупных тратах в десятки миллиардов заявили Google, X, Microsoft и другие. Это важно. Ибо уже сегодня хорошо видно, что для того, чтобы раскатать современную мощную LLM в сервис вот прямо очень сильно не хватает мощностей. С такими деньгами мощности будут.

Во-вторых, шороху навел релиз моделей DeepSeek, конечно. Как минимум китайская компания впервые догнала OpenAI (что даже обвалило американские рынки в какой-то момент). Моделька очень интересная! Настоятельно рекомендую зарегистрироваться там + поставить приложение на телефон (VPN не требуется). Отвечает модель очень неплохо, хотя и галлюцинирует, и ошибки делает. Я поймал ее на простой ошибке в запросе на русском языке (который отловил только поскольку она цепочку рассуждений привела), а когда тот же запрос на английском сделал - все корректно отработала. Причем в отличие от OpenAI она вообще не парилась, что ответы на языках разные. Да, разные. Используй ответ английской версии, он более правильный, чувак 😉 Ну и к вопросу о вычислительных мощностях, только я вошел во вкус с DeepSeek, как на прошлой неделе на нее обрушилась волна популярности и она сначала перестала отвечать вообще, а сейчас там
Due to technical issues, the search service is temporarily unavailable

Честно говоря не понимаю людей, которые до сих пор гуглят. По-моему глагол "загугли" устарел в прошлом году, с тех пор как ChatGPT начала очень годно агрегировать данные поисковых запросов. А еще есть Perplexity.ai. А теперь и DeepSeek.

Крутизна DeepSeek в том, что они выложили веса (причем в куче вариантов) бесплатно, в том числе для коммерческого использования. В итоге Perplexity оперативно подсуетились и подхватили падающее знамя возможность вызвать модель DeepSeek (т.е. можно с ней экспериментировать у них, и вообще переключать модели).

DeepSeek очень неплохо умеет в код и уже совершенно очевидно, что с такими моделями студенты смогут:
* решать домашние задания
* сдавать эссе по гуманитарным курсам
* писать дипломы
и т.д. еще быстрее, чем раньше)

В этом плане качество образования ленивых (коих немало) в очередной раз снизится 🤷‍♂️😉

Интересно, что сравнительно недавно (буквально с прошлого семестра) ChatGPT научилась вполне себе годно объяснять теоремы из университетских курсов на уровне репетитора. Это то самое годное использование прогресса LLM, которое позволяет оставить в голове после курсов не меньше, а больше! (что, впрочем, требует больше дисциплины) 😁

Ну и к заглавному графику. На нем представлен прогресс в плане удешевления расчетов разных сетей с показателями 44%, 82% и 86% по бенчмарку MMLU, где представлены задачи по 57 направлениям (философия, лингвистика, психология, география, астрономия, математика, физика, анатомия, генетика, международное право и далее по списку). Вертикальная шкала логарифмическая.

Хорошо видно, как за год-полтора удалось в 10+ раз снизить стоимость запросов! Сложнее всего это было сделать для наиболее продвинутых сетей (что логично), но и по ним прогресс заметный.

К тому моменту, как вы доучитесь, эта волна как раз дойдет до массового применения в production!

Be prepared! 😁

#speed_of_progress
👍3
Ну и до кучи!

Очень интересный график прогресса по разным бенчмаркам, выровненный относительно человека.

Тут есть и старый добрый MNIST, который 15 лет служил верой и правдой (хотя если вы сегодня его в своей статье примените, то это будет красная тряпка для ревьюверов))), есть и ImageNet.

Понятно, что скептики тут же скажут — да модели просто все это выучили! Ну, учитывая, что мы тут занимались машинным и глубоким ОБУЧЕНИЕМ, то выучили, конечно 😂 Другое дело, что они реально научились отличать не только кошек и собак, но и, например, собак разных пород, лучше людей, распознавать речь разной дикцией лучше людей, решать математические задачи лучше людей, наконец, решать научные вопросы лучше аспирантов 😉 (см. бенчмарки выше).

В принципе мне не важно, запомнила модель знания или нет, если она их по делу применяет и не глючит в выдаче результата.

Ну и мы видим, что "срок жизни" бенчмарков сильно уменьшился. Вроде создается сложный бенчмарк, но его хватает буквально на 4 года.

Вы живете в запредельно интересное время! Мощнейший переход количества в качество в скорости ОБРАБОТКИ разнородной информации произойдет, похоже, в ближайшие 2-3 года. Т.е. если интернет был 30 лет назад революцией в скорости ПЕРЕДАЧИ информации, то DL сейчас резко ускоряет ее обработку (в широком смысле слова). Будет не скучно!

Из свежего интересного — буквально вчера OpenAI выкатила Deep Research, агента, которому можно ставить довольно высокоуровневые задачи, и который уходит "подумать" надолго, но и результат в среднем выше. Наконец-то заменят ученых! Очень похоже, что цена написания дипломов на заказ этой весной сильно упадет! 😂

Вангую — ценным станет понимать, что выдает модель. Это реально сложно.

В общем — прокачиваться будет кому-то проще, а кому-то сложнее. Делайте свой выбор! 😉

Оба графика из International AI Safety Report (January 2025). Отчет на 298 страниц, там еще много интересных графиков 😉

#speed_of_progress
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥43
Коллеги,

Один из главных минусов LLM — это галлюцинации, когда LMM радостно и правдоподобно выдумывает ответ. 🤷‍♂️😁

Вообще мне кажется, что преподавателям общаться с LLM как-то проще. Любой преподаватель, принимавший устный экзамен, видел этих самых "галлюцинаций" море (когда ответ с самым уверенным видом выдумывается 😉). Причем особенно тема сильна на госах, где вопросы из кучи разных тем, довольно часто обновляются и заметно реже преподаватели глубоко компетентны во всех вопросах 😉

Но ровно там, кстати, у любого нормального преподавателя формируется навык по косвенным признакам (+ допвопросу) понять, это галлюцинация или нет 😂🤣😂

С моделями работа тоже идет, в том числе путем обучения моделей говорить "я не знаю" — не самая тривиальная задача, заметим. Одно из направлений — бенчмарки уровня галлюцинаций. Делать их сложно и там есть большие проблемы с разметкой и ошибками первого-второго рода, но некоторый скрининг они дают. Например, Hughes Hallucination Evaluation Model (HHEM) Benchmark, график из которого приведен на заглавной картинке. С его методикой не все волшебно (она заточена на RAG + есть вопросы к точности модели), но в целом это численная оценка и хорошо видно, как она довольно быстро снижается.

Интересно, что график уже устарел и две свежих модели от Google обогнали недельной давности модель от Open AI, т.е. соревнование идет довольно бодро 😲😲😲💪💪💪

Ну и кто пропустил, Андрей Карпаты (ранее директор по AI в Tesla и сооснователь OpenAI), про которого я довольно регулярно пишу (раз, два, три) выпустил лекцию "Deep Dive into LLMs" на 3,5 часа. Там уже полмиллиона просмотров за 4 дня и, очевидно, будет намного больше! У человека однозначно талант очень кратко, емко и достаточно четко (без серьезных искажений при упрощении) излагать материал. Это реально сложно. Я посмотрел уже больше половины (не успел все за выходные))) и весьма рекомендую, как впрочем, и предыдущие видео Андрея.

Из интересного: на обучение GPT-2 в 2019 году затратили примерно $40.000. Летом 2024 Карпаты показал, как можно примерно повторить результат, затратив $672. Сейчас, зимой 2025 он оценивает, что результат можно повторить за $100 (из-за прогресса железа, доступных почищенных данных и алгоритмов). Прогресс в 400 раз за 6 лет!!! 😲 Сильно! Интересно, через сколько лет воспроизведение GPT 3.5 можно будет давать в качестве задания спецкурса? 😉 В любом случае мне очень импонирует его сравнение обучения модели со сжатием с потерями (с очень нетривиальной оценкой качества результата, кстати).

Галлюцинациям (их причинам, а также методам по их уменьшению) Карпаты посвящает заметный кусок изложения, очень понятно объясняя, почему при использовании поиска уровень галлюцинаций сокращается, как его в принципе можно сокращать, почему это не так просто и как это будут делать.

Кстати, давно не видел комментариев типа "да что может этот стохастический попугай!".

Не знаете почему? 😉

P.S. Почему специалисты очень часто неверно прогнозируют развитие экспоненциальных процессов я когда-то подробно описывал на Хабре. Там в начале пачка примеров типа:
«У телефона слишком много недостатков, чтобы его можно было серьезно рассматривать, как средство коммуникации. Устройство не представляет для нас никакой ценности», — писали специалисты Western Union, тогда крупнейшей телеграфной компании в 1876 году.

Я бы не переоценивал потенциала LLM, но и недооценивать его не стоит. Серьезные недостатки технологии лечатся очень быстро и... оно взлетает.

Всем лучшего понимания идущих процессов! 😁

#speed_of_progress
Please open Telegram to view this post
VIEW IN TELEGRAM
3🔥3
Ну и к вопросу о взлете.

ChatGPT поставила рекорд, добравшись до 6 места самых популярных вебсайтов мира в январе. Они обогнали Твиттер. Это сильно.

Прирост почти на 6%, очевидно связанный с пачкой громких релизов.

Единственный вопрос, который меня мучает, глядя на эту статистику: интересно, кто до сих пор ходит на yahoo.com? 🤔🤔🤔

А вообще на месте гугла я бы напрягся. Правда они на месте ровно не сидят, судя по лидерству в бенчмарке предыдущего поста.

Мы живем в очень интересное время!)
3👍2
Уже в следующую среду, 19 февраля стартует спецкурс «Интеллектуальные методы обработки видео».

Что интересного?
- Актуальные задачи обработки видео
- Базовые навыки работы с видео на Python
- Реализация детектора смены сцен с помощью ML
- Работа с 4D-видео
- Разработка и обучение нейросети для видеоанализа

Первая лекция пройдет в 14:35 19 февраля в 609 аудитории на ВМК

Если ты учишься на 2-4 курсе и хочешь попасть в видеогруппу нашей лаборатории – этот курс твой счастливый пропуск!

Присоединяйтесь к чату курса
7
Господа!

Сэм Альтман тут неделю назад выступал в Токио и сказал следующее (на 20 минуте примерно):
«Наша первая ризонинг модель была где-то на уровне ТОП-миллион лучших программистов мира. И люди думали, что это очень впечатляет. Это было как вау-эффект в AI. Затем мы добились ТОП-10000. o3, мы говорили про это в декабре, находится в ТОП-175. Наши внутренние бенчмарки сейчас в районе ТОП-50, и к концу года это будет ТОП-1, так что это удивительная скорость масштабирования для большего количества вычислений в этой новой парадигме, и мы не видим никаких признаков того, что это остановится »

В общем скоро в программировании будет как в шахматах — соревноваться будут разные ИИ между собой 😉

Новая парадигма — это улучшение качества результатов работы за счет улучшения стратегии ризонинга, когда вы платите вычислительными мощностями инференса за улучшение результата. Довольно дорогая тема на сегодня (правда ее себестоимость быстро падает с новым железом и оптимизациями, R1 это хорошо показали).

А ТОП измеряется по рейтингу CodeForces наиболее популярному в мире сайту спортивного программирования.

Понятно, что когда такие слова пересказывают журналисты, они примерно никак не интересуются, что именно оценивает CodeForces. Также понятно, что умение круто писать и оптимизировать алгоритмы, это важно, но в реальном проде важнее писать код, который удобно поддерживать, критична надежность, критична командная работа и т.д. Т.е. это немного другой вид спорта. Но вообще возможность получения каждому программисту через год напарника, со скилами на уровне ТОП-1 CodeForces — это в любом случае вот прям ОЧЕНЬ круто. 😲💪🙂

Ну и я рекомендую покликать лучших товарищей в рейтинге CodeForces (пока там люди в основном, ибо уже через год им, боюсь, придется закрываться ибо отличить человека от человека+AI, боюсь станет невозможно 🤷‍♂️😉). Короче, вы увидите, что у людей прокачаться до ТОП-200 занимало обычно 3-5 лет и порядка 1500-4000 решенных задач. Т.е. довольно много. Похоже, что нейросеть OpenAI учится быстрее)

Сейчас среди некоторых особенно зазвездившихся со школы студентов модная тема — нафига учиться? Меня Яндекс был готов брать сразу после школы. Мне корочка чисто чтобы было высшее образование нужна, а так я уже пошел работать.

Это прекрасно для вас! 😁

На заглавном графике — количество вакансий в IT в США с 2020 года (январь которого принят за 100%). Видно, что в COVID все падало процентов на 30, причем программирование падало медленнее других специальностей. Дальше все ушло в пик в 2022, а потом пошло плавно снижаться и уже снизилось ЗАМЕТНО НИЖЕ БОЛЬШИНСТВА ДРУГИХ СПЕЦИАЛЬНОСТЕЙ почти до ковидного минимума. Ну и интересные вещи народ рассказывает. Тут была пара крупных сбоев в работе ChatGPT, так работа в некоторых компаниях средней руки (в которых ChatGPT не блокируется) натурально вставала 😂🤣😂 (тикеты не закрывались!). Ну должно же откуда-то браться 6-е по посещаемости место ChatGPT))) И у юристов работа вставала. 😉 Вот оттуда и берется 😂

Понятно, что в первую очередь это повлияет на мемных в США Code Monkey Programmers. Но, судя по темпам, не только. Есть прогноз, что в ближайший 2 года эта кривая заметно ниже упадет.

Пару месяцев назад было прикольное интервью с руководителем ШАД Алексеем Толстиковым, на нем Алексей рассказывал, что они сделали специальный трек для тех, кто 3-5 лет назад закончил вуз, поскольку ОНИ НАБИРАЛИ НА ЭКЗАМЕНАХ В ШАД МЕНЬШЕ БАЛЛОВ и не проходили, хотя дальше у них шансы затащить (если напрячься) были. Рекомендую внимательно прослушать всем тем, кто думает, что изучать новое всегда будет легко и просто. Как вы будете конкурировать с другими, если конкуренция резко возрастет?

Всем конкурентоспособности 😁
Please open Telegram to view this post
VIEW IN TELEGRAM
10👍2😢1
Коллеги!

Вчера прошел первый дедлайн нашего челленджа, проводимого в рамках CVPR NTIRE. Проводят его два наших аспиранта и магистр.

В первый раз наш пропоузал зашел на CVPR, причем мы подали аж 6 пропоузалов. Но это CVPR! Кто не в курсе — одна из наиболее топовых конференций изначально по зрению, а сейчас по пачке смежных тем. И прошел только один. Будем набирать опыт и работать над success rate. 😁

Соревнование по сути только началось (первый этап), а у нас (будучи почищено от тестовых и странных) 45 участников, 22 сабмита (17 из них уникальных). Это ОЧЕНЬ круто! 🙂🙂🙂

На ECCV этой осенью, где мы проводили 3 челленджа, у нас было 29 участников в самом "слабом" и 31 в самом "сильном", т.е. разброс был небольшим. И это В ПОЛТОРА РАЗА МЕНЬШЕ, на итог, чем на ПЕРВОМ этапе (задолго до окончания) тут! 😲😲😲

Короче — CVPR сила!!! 💪💪💪 ECCV нервно курит в сторонке.

Кто не следил за темой: мы прокачались в бенчмарках (сделав 18 штук), а там чтобы хорошо сделать — нужно много нюансов учесть (в первую очередь в профессиональной оценке — как подготовить данные, какие метрики, какие меры против накруток, проверка на лики и т.п.). Это только кажется — "раз и сделал". А реально если вы "раз и сделаете", то огребете справедливой критики воз с горкой! Не увезти будет. 😉

НО! Бенчмарки сейчас стало принято делать с открытым датасетом, что во времена DL — маразм. Ибо бенчмарк теперь что-то показывает только при публикации. А потом его топ запомоивается какими-то странными "типа SOTA" методами, которые по какой-то странной никому не понятной причине не воспроизводятся на новых датасетах. Вот она чистая незамутненная наука! Мы сделали много бенчмарков на закрытых датасетах (которые работают долго), но люди (опять абсолютно никому непонятно почему!) не очень любят туда сабмиттиться. 🤷‍♂️😉

Выход сегодня — челленджи. На момент проведения датасет закрыт, а после ко всеобщему удовлетворению открывается. Тема хорошая, но чтобы попасть туда, нужно пройти конкурс. Зато в злачных местах и участников реально много. Туда и идем 😁

Короче! Занимаемся нашим давним очень интересным развлечением — измеряем и соревнуем, набирая опыт в челленджах со все большим и большим числом участников! Параллельно подсвечивая лучших и лучше понимания как в соревнованиях участвовать. ✌️

Кстати, челленджи очень любят компании (и понятно почему). И мы челленджи на деньги компаний делали и будем делать. 😉

Это самое начало истории! Подробности будут! 😁

Stay tuned! 😉

#pro_conferences
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍1