Господа, тут в популярном канале приведен перевод интересной истории с Реддита о том, как младшая сестра человека в США в 11 лет выполняет домашнее задание смотря модный корейский сериал в параллельном окне и даже не пытаясь включить мозг 🤯😲😉 Умножить 60 на 3? Нееет... Прибавить 24 к 7? Боже упаси...

Самый залайканный ответ — человек прикалывается над параллельным просмотром сериала (про заработок через участие в игре на выживание), а самый залайканный ответ на этот ответ: "Она просто готовится к своему финансовому будущему". Иронично, да)

Далее народ залайкал:

Ее первый экзамен без материалов и без использования устройств покажет все, чему она научилась.

И ответ на него:

И ее все равно переведут в следующий класс, несмотря ни на что.

В общем кто в курсе — в США уже давно довольно заметные проблемы в образовании, особенно в STEM.

Также сказывается то, что в большинстве школ в США выставленные ученику оценки относятся к категории личных данных. Учитель не может на весь класс объявлять отметки учащихся (а то его забуллят нафиг, как за высокие, так и за низкие и виновен в этом будет, естественно, скотина-учитель).

Если кто не смотрел, то потратьте 9 минут на великолепную короткометражку "Альтернативная математика" (26 номинаций и 16 наград на фестивалях), она о том, как ПРАВИЛЬНО преподавать математику в школе) (на ютубе у перевода было 2.2 миллиона просмотров, а у англоязычного 13). Кстати, правильный ответ в конце фильма 20 002 000, конечно, там математическая ошибка, если что! 😉

Россия в этом плане пока отстает. Классы без оценок у нас есть только в некоторых частных школах, LLM пользуется меньший процент школьников и т.п. Но плавно движемся туда же.

В обсуждениях истории народ вспоминает Идиократию (фильм не самый умный, но много трендов там уловили, увы, точно) и вангует, что ваше поколение миллениалов будет самым умным по среднему IQ по сравнению со следующими поколениями. К тому идет! Впрочем, кто расслабится, окажется там же...

На этом фоне я в большим интересом смотрю за новостями из Китая:

В Китае впервые ввели полный запрет на использование мобильных на территории школ

Такой запрет приняли в городе Чжэнчжоу, провинция Хэнань. Школы города обязали строго следить за тем, чтобы ученики не проносили телефоны на территорию кампуса, «за исключением случаев, когда это необходимо для обучения». Чтобы ученик мог пронести телефон на территорию учебного кампуса, родители должны написать заявление.

Лютый фашизм, согласитесь!) (напишите об этом в комментариях)))

Известный популяризатор математики профессор Савватеев утверждает, что Китай остается последней страной, где на данный момент есть массовое качественное преподавание математики (и очень высока мотивация, кстати). Остальные скоро будут сколько в 3 минутах секунд у Сири, Алисы, Алексы, Маруси и прочих ассистентов спрашивать... На высшем образовании это тоже скажется, естественно.

Всем приятного просмотра двух пролинкованных роликов (25 минут суммарно) и мудрых выводов! 😉

Как-то так интересно мир меняется! 🤷‍♂️😲😉

#speed_of_progress

Господа!

Из текущего прекрасного. Тестируем новый модный SR. Работает он очень классно (съевшие на SR собаку наши ребята говорят, что прямо новый уровень). Но и косячит... тоже классно.

Зацените, как он творчески доработал логотип (причем по-разному наверху и внизу)! 😁😁😁

А еще он решил, что этой майке пошли бы пуговицы. И ничтоже сумняшесь впаял их, не подумав про шов! 😂🤣😂

Выделение на картинке, кстати, это область, которую разрабатываемая сейчас метрика артефактов считает багом. Вообще ловля артефактов SR становится все сложнее и интереснее 😁 Задание на артефакты SR мы в осеннем семестре сделали в магистерском курсе. Возможно, адаптируем его под бакалавров.

Ну и активнее всего SR сегодня встраивают в умные телевизоры. В этом плане мне очень понравился первый абзац раздела телевизоров с недавнего очень годного обзора Consumer Electronic Show 2025, которое на днях закончилось в США:

TVs are always fun, and it is difficult to resist shopping. AI made its way into TV with lots of claimed use of AI for audio and video processing that I am pretty sure everyone reading this disables.

Выделение мое. Хорошо чувствуется, как ему захотят свежие AI фичи 😁

В общем "Скоро в каждом телевизоре!" (с) 🤷‍♂️😉

Ну а мы поможем в меру сил повысить качество SR. Компании хорошо понимают, как это важно. А людям можно попробовать показать, в какой модели годный алгоритм, а где что-то совсем страшное ради галочки для маркетинга впаяли. Интересная тема, короче.

Господа!

Многие, наверное, уже в курсе, что неделю назад Марк Цукерберг в интервью Джо Рогану сказал, что в 2025 году они в (запрещенной) Meta, как и другие компании работают над написанием кода с помощью ИИ на уровне мидл-программистов. И да, поначалу это будет дорого и сложно, но в какой-то момент большая часть кода ваших приложений будет написана ИИ.

Вообще само интервью почти на 3 часа (7+ млн просмотров, почти 60 тысяч комментариев) и большая его часть — про цензуру в соцсетях. Но определенное бурление тезис про замену мидлов на AI, конечно, вызвал! 😉😉😉

Мне больше всего понравился контраргумент: "Это тот самый чувак, который гарантировал, что Метавселенная произведет революцию в мире 2 года назад?" Он очень удобен своей универсальностью. Когда нам нравится какой-то тезис, мы вспоминаем успешные проекты компании, когда не нравится — приводим список неудач. Оппонент повержен! Profit! 😂

Естественно, оценить реальный прогресс на таком уровне невозможно (хотя это наиболее частый уровень споров в соцсетях))).

Помню, 5 лет назад я говорил человеку, который собирался учиться на дизайнера, что нейросети быстро доберутся до дизайна и через 4 года (к моменту окончания учебы) ситуация сильно поменяется. Но тогда я мог привести в пример только статьи, как нейросети успешно генерируют мазки кисти. Мазки, Карл! Генеративного ИИ в современном понимании еще не было, но, очевидно, к тому шло! Но мне не верили) А потом я сам был в шоке, как скоро мой прогноз сбылся.

А 3,5 года назад говорил человеку, учившемуся на филолога (и уже зарабатывавшему копирайтингом), что нейросети скоро придут тексты. Но тогда в качестве аргумента приводил Яндекс Балабола, ныне отключенную сеть уровня GPT 1.5, которая могла только продолжать историю (иногда прикольно, но чаще неудачно). И как просел рынок копирайтинга сейчас!

К счастью для вас программисты совершенно не случайно весьма высокооплачиваемая специальность и там совершенно не случайно не так просто добраться до Senior и тем более до Staff Research Scientist и Principal Engineer в AI (и выше). Объем вещей, которые нужно не просто знать, а хорошо понимать для того, чтобы успешно вывозить проекты, становится реально большим!

Другое дело, что если у вас появляется ассистент, который, например, знает все опенсорсные библиотеки мира, их плюсы и минусы, проанализировал все их issues на гитхабе и знает, что у них работает хорошо, что плохо, ну и, естественно, знает какие задачи вам нужно решать и умеет их матчить. С таким ассистентом скорость и эффективность вашего программирования реально резко возрастает (ибо кто в компаниях давно, хорошо знает, как много велосипедов там изобретается постоянно). А такие помощники уже, очевидно, не за горами. И не только такие.

Кстати, если знаете умного прошаренного скептика, который может аргументировать не на уровне "у них были неудачи, я верю, что тут тоже будет неудача", а на уровне почему сложно решить конкретную задачу оценки и матчинга опенсорсных библиотек, буду очень признателен за контакт! 🙏 У меня в окружении в основном технооптимисты 🤷‍♂️😁, техноскептика не хвтаает!

Ну и пролью немного бальзама на душу скептикам 😁

Есть такой "Парадокс Джевонса", смысл его в том, что иногда увеличение эффективности использования какого-то ресурса вопреки интуиции приводит не к уменьшению его использования, а к увеличению, поскольку это становится экономически эффективно. В своей работе "Угольный вопрос", опубликованной аккурат 160 лет назад Джевонс заметил, что существенное повышение КПД использования угля привело не к уменьшению спроса на него, а, напротив, к увеличению, поскольку это стало выгодно.

В наших терминах это означает, что существенное снижение себестоимости написания программ может привести заметному увеличению объема их написания, что создаст дополнительный спрос.

Но расслабляться рано, поскольку в любом случае отрасль сильнейшим образом изменится и успевать за этими изменениями будет очень непросто!

Всем успешно успевать! 😁

Итак, господа, жалких 2 недели назад, я писал про свежее интервью Цукерберга, где тот говорил про замену программистов нейросетями, а чутка позднее, какие перспективы есть у LLM, с точки зрения Карпаты и ЛеКуна, а также что нужно прокачивать, чтобы остаться актуальным с точки зрения Эндрю Ына (его 5 целей на прокачку, которые будут востребованы при массовом приходе AI в программирование).

За эти две недели события явно ускорились. Во-первых, Трамп посулил 500 миллиардов долларов OpenAI & Co (правда не своих, а от ОАЭ через японский фонд, но...), далее 140 миллиардов долларов своим компаниями пообещало правительство Китая + о крупных тратах в десятки миллиардов заявили Google, X, Microsoft и другие. Это важно. Ибо уже сегодня хорошо видно, что для того, чтобы раскатать современную мощную LLM в сервис вот прямо очень сильно не хватает мощностей. С такими деньгами мощности будут.

Во-вторых, шороху навел релиз моделей DeepSeek, конечно. Как минимум китайская компания впервые догнала OpenAI (что даже обвалило американские рынки в какой-то момент). Моделька очень интересная! Настоятельно рекомендую зарегистрироваться там + поставить приложение на телефон (VPN не требуется). Отвечает модель очень неплохо, хотя и галлюцинирует, и ошибки делает. Я поймал ее на простой ошибке в запросе на русском языке (который отловил только поскольку она цепочку рассуждений привела), а когда тот же запрос на английском сделал - все корректно отработала. Причем в отличие от OpenAI она вообще не парилась, что ответы на языках разные. Да, разные. Используй ответ английской версии, он более правильный, чувак 😉 Ну и к вопросу о вычислительных мощностях, только я вошел во вкус с DeepSeek, как на прошлой неделе на нее обрушилась волна популярности и она сначала перестала отвечать вообще, а сейчас там

Due to technical issues, the search service is temporarily unavailable

Честно говоря не понимаю людей, которые до сих пор гуглят. По-моему глагол "загугли" устарел в прошлом году, с тех пор как ChatGPT начала очень годно агрегировать данные поисковых запросов. А еще есть Perplexity.ai. А теперь и DeepSeek.

Крутизна DeepSeek в том, что они выложили веса (причем в куче вариантов) бесплатно, в том числе для коммерческого использования. В итоге Perplexity оперативно подсуетились и подхватили падающее знамя возможность вызвать модель DeepSeek (т.е. можно с ней экспериментировать у них, и вообще переключать модели).

DeepSeek очень неплохо умеет в код и уже совершенно очевидно, что с такими моделями студенты смогут:
* решать домашние задания
* сдавать эссе по гуманитарным курсам
* писать дипломы
и т.д. еще быстрее, чем раньше)

В этом плане качество образования ленивых (коих немало) в очередной раз снизится 🤷‍♂️😉

Интересно, что сравнительно недавно (буквально с прошлого семестра) ChatGPT научилась вполне себе годно объяснять теоремы из университетских курсов на уровне репетитора. Это то самое годное использование прогресса LLM, которое позволяет оставить в голове после курсов не меньше, а больше! (что, впрочем, требует больше дисциплины) 😁

Ну и к заглавному графику. На нем представлен прогресс в плане удешевления расчетов разных сетей с показателями 44%, 82% и 86% по бенчмарку MMLU, где представлены задачи по 57 направлениям (философия, лингвистика, психология, география, астрономия, математика, физика, анатомия, генетика, международное право и далее по списку). Вертикальная шкала логарифмическая.

Хорошо видно, как за год-полтора удалось в 10+ раз снизить стоимость запросов! Сложнее всего это было сделать для наиболее продвинутых сетей (что логично), но и по ним прогресс заметный.

К тому моменту, как вы доучитесь, эта волна как раз дойдет до массового применения в production!

Be prepared! 😁

#speed_of_progress

Ну и к вопросу о взлете.

ChatGPT поставила рекорд, добравшись до 6 места самых популярных вебсайтов мира в январе. Они обогнали Твиттер. Это сильно.

Прирост почти на 6%, очевидно связанный с пачкой громких релизов.

Единственный вопрос, который меня мучает, глядя на эту статистику: интересно, кто до сих пор ходит на yahoo.com? 🤔🤔🤔

А вообще на месте гугла я бы напрягся. Правда они на месте ровно не сидят, судя по лидерству в бенчмарке предыдущего поста.

Мы живем в очень интересное время!)

Уже в следующую среду, 19 февраля стартует спецкурс «Интеллектуальные методы обработки видео».

Что интересного?
- Актуальные задачи обработки видео
- Базовые навыки работы с видео на Python
- Реализация детектора смены сцен с помощью ML
- Работа с 4D-видео
- Разработка и обучение нейросети для видеоанализа

Первая лекция пройдет в 14:35 19 февраля в 609 аудитории на ВМК

Если ты учишься на 2-4 курсе и хочешь попасть в видеогруппу нашей лаборатории – этот курс твой счастливый пропуск!

Присоединяйтесь к чату курса

Всем привет, уже завтра стартует спецкурс «Интеллектуальные методы обработки видео».

На первой лекции мы расскажем о нашей лаборатории и проектах, а также наши аспиранты расскажут о своем исследовательском пути в ней

Ждем всех желающих в 14:35 в аудитории 609

P.S. на гифке изображен четырехмерный кадр, который вы научитесь получать сами в последнем задании курса)

Господа!

На прошлой неделе я выступил в Т-банке с лекцией. Было супер-интересно в первую очередь потому, что я там пробыл 3,5 часа суммарно, из которых получилось почти 2 часа кулуарного общения с их разработчиками ИИ-алгоритмов. У меня была масса вопросов к ним, а у них (особенно после лекции, где я ехидно интересовался, каким новым метрикам они верят) была масса вопросов ко мне. 😉

Также я как обычно запросил обратную связь у организаторов и получил такой отзыв:

Очень субъективное мнение, потому что вы огромный эксперт, о вас внутри компании говорят как о лучшем ученом МГУ, в том числе в AI подразделении.

Мне как массовому слушателю было бы интересно еще про историю узнать как вообще зарождались технологии обработки и сжатия. Может о каком-то кейсе, когда использовали алгоритм сжатия как-то особенно интересно, например для передачи какой-то информации или благодаря внедрению сэкономили на серверных мощностях Х денег))

Позабавило, что я "лучший ученый МГУ". Не согласился, ответил:

Ну это преувеличение, думаю. У нашей лаборатории больше всего статей на А* конференциях по AI, чем у любой другой лаборатории МГУ. Это правда. Но считать "лучшесть" можно по разным метрикам, так что наше руководство на ВМК МГУ с вами точно не согласится 😉😉😉

На что получил ответ:

Да, понимаю, но это именно фидбек коллег, видимо по их метрикам "лучшести" вы выигрываете))

Вопрос метрик, это, безусловно, важнейший вопрос 😂😉😂

Большинство университетов (и компаний!) в мире сегодня измеряют достижения в научной составляющей ИИ по статьям на А* конференциях. Лет 20 назад это были журналы, но с тех пор как CVPR (и примкнувшие) сделали ставку на усиление и усложнение процедуры review и открытые публикации (отдельная очень интересная история), соревнование идет за то, чтобы опубликоваться там.

У нашей лаборатории 12 А* публикаций за последние 5 лет (4 у вашего покорного во многом благодаря Анастасии Анциферовой и 8 у предыдущего руководителя лаборатории Антона Конушина). При этом у ВСЕГО МГУ их было чуть больше 20. Т.е. у нашей лаборатории примерно половина. И дальше идет россыпью мехмат и физфак. При этом у меня основное место работы ВМК, а у Антона Конушина основное место — AIRI, а не МГУ и 4 более ни у кого нет. Так что да, стал лучшим по такой метрике 🤷‍♂️😉

Другая интересная метрика — оказавшие наибольшее влияние на ИИ по цитатам scholar. Тут картина такая:

* Карен Симонян (ВМК), мой бывший студент, всего цитат 254727, из них за топовую — первым автором, изобретение VGG — 140641.

* Алексей Досовицкий (мехмат), всего цитат 108281, из них за топовую — первым автором, изобретение ViT — первое эффективное применение трансформеров для зрения — 55663

* Дальше, видимо (поправьте меня!), идет Дмитрий Ветров (ВМК), всего цитат 10717.

Тут мы тоже первые, но увы, ключевые результаты всеми этими людьми получены за пределами МГУ. Вообще злые языки говорят, что вырасти выпускнику МГУ можно только вовне. Так все ключевые конкуренты ВМК за абитуриентов выращены или ростятся выпускниками МГУ:

* ФКН ВШЭ — набор 1250 бакалавров
- Создан Иваном Аржанцевым (мехмат МГУ)
- Первый руководитель бакалавриата Антон Конушин (ВМК МГУ)
- Текущий руководитель бакалавриата Евгений Соколов (ВМК МГУ)

* Физтех — набор 720 бакалавров (ФПМИ+ФРКТ+ВШПИ)
- Руководитель ФПМИ - Андрей Райгородский (мехмат МГУ)

* Центральный университет - набор 300 бакалавров (Т-банк — красавцы!)
- Существенную роль играет Александр Дьяконов (ВМК МГУ)

Я с огромным интересом общаюсь со всеми этими людьми (кроме Аржанцева), там огромное поле для осмысления.

Ну и вишенка на торт: квота на набор студентов в нашу лабораторию была сокращена с 17 студентов в 2021-2022 года (причем в 2021 мы брали 19 студентов + 2 сверх квоты), до 10 студентов в 2024 (+5 сверх квоты). Обратно пропорционально нашим успехам 😉

А мы сейчас сильно наращиваем публикации (в работе много А* статей), а также чтение курсов. В этом учебном году мы прочитаем 7 курсов для отбора студентов на ВМК, AI Masters МГУ, ФКН ВШЭ и Иннополисе.

Мы все очень хорошо разгоняем!

Stay tuned! 😉

Ваш "лучший ученый МГУ" 😂

Господа!

На прошлой неделе стартовали наши курсы на втором курсе программы AI Masters. Мы читаем:

* "Computer Vision & Video Processing" совместно с Сергеем Загоруйко (MTS AI), соавтором DETR (любительский обзор на тему DETR)

* И в первый раз читаем "Безопасность, интерпретируемость и устойчивость в машинном обучении" от группы метрик, основной лектор Рашид Бадер.

Про наш курс я пишу регулярно. Расскажу про новый) Рашид защитил в позапрошлом году диссертацию по состязательным атакам, а точнее про повышение устойчивости к ним: "Improving the robustness of mathematical models in adversarial scenarios through generalization approaches". Вообще лекции и тем более курс от постдока по очень свежим темам — это супер интересно на мой вкус. Сейчас тема состязательных атак активно взлетает. Везде в бизнесе вам мало реализовать модель в продакшн. Вам так или иначе нужно, чтобы она не ломалась (как минимум легко). Ибо кто следит за темой все эти истории с джейлбрейками LLM и веселыми картинками от генераторов картинок — это часто совсем не смешно для руководителей подразделений компаний. При этом в опенсорсе, который нужно завернуть в продакшн, думают об этих вопросах нечасто (скажем вежливо). 😉 И дальше, ваш выход, господа! 😁

Темы атак и защит мы сейчас читаем даже в рамках бакалаврского курса на ВМК, но в предельно коротком варианте — одна лекция на атаки и одна на защиты. Здесь, как видите, все более развернуто и рассматриваются не только метрики, но и картинки, NLP, звук. Также рассматривается непростая тема сертифицируемой устойчивости, когда мы можем гарантировать, что модель не может быть взломана больше, чем на определенную величину. Также рассматриваются атаки на персональные данные (и конфиденциальность), интерпретируемость моделей, а также Fairness (как это будет по-русски?, русской статьи в википедии на тему ML fairness пока нет), когда мы анализируем разного рода смещения в обучающих выборках.

Также напомню, что мы набираем к себе людей в магистратуру и если кто-то не попал к нам на 2 курсе, то самый лучший вариант, это поступить на AI Masters, там в первый же год пойти к нам на курсовую, а на второй год на диплом и дальше пойти к нам в магистратуру!

Продолжаем глубокую прокачку тех, кто хочет прокачаться! 😁

Господа!

Тут вчера вышел новый Sonnet, который показал (в том числе) неплохие результаты на моем любимом в этом сезоне SWE-bench Verified. Причем интересно, что если мы зайдем на сам SWE-bench, то увидим что ТОП-10 свежих результатов лежат в диапазоне 54,2%-64,6%, т.е. реальный результат 3.7 сонета — это второе место и только в прыжке (до 70,3%) первое. С другой стороны они представляют все-таки универсальную модель (которые, заметим, вполне себе любят программисты) и в сравнении с другими универсальными моделями результат великолепен и ступенька достижения оч хороша.

Показательно, что в опубликованном 4 дня назад отчете "AI progress is about to speed up" от Epoch.AI те вангуют 90% SWE-bench Verified к концу года. Учитывая, что в сентябре у них было 45% и 70% в прыжке сейчас в 90+% в конце года вполне верится. Т.е. бенчмарк по сути утратит смысл (как и многие другие бенчмарки), о чем я писал тут (кстати за неделю до того, как тезис популяризировал человек из OpenAI).

Модное возражение на тему — это переобучение (модель уже видела такие примеры в обучающей выборке). Классика жанра, которую мы видим в десятках подобный бенчмарков снова и снова — да, у кого-то из топа (кому ну ооочень надо оправдать деньги инвесторов, например))) это будет переобучение. Но тех, у кого это реальный результат, т.е. меняешь постановку задачи и сеточка справляется будет, похоже, немало. Хорошо видно, как они довольно кучно идут.

Также Джефф Динн (Google's Chief Scientist) в интервью пару недель назад сказал, что 25% кода компании уже пишет ИИ. Как они считали деталей нет и скорее всего это автозаполнение, но сколько было процентов год назад? Ноль? Они явно внутри ассистентов интегрируют и раскатывают.

В посте с большой (для этого канала) дискуссией, где я писал, как Альтман планирует к концу года выпустить ТОП-1 программиста по рейтингу CodeForces, был чудный график в заголовке, из которого следует, что количество вакансий программистов с января 2020 (до ковида) до начала 2022 года сильно выросло (быстрее остального рынка труда), а за следующие 3 года упало (также сильнее остального рынка труда).

В этом плане многие (начиная с Дженсона Хуанга) вангуют сильные измерения рынка труда программистов. В первую очередь это массовое распространение ассистентов, следствием чего ключевой задачей станет ПОНИМАНИЕ ТОГО, ЧТО ПРОИСХОДИТ В КОДЕ. Т.е. Code Monkey Programmers (In simpler term, it's someone who doesn't understand the fundamentals of programming and works on mostly unimportant stuff) и гугл-программисты потеряют работу. При этом есть очень приятные версии что в целом спрос на программистов возрастет. Более того — заметно возрастет спрос на топовых программистов, способных собственно к созданию топовых решений.

Ну и вишенкой на торт — Open AI анонсировали новый бенчмарк SWE-Lancer, в который они собрали 1400 реальных задач по программированию (поэтому SWE) с фриланс сервиса Upwork с ценой от 50$ до 32000$ за задачу и общей суммой миллион долларов. Нормальной публикации пока нет, но предварительно первое место выбил Claude 3.5 Sonnet с суммой решенных задач в $403к. (Возможно, поэтому пока нет страницы бенчмарка))) С другой стороны что-то они низко планку поставили, похоже, такими темпами бенчмарку пару лет не продержаться.

А Google, кстати, выкатили AI co-scientist. Это значит, что конкуренция с китайцами и американцами в следующем году станет совсем жесткой.

В общем безмерно интересные вещи происходят прямо на наших глазах! И задача удержаться на гребне волны! Погнали! 😁😁😁