Господа!

В моих старых добрых лекциях "Уйти с тропы лемминга" в последней части "Жизненный цикл программиста" я кратко рассказываю про книжку "Важные годы / Почему не стоит откладывать жизнь на потом". Это, кстати, эпичный пример, как перевод может убить исходный месседж. Исходное название "The Defining Decade: Why Your Twenties Matter — And How to Make the Most of Them Now". ОПРЕДЕЛЯЮЩЕЕ десятилетие, почему ваши 20 имеют имеют значение. Это принципиально другой смысл!

Так почему десятилетие с 20 до 30 определяющее? Желающие могут посмотреть TED talk автора "Why 30 is not the new 20", но если брать суть, то дело в нейропластичности.

Нейропластичность - это способность нейронов и нейронных сетей в мозге изменять свои связи и поведение в ответ на новую информацию, сенсорную стимуляцию, развитие, повреждение или дисфункцию.
Британника, статья #Нейропластичность.

Тему копают довольно давно. В 1989 был создан аж отдельный журнал Neural Plasticity только о нейропластичности. Большинство исследований посвящены детским годам, когда нейропластичность (см. график) максимальна. Но много работ и о реабилитации после травм, когда мозг также (в некоторых случаях и при некоторых условиях) демонстрирует удивительную пластичность даже в более взрослом возрасте.

В шуточном варианте можно сравнить высокую нейропластичность молодых лет с формированием архитектуры нейросети, а обучение с 20 до 30 с fine-tuning 😉 И те, кто старшие классы потратил на Доту получают embedded ImageNet, а кто на олимпиады — built-in transformer-based архитектуру 🤣😂🤣

Если быть более точным, то у нас между ушей развивается Mixture of Experts-based архитектура, т.е. на входных данных дообучается сразу несколько архитектур параллельно (под разные задачи). Более того, параллельно дообучается оркестратор. Это очень важный механизм, который позволяет имея супер прокачанный CS/GO "ImageNet" и управление мышкой (когда вы без модов снайперски попадаете куда надо — ценнейший навык для работы 😂) и transformer-based генеративки в зачаточном состоянии 😉 таки их прокачать в направлении кода, презентаций и статей (пусть затратив массу сил). Я наблюдал удивительные случаи прокачки студентов с ооочень слабой начальной базой (если воли хватает). 💪

Одним из ключей к прокачке (согласно обзору Principles of Experience-Dependent Neural Plasticity) является интенсивность:

Intensity: If you do something that doesn’t challenge you, you won’t see much of a difference. Intensity can be the number of times you do an exercise or how difficult it is. Try to find an intensity that is one step above your current level.

(Ходящие в фитнес увидели знакомое))) Для обучения важно повышение уровня сложности, что не все тянут.

Примерно 35 лет назад обучение в университете не давало отсрочки от армии. Военкомат забирал со 2-4 курсов и возвращал через 2 года. Казалось бы, жалких 2 года, но была масса примеров, как весьма успешные до армии студенты балансировали на грани вылета (или за гранью) после возвращения. Даже мотивированные! Людям реально становилось сложно затаскивать!

Зимой писал про интервью интервью с руководителем ШАД, где речь шла про специальный трек для закончивших вуз жалких 3-5 лет назад, ибо им даже поступить сложнее.

Мне наиболее интересны те, кто хотел бы прокачаться на самый топ. В недавнем материале Reuters описываются зарплаты в 10-20 миллионов долларов в год у топовых исследователей OpenAI & Google и разовых бонусах по паре миллионов. 😲

При этом я пачками вижу студентов (часто с хорошими данными), уходящих фигачить прод (в DS это джейсончики перекладывать) ВМЕСТО прокачки в 20 с хвостиком. 🤷‍♂️😁

Вангую, что PyTorch будет чем-то типа PHP в резюме через 15 лет (как и многие другие модные темы 😉), и качать надо не моду фреймворки, а алгоритмы и фундаментальные технологии от базовых ко все более сложным (кто потянет).

Желаю всем успеть потратить остатки нейропластичности на более крутую build-in архитектуру и в целом сохранить нейропластичность повыше! 🙂 А чем больше будет рано уходящих в прод, тем больше вы будете зарабатывать! 😁

Работаем! 😉

#neuroplasticity

Господа!

Недавно мы выпустили скрининг (быстрое тестирование) российских видеохостингов.

История началась на профессиональной конференции VideoTech осенью прошлого года, где после моего дневного доклада о кораблях бороздящих просторы вселенной последних достижениях в области метрик качества видео на вечерней дискуссии поднялся товарищ и выдал мне в лоб с размаху. Короче, его начальство считает измерение качество совершенно ненужным. У них бизнес. Они внедряют lean production, как у Toyota. Там все, что людям непосредственно не нужно, должно быть безжалостно сокращено. Поэтому они снижают качество видео, пока люди не отписываются — и это наиболее здоровая бизнес-практика, а не эта ваша никому не нужная наука. А мой тейк состоял в том, что Toyota перед тем, как отрезать лишнее, сначала поставила планку качества (что каждый узел должен быть не хуже по надежности самого лучшего узла любого конкурента) и только потом начала безжалостно резать. А если резать косты до тех пор, пока идут продажи, получится как бы не совсем Toyota. 🤷‍♂️ Ну есть такое мнение. 😉

Дискуссия была жаркой и закончилась ничем. А недавно мы сделали скрининг видеохостингов. На пробу. Оценить, как зайдет. Ибо предыдущий опыт был негативным. В конце концов, вполне возможно, мы не правы и тестирование качества нужно только иностранным компаниям, а вам и так сойдет! 😁

Если честно, то пока реакция компаний на отчет ОЧЕНЬ радует. 😲🙂

Думаю, что у нас есть реальный шанс существенно поднять техническое качество российских сервисов и это основная цель данного проекта. Цель амбициозная и по ряду причин непростая. Буду держать вас в курсе продолжения этой чудной истории. Ниже пост про нас в одном из каналов (моя цитата взята из отчета, который рекомендую прочитать в оригинале):

#pro_conferences

▶️ Rutube грузит сеть больше «VK Видео». И YouTube.

И дело не в зрителях, а в оптимизации. Институт перспективных исследований проблем ИИ и интеллектуальных систем МГУ им. М.В. Ломоносова провел сравнительный анализ популярных видеохостингов с акцентом на визуальное качество видео. Сам отчет можно найти по ссылке.

В сравнении попали Rutube, «VK Видео», а также зарубежные Vimeo и YouTube. Представители аналитической команды отмечают, что это пробный скрининг, который впоследствии может развиться в более глубокую работу по анализу десятков кодеков, но он дает ответ на вопрос, почему «замедленный» хостинг через VPN порой работает лучше, чем альтернативы.

🟢 Основные выводы:

• YouTube требует в два раза меньшего битрейта для достижения того же качества, что и у отечественных сервисов. Это означает, что при одинаковом визуальном качестве файлы на Rutube и «VK Видео» занимают вдвое больше места. Такая неэффективность может существенно повлиять на стоимость хранения и доставки контента, особенно в условиях ограничений пропускной способности.

• Российские сервисы испытывают трудности с трансляцией видео при низкой скорости интернета. При имитации реальных сетевых условий качество стриминга на Rutube и «VK Видео» было в два раза ниже, чем у YouTube. Задержки воспроизведения у Rutube превышают аналогичные показатели YouTube более чем в 8 раз.

• Проблемы с оптимизацией кодирования популярного контента. Российские видеохостинги не применяют более продвинутые настройки кодирования для популярных видео, что снижает их конкурентоспособность даже относительно собственных решений для менее просматриваемых материалов.

• Неэффективное управление битрейтом и риск «непрактичных» решений. Например, Rutube использует завышенные битрейты для FullHD-видео, что может приводить к техническим проблемам при воспроизведении, особенно на сложных сценах.

• Существуют ошибки в транскодировании, которые могут ухудшать пользовательский опыт. Некоторые видео на Rutube демонстрировали немонотонность RD-кривых — ситуация, при которой увеличение битрейта не приводит к улучшению качества, что создает проблемы для плеера и пользователя.

Дмитрий Ватолин, руклабораторий компьютерной графики ВМК МГУ и интеллектуального анализа видео института ИИ МГУ:

У бизнеса самый главный показатель — это пользователи и подписки. И если они битрейт понижают, а пользователи не отписываются, значит все в порядке. Такая точка зрения действительно распространена, но надо трезво понимать, что снижение себестоимости «пока покупают» — это риск повторения истории Лады Калина, что в условиях скорого прихода китайских компаний на наш рынок вещания весьма чревато. Сейчас мы активно работаем с китайскими компаниями и они демонстрируют и великолепное понимание тонкостей накрутки, и квалификацию, достаточную для написания крайне конкурентоспособных кодеков. В наших же компаниях кодеки не пишут, а инженеры жалуются на специфические компетенции начальства, и нежелание вкладывать деньги в качество сервиса.

™️ Телекоммуналка

Господа!

За последний месяц я принимал госы, а также слушал дипломы на ВМК, в Сколтехе и Вышке. Пополнил свою коллекцию разных феерических историй. 😉

Но сильнее всего прикол один молодой человек, который на невинный вопрос "А какие предметы вы сдавали в этом семестре?" реально не по-детски завис. 😲🤷‍♂️ 🤦‍♂️

Это не ВМК (хотя программист), но это и не так важно. Ибо причины явления универсальны:

1. Прогресс фармакологии. Люди как в школе сдавали ЕГЭ на спидах/фене/ноотропах (горячо осуждаю), так и продолжают. Период полураспада знаний при этом стремится к нулю, естественно. 🤷‍♂️

2. Прогресс радиотехники. Микронаушники для экзаменов продаются от 1,5 тысяч для нищебродов до 15 для ценящих незаметность и надежность. Безденежные доны могу взять у друга или арендовать. Хоба, и вы можете ответить на ЛЮБОЙ каверзный вопрос!!! 😉

3. Прогресс нейросетей. С этого года большинство домашних заданий курсов успешно решается нейросетями! Yes-s-s-s!!! 👍 Экономия времени!!! 👍

4. Нет времени учиться. Сегодня кто не работает, тот лох. 😂 Не, ну реально некогда, чо пристали! 🤷‍♂️😉

5. Нет смысла учиться. Человеку еще после окончания лицея HR Яндекса сказали, что берут по fast track (и взяли!). Ему нужна только корочка, а вся эта ваша так называемая база не нужна! 😲😉🤦‍♂️

6. Нет времени учить. Университеты почти не индексируют зарплаты, а в IT компаниях они бурно растут, и разница уже давно конская. В этих условиях огромный процент сотрудников университетов — это совместители на одну миллионную ставки, которые учат ради найма к себе в подразделение и реферал бонусов, превышающих смешную зарплату. 🤷‍♂️🤦‍♂️

7. Сказываются родители. Они в школе привыкли с ноги открывать дверь кабинета директора и устраивать ай-яй-яй учителям, кошмарящим их нежное и ранимое чадо (строго по шедевру "Альтернативная математика" — очень рекомендую!). Не поверите, их чада выросли и теперь они приходят в университет, устраивая нескучную жизнь там! Пара случаев травмирующего опыта общения с ними серьезно демотивируют что-то требовать с раздолбаев. 🤬👍

8. Сказывается СВО. Если студент не сдает и вылетает, его непременно заберут на СВО. А там его точно убьют. Поэтому требовательный преподаватель — это циничный убийца с руками по локоть в крови. 🙈🤬

На этом фоне, честно говоря, удивляют немногие учащиеся 🙂

Но основная причина, конечно, что мы живем в условиях рыночной экономики и сейчас просто период, когда ПЛАТЕЖЕСПОСОБНЫЙ спрос на качественное образование в IT на минимуме (я по чудовищной разнице зарплат сужу))). Наиболее честная (хотя и циничная) позиция тут у Вышки, которая устами бывшего ректора и декана ФКН доносит четкий месседж "Университет дает ВОЗМОЖНОСТЬ получить образование". И если какой студент занят работой настолько, что не успевает возможность воспользоваться — это его дело. Будет чукчей, обманувшим таксиста, из старого анекдота (заплатил и не поехал, однако!). 😁 Образование постепенно станет очень платным (жутко непопулярный тезис, напишите об этом в комментариях))). Ну или будет видимостью. 🤷‍♂️

В общем — с таким количеством факторов (и фармакология, и радиотехника, и LLM, и рынок, и...) процент студентов, который будут искренне зависать на коварном вопросе о сданных предметах в июне обречен бурно расти! 📈

Случай меня было огорчил, но тут, к счастью, бальзамом подоспел ПМЭФ! Господа! У нас все офигенно и компании рапортуют о лучших в мире нейросетях, а ректоры рассказывают о миллионах выпускаемых супер-специалистов. Проблемы нет! 💪😉

Вышеизложенные тренды — великолепная новость для тех, кто нацелен копать! Нейропластичность не обманешь и спустившие золотые годы на изучение тонкостей React/Hadoop/Spark/SwiftUI (и даже Metasploit!) завтра обнаружат, что дружный коллектив AI-агентов знает эти тонкости лучше их. 🤷‍♂️ (Этого, конечно, никогда не произойдет, я шучу!) 😉

У меня в этом году (на фоне моды ненужности глубокого IT образования) почему-то рекордное количество желающих пойти в аспирантуру (в том числе из компаний), будет сложно столько взять. Смотрю на ситуацию c широко открытыми (как в аниме) глазами и с оптимизмом! 😉

Продолжаем движение! 😁

Господа!

Мир вокруг меняется... Причем от некоторых изменений я реально фигею (дорогая редакция)! 🤯😁

Не люблю лекции в стиле монотонно усыпляющей говорящей головы, а люблю задавать аудитории много вопросов. Это позволяет понять, какой темп изложения нужен, что народ массово пропустил в материале пререквизитов, будить заснувших и т.д.

Какое-то время назад вопросы показали, что у студентов в очередной раз упала способность считать в уме. Я про это подробно писал в самой своей популярной по просмотрам статье на Хабре "К вопросу о математических способностях студентов или как учить переполненный мозг". И начинаю там, кстати, с воспоминаний профессора МГУ Сергея Александровича Рачинского, который покинув МГУ и уехав в родное имение в XIX веке, открыл в сельской местности 18(!) школ:

Разом, все они человек тридцать-сорок накидывались на меня: "Сергей Александрович, мне деленьице! — Мне на сотни! —– Мне на единицы! — Мне на миллионы! — Мне на тысячи!"… эта беспрестанная усиленная возня с цифрами нагнала на меня настоящий арифметический кошмар

Картина сегодня сильно отличается... Простые задачки, которые с удовольствием решали студенты всего 10 лет назад вызывают ступор... И на тебя смотрит куча народу. И в глазах у них читается (крупными буквами): "Ну давай уже!!! Говори ответ и дальше пошли!" 🤷‍♂️😂

Вскрытие показало, что пациент спал народ массово плохо помнит таблицу умножения. И вообще в эпоху, когда у каждого в кармане девайс, превышающий по мощности суперкомпьютеры 25-летней давности, знать таблицу умножения необязательно!!!

Я читаю спецкурсы, причем сразу объявляю, что моя цель — найти лучших, которых интересует зарплата не ниже 800 тысяч (кстати, пора индексировать и ставить миллион, в последнее время регулярно слышу справедливый вопрос разбирающихся в теме: "почему так мало"). В этом плане спорить смысла ноль! Поэтому я горячо поддерживаю, что в принципе ничего изучать не надо (и лекции не нужны!))), поскольку тот же самый волшебный карманный девайс помимо калькулятора (не поверите!) еще и подключен к интернет!!! 😂🤣😂

Заметим, что точка зрения про таблицу умножения становится популярна. На видео выше человек, похожий на журналиста, беседует с человеком, похожим на министра образования и науки Эстонии. Зацените! Таблицу умножения не знают, обратите внимание, оба! 🤯🤦‍♂️ Но первый пока владеет устным счетом в пределах 100. 😲 Вааау! 👏

Кто-то скажет, что ну это у них. Щаззз! Вздорная история на днях произошла с нашим министром образования. Впрочем, ее уже объявили дипфейком на ПМЭФ))) Т.е. разница только в том, что у них это выкладывают, а в нас (пока) объявляют дипфейком. А сколько подобных фееричных историй в США? Популярность STEM в университетах падает не случайно! 🤷‍♂️

Открою страшный секрет! (Должна же у вас быть прямая польза от моих постов) 😁 Сегодня, в эпоху data science, разница между человеком, который легко жонглирует цифрами в уме, и человеком, который только калькулятору их скармливать может, это разница между человеком, который глядя на чиселки говорит "Стоп! Тут какая-то фигня!" (и находит хитрую багу в подготовке данных) и человеком, который никакой проблемы в упор не видит (и багу в подготовке данных пропускает в обучение модели, идущей в прод). Все! 😁

Причем проблема косит и продвинутых (знаю по себе). Лаида Кушнарева (автор А*, мехмат МГУ, Huawei, канал @tech_priestess) на днях писала у себя:

Как будто туман рассеивается, и на горизонте появляется знакомый, но давно забытый пейзаж строгого математического мышления...

А ведь я столько лет строила внутри себя уютную империю когнитивной стагнации!

Каждое утро я начинала с тиктоков для зумеров - чтобы приглушить нейроны, отвечающие за критическое мышление и логику. Иногда я ловила себя на мысли - "а ведь когда-то я читала Вейля" - и тут же включала видео, где кто-то ссыт себе в штаны под рэп-баттл между Оксимироном и Гнойным.

Честный пост про деградацию в стиле математического киберпанка (в молодежных терминах))) о ее борьбе с собственной когнитивной деградацией! 🙂 Красавица! Панки хой!) 💪

Всем победы в этой непростой борьбе! 😁

Господа!

Из текущего интересного, наш магистр Георгий Бычков передает всем привет с ICME-2025 (Core A) из жаркой Франции)

Краткие впечатления:

Вообще очень много китайцев: по словам General Chair, 88% из mainland China, если считать просто китайцев, их около 95%)

Тренд! 🤷‍♂️😉

Из-за этого уровень некоторых устных докладов был очень низкий, так как докладчик плохо говорил по-английски. Много proxy, с ними тоже не все хорошо, так как часто не могут ответить на простые вопросы по статье. Вишенка на торте презентация лучших докладов: устная презентация 3х лучших работ конференции: 2/3 спикера не говорили по-английски и на вопросы из зала отвечали через переводчика. В топ-15 лучших работ, кстати, все работы китайские. На постерных сессиях иногда много кого нет на своих местах и приходится самому вникать, что происходит. Пленарные доклады отличные.

Жесть, конечно! 🤯

Из интересного: подошёл после доклада к организаторам челленджа по SR. Начал спрашивать про челлендж, и сказал, что мы организуем их на ICCV. Поинтересовались, откуда я. Сразу же вспомнили бенчмарки, сравнение кодеков и Subjectify.us.)

Отлично! Даже Subjectify!) (мы его отдельно позиционируем))) Если учесть, что еще недавно нас только по сравнениям кодеков знали и много бенчмарков мы выложили буквально за последние 3 года — неплохо. Работаем! )))

Потом организатор челленджа с Microsoft подошёл ко мне на постерной сессии и сказал, что заинтересовался нашими челленджами. Я ему дал ссылку на ICCV AIM наш, он обещал к понедельнику посмотреть и что-то нам отписать. Наши контакты у него есть, кто-то ему из наших уже писал.

Пример правильного активного поведения на конференции, характерного не для всех магистров!!! 👍👍👍

Докладов по нашей тематике очень много. Были по атакам, доверенному ИИ, SR, метрикам, JPEG AI, кодекам, сжатию. Один из европейцев (вроде университет Клагенфурта, Австрия) вспоминал Николая с VCIP)

Да, прослойка тонка 😁

3,5 года назад, когда мы вошли в грант Центра Доверенного ИИ ИСП РАН я поставил у нас задачу:
* Каждому бакалавру по Scopus
* Каждому магистру по Q1
* Каждому аспиранту по А*

Мы хорошо продвинулись на этом пути! 😁 А сейчас, с Центром ИИ МГУ убираем первый пункт и сразу подключаем бакалавров в А*. 💪

И надо сказать, это работает.

Если самым сильным негативным впечатлением июня был молодой человек, который не смог назвать предметы, которые он сдавал в этом семестре (пример закономерного тренда развития IT-образования).

То самым сильным положительным впечатлением была статья на ICCV (А*) про оптический поток, первым автором которой является наш третьекурсник. ТРЕТЬЕКУРСНИК, Карл! 😨 Понятно, что без аспиранта и магистра в соавторах фокус бы не получился, но человек реально дал ключевой вклад в статью. Для полноты картины замечу, что это был зимний набор 2 курса, т.е. прокачка и работа была сделана за 1,5 года. Т.е. человек прошел полугодовой спецкурс (лучшим), потом полгода прокачки и погружения в тему. Потом год работы. И получилось! 👏💪👏💪👏💪👏

В общем — кто-то прокачивает А*, а кто-то прокачивает React/Angular/Vue. Посмотрим, кто из них где будет через 3-5 лет 😉 Ибо по факту А* сегодня, это способность выиграть соревнование по скорости с китайцами, которых, вы видите, на тренировочной для них А уже 95% 🤷‍♂️😉

Замечу, что я люблю пробивать авторов статей и довольно регулярно вижу в китайских статьях первым автором магистра. Но и бакалавры встречаются! Считаю, что по этому параметру наша лаборатория догнала топовые китайские! Ye-e-e-e-es!!! 😁😂😁

Также замечу, что IFAIK на ВМК более никто из аспирантов других лабораторий не публикуется последние 5 лет на А*, с аффилиацией МГУ по крайней мере (пока найти не удалось, если знаете, пишите в комментарии, плз). Ну и к нам в этом году хочет поступить рекордное число в аспирантуру. Будет запредельно интересно, сколько сможем взять. 😁

И еще из хорошего за июнь. На процедуре выбора тем научной работы весенний набор дружно кинулся на самые сложные темы!!! Первый раз такое видел за много лет! 😲 Что-то точно меняется в этом мире! 😉

Работаем! 😁

#pro_conferences

Господа!

За последний месяц было море новостей про конские зарплаты и бонусы при наборе в Superintelligence team в [запрещенной компании]. $100 миллионов бонусов в год, $200 миллионов за 2 года и даже $1 миллиард за 4 года ("One received an offer for more than $1 billion" (с) Wired). А ведь совсем недавно OpenAI пришлось раздавать бонусы на $2 миллиона и пакеты на $20 лямов, чтобы удержать от ухода к Суцкеверу, а тут новая напасть. 😲😁

Причина роста зарплат — бурный рост доходов. OpenAI вышла на ARR 12 ярдов в июне. Чтобы понять масштаб — столько было у всего Яндекса в прошлом году (по текущему курсу рубля 😉))). При этом у Яндекса условно 30 тысяч сотрудников, а у OpenAI 3 тысячи, т.е. OpenAI может платить существенно больше на брата (хотя они до сих пор убыточны и как не в себя вкладывают в компьют). Яндекс вырос на 37% в прошлом году 👍, но у Open AI рост в 3+ раза за последний год и 4 раза за прошлый. 😲 Другие темпы. 🤯💪

Meta* явно пробовала своими силами топовые результаты затащить, успехи были, но недостаточные (провал Llama 4). Отсюда решение потратить 2+ миллиарда долларов на переманивание бонусы исследователей и на создание Superintelligence team.

Еще со времен своего Карена Симоняна я с интересом отслеживаю траектории "мультимиллионеров от ресеча" из наших палестин.

Какие в целом мысли при вдумчивом изучении списка 44 сотрудников Superintelligence team (картинка выше):

Вывод 1: Система образования Китая рулит!

50+% — китайцы. Причина — мощная реформа образования 30 лет назад, которая дала стране много инженеров и ученых сейчас.

Вывод 2: PhD рулит! На 30 (тридцать!) Research Scientist без степени 1 (один)!

Кстати, русский)))

Вывод 3: Однако ВМК и Мехмат МГУ рулят!

Посмотрим подробнее их траекторию:

* Александр Колесников — в 2012 году закончил специалитет ВМК (ММП). С середины 4 курса работал в Яндексе (отработал 2 года 9 месяцев). Через год после окончания университета поступил в аспирантуру в Австрии, которую закончил через 5 лет.

Вообще, как я вижу, это основная ловушка сегодня. Переход из Яндекс в аспирантуру (даже европейскую), это ВСЕГДА жесткий даунгрейд по деньгам. Причем НА ГОДЫ. Это супер сложно в молодом возрасте, особенно когда однокурсники и бывшие коллеги постят фоточки из серии "как я с заей сгонял на Мальдивы на выходные"... А ты фигачишь статьи...

Впрочем, профиль в сколаре показывает, что Александр в аспирантуре времени не терял, а уже на первом году аспы затащил ECCV (A*) первым автором. Оч круто! И дальше еще А* одна за другой!

Наилучшая статья по цитированиям (почти 70к) у него в соавторстве с Александром Досовицким (кстати, также бывший аспирант мехмата МГУ) через 2 года после окончания аспирантуры в 2020 во время работы в Google Brain — о том, как успешно применять трансформеры для картинок. Статья ввела Vision Transformer (ViT), заменивший сверточные сетки и ставший стандартом. Дальше был OpenAI, а сейчас Meta. Всего я насчитал 16 А*, и, похоже, это не все (часть архивных не матчил).

* Антон Бахтин — закончил мехмат годом ранее в 2011. В 2012 поступил в ШАД и пошел в Яндекс. Через 3 года смог пройти собес в Google (Bay Area). Через 2 года — в Facebook*, через 5 лет в Anthropic, еще через 2 в Superintelligence team. По статьям у него не так густо (хотя 4 NeurIPS, 3 ICLR, одна ICML + еще есть). Короче, с А* сильно выше среднего.

Какие мысли:

* Глубокое образование рулит. Во всех смыслах.

* Я думаю, что много мехмата по той же причине, по которой А* статьи за пределами нашей лаборатории в МГУ только на мехмате и физфаке. На ВМК атмосфера "кто не работает, тот лох". И толпа леммингов уносит даже многих талантливых людей в прод. При том, что ролять все больше начинает ресеч.

Что Александр Колесников ВМК — супер (в таблице ошибка, поправил после коммента)

* У Яндекса неплохая система отбора лучших. Главное вовремя уйти 😉

* Максимальной ценности для индустрии наиболее дорогие кадры достигают через 10-15 лет после окончания университета (через 3-10 лет после окончания аспы).

А сколько будешь получать через 10 лет после окончания университета ты [%%USERNAME%%]? 😉

Господа!

Поговорим сегодня об очень интересной теме. О потолках. 😉

1. Во-первых, прочитал тут на днях мысли о современных школьниках от составительницы модной олимпиады Deep Learning School:

Вспомним еще тут, что большинство из них не очень хороши в математике, и если они не будут уделять достаточно времени математике в универе, то создадут себе "потолок" в карьере. Все же, чтобы быть супер хорошим AI-разработчтков (даже инженером, не обязательно рисерчером), нужно очень хорошо разбираться в математике.

По школьникам хорошо видно, как они заучивают какие-то (простые) пути получения решений и не готовы идти глубже. Более того, налегают на программирование в ущерб математике ("Ну ее, эту вашу матешу, дайте мне нейронок"))) И это с большой вероятностью создает "потолок" в карьере. И я, наблюдая траектории студентов, с этим полностью согласен! 👍

2. Во-вторых, Павел Дуров тут 3 недели назад писал:

Если вы студент и выбираете, на чем сосредоточиться, выберите МАТЕМАТИКУ. Она научит вас неуклонно полагаться на собственный мозг, мыслить логически, разбирать задачи и решать их шаг за шагом в правильном порядке. Это основной навык, который вам понадобится для создания компаний и управления проектами

Это пост целиком. 3 миллиона просмотров и 35 тысяч рублей звездочками 😉

Заметьте, он даже не для DL (где действительно для чтения свежих статей без математики никуда), он просто для управления и стартаперства рекомендует! 😲🙂

3. В-третьих, за последнее время было довольно много статей о том, как обучение математике и программированию улучшает качество ответов моделей (например, тык, тык, тык и тык). Т.е. вы обучаете модель доказывать теоремы и лучше писать замшелые пошаговые алгоритмы, а она начинает лучше отвечать по самому широкому кругу вопросов. Странно. Какая тут может быть связь? 😂🤣😂

4. В-четвертых, замечу, что 2 из 3 топовых товарищей из этого поста с мехмата. Настоящие индейцы, (которые с 1 курса работают и с математикой не дружат) должны дружно возопить "Это совпадение!". Это четвертое наблюдение, дорогие друзья. Как говорил чукча из бородатого анекдота: "Один раз — случайность, два — совпадение, а три — тенденция, однако!" 😂

Ну и до кучи тут на днях в российской телеге активно обсуждали статью "Working with AI: Measuring the Occupational Implications of Generative AI", где товарищи из Microsoft проанализировали 200 тысяч диалогов пользователей с Microsoft Bing Copilot и сопоставили их с O*NET (Occupational Information Network) — официальной базой данных профессий США, где отражены решаемые в профессии задачи и требуемый опыт.

Был построен AI applicability score, учитывающий:
* частоту отдельных IWA (Intermediate Work Activities) в разговорах
* успешность решения задач
* насколько задача покрыта в диалоге
* и насколько важен этот IWA для конкретной профессии.

Понятно, что пока в этих измерениях есть натяжки (да и 200 тысяч диалогов не так много), но оч интересно + условно через год будут оч интересны тенденции.

Про сами профессии писать не буду, их уже обсудили. Замечу только, что список профессий с низким AI applicability score на мой вкус сильно изменится лет через 5, поскольку в массовой робототехнике очевидно зреет GPT-момент (сорян, официанты!)))

А обращу внимание на график, который мы с коллегой обсудили почти месяц назад, и про который особо не писали. Он в заголовке: AI applicability score в зависимости от уровня образования.

На нем наиболее заменимы... ну или в более мягких выражениях статьи "подвергнутся наибольшей трансформации" профессии, для которых хватает диплома бакалавра. Какая неожиданность! 😁

Ирония в том, что я наблюдаю кучу молодых программистов с неплохими входными данными, у которых диплом магистра хуже диплома бакалавра. Писать некогда было! Работа! 🤷‍♂️😉

Очевидно, что это тоже потолок, пробить который с падающей нейропластичностью смогут не только лишь все. Получается два потолка — связанный с выбором предметов и с глубиной их прокачки. ☝️

Всем успешного пробивания потолков! 😁

Ведь у вас-то точно все будет по-другому! 😉 Ибо praemonitus, praemunitus 😁

#neuroplasticity