Sinекура
3.34K subscribers
911 photos
15 videos
260 links
Канал Сергея Николенко обо всём, но в основном об AI.

Сайт с выступлениями, лекциями и публикациями: https://sergeynikolenko.ru/
Download Telegram
Сегодня расскажу вам про совершенно новую образовательную инициативу, которая началась у меня в этом году. Меня пригласили в Южный федеральный университет (sic!) читать лекции первокурсникам (!!) о том, как устроен искусственный интеллект, на аудиторию в 300-500 человек (!!!). Название курса абстрактное — "Технологии и фронтиры науки о данных" — и суть должна быть в том, чтобы рассказать о современном AI в популярной форме, доступной вчерашним школьникам.

Для меня это совершенно новый вызов: да, я нередко читаю популярные лекции (вот недавно две было, про AI в целом и про рассуждающие модели; бывали доклады и для школьников), так что в целом я не сомневаюсь, что могу говорить об AI популярным языком два или даже четыре часа подряд. Но двадцать?.. С другой стороны, я всё время говорю, что многие идеи современного машинного обучения можно объяснить на пальцах, вот меня в каком-то смысле на слове и поймали. Посмотрим, что у меня получится.

Самое приятное во всём этом, конечно, в том, что мне разрешили выкладывать материалы курса и видео этих лекций. Встречайте — вот страничка курса:

Технологии и фронтиры науки о данных — ЮФУ, осень 2025

В прошлый четверг прошла первая лекция:

Что такое AI? Введение и терминология
(слайды как всегда на странице курса)

Хотел в качестве введения порассуждать о том, что такое вообще интеллект и искусственный интеллект в частности, описать основные типы задач и методов в AI. Пришло действительно несколько сот человек (забыл зафиксировать точное число), и, конечно, возникла живая интересная дискуссия.) Для порядка в письменной форме: коллеги писали в чате, а я старался иногда на их вопросы отвечать, не слишком нарушая течение лекции. В итоге наобсуждались на три часа без четверти, и при этом я даже свой скромный план до конца не выполнил; про типы постановок задач (supervised/unsupervised/reinforcement) расскажу уже в следующий раз.

Интересное дело получается, и вопросы от аудитории часто были хорошие. Спасибо коллегам (в основном Михаилу Игоревичу Карякину) за приглашение, будем продолжать.

Эти лекции точно можно смотреть всем желающим, ничего математически сложного там не будет. А нужно ли их смотреть — решать вам, это уж как пойдёт. Надеюсь, что пойдёт хорошо.

#sfu #lectures #dsfrontiers
42🔥21👍5👏1💯1👨‍💻1
Две недели назад выступал на конференции Polynomial Computer Algebra (PCA 2025), и вот дошла наконец очередь написать об этом здесь.) Спасибо за приглашение Николаю Николаевичу Васильеву; он регулярно приглашает меня в ЛЭТИ рассказать о том, чего новенького в мире искусственного интеллекта (вот последний "State of AI" доклад из конца весны), а осенью вместо семинара пригласил вот на конференцию.

AI и математика: последние результаты и прогнозы на будущее
(слайды как всегда на страничке моих выступлений)

В основном это был мой стандартный доклад про математику, но с добавлением последних новостей, о части которых уже шла речь и здесь в канале; сошлюсь на пост с анонсом этого доклада, да и недавний доклад Александра Панова в лаборатории Маркова без подобных новостей не обошёлся.

Надо будет когда-нибудь пост написать об этом, в котором собрать все текущие примеры того, как LLM успешно помогают доказывать теоремы; где только найти время... С другой стороны, пока напишу, глядишь, и ещё пачка новостей накопится, они теперь буквально каждые несколько дней появляются.

#talks #conference
👍12🔥43
Сегодня у нас использовалось технологическое ноу-хау нашего семинара — меловая доска — так что сфотографировались на её фоне.)

#markovlab #seminar #spsu
😁504🔥3
В курсе "Основы байесовского вывода" сегодня говорили о двух важных общих сюжетах, пронизывающих всё машинное обучение.

СПбГУ — 2025.10.16 — Ближайшие соседи, проклятие размерности, разложение bias-variance-noise
(слайды, доска и ноутбук, как всегда, на странице курса)

Здесь логика изложения у меня такая: я начинаю с метода ближайших соседей и показываю, что на плоскости, там, где я могу нарисовать точки и разделяющие поверхности, он работает блестяще, может провести какую угодно разделяющую поверхность и вообще выглядит идеально. Возникает резонный вопрос: а вообще зачем нам всё машинное обучение тогда? Может, ближайших соседей достаточно, только решить проблемы с вычислительной сложностью (а их в целом можно решить), да и всё? Ответ на этот вопрос — проклятие размерности; почему и ближайшие соседи, и многие другие методы начинают ломаться, когда размерность пространства признаков растёт.

А второй сюжет начинается с основ статистической теории принятия решений: какая идеальная, наилучшая возможная функция предсказания? Какая у неё будет ожидаемая ошибка (спойлер: ненулевая, разумеется, в данных ведь есть шум)? А ту часть ошибки, которую мы контролируем, можно дальше разделить на две части: дисперсию, которая показывает, насколько модель сильно отклоняется от своего собственного ожидания в зависимости от конкретного датасета, и смещение, которое показывает, насколько это её ожидание далеко от идеальной функции предсказания. В результате получается легко интерпретируемый результат, который показывает один из главных компромиссов (tradeoffs) при выборе гиперпараметров моделей (например, коэффициента регуляризации): между смещением и дисперсией.

#spsu #lectures #bayes2025
👍185
Пятничная традиция продолжается, но сегодня обзор маленький, для двух очень маленьких игр. Зато выполняю обещание, данное в обзоре Amerzone: возвращаюсь к теме уток-детективов! Полный пост как всегда по ссылке:

Duck Detective

Сегодня у нас обзор мини-серии из двух маленьких игр про утку-детектива по имени Eugene McQuacklin, выдержанные в стиле hardboiled нуар-детектива с невероятным переизбытком утиных шуток. Делает серию компания Happy Broccoli Games (целых шесть человек!), и первая игра серии вышла в 2024 году, получив в Германии даже какие-то премии (студия базируется в Берлине).

Обозревать геймплей по отдельности в этих играх не имеет смысла, потому что он абсолютно идентичный. Нужно разговаривать со всеми доступными персонажами обо всём, в надежде узнать что-то новое и продвинуть сюжет. Время от времени в игре появляются “зоны интереса” (простите за коннотацию), в которых тебе показывают некоторую сцену или объект, и её надо просто осмотреть тщательно и найти там всё, что можно найти. Да, и ещё у вас есть инвентарь, но с ним редко происходит что-то интересное, обычно напрямую очевидно, что куда нужно принести и применить.

А потом, когда всё осмотришь, нужно сделать из увиденного и найденного выводы, чтобы завершить очередную “deducktion” и продвинуться к следующему шагу расследования. Выводы происходят или в виде сопоставления заданных атрибутов, которые выбираются из вариантов (например, узнать, кого из персонажей как зовут), или, что куда любопытнее, в виде заполнения законченных предложений.

Это самая интересная механика в игре, единственная, которая действительно иногда требует (небольшого!) мозгового усилия, и именно она (вместе с уткошутками, разумеется!) делает игры серии не совсем стандартными простенькими квестами. Можно сказать, что Duck Detective — это упрощённая, “детская” версия игр из серии Golden Idol. Кстати, к ним мы тоже наверняка ещё вернёмся.

Ну а сюжет и история... да ладно, что вы, юмористических детективов не видели? Юмор, кстати, мне понравился, уткошутки вполне на месте, рекомендую с ними ознакомиться, тем более что игра занимает максимум часа два.

Duck Detective: The Secret Salami

Утиный нуар: детектив вскоре после развода топит, точнее, погребает свои проблемы в хлебушке, к которому питает пагубную страсть. Ему приходится делать это на фоне расследования, в котором будут и роковая жирафиха, и предательства лучших друзей, и неожиданные повороты сюжета. Сможете ли вы раскрыть тайну пропавшего ланча и выяснить, кто скрывается под псевдонимом Salami Bandit?

Duck Detective: The Ghost of Glamping

Вторая игра серии продолжает начатое первой, и мне очень в ней нравится то, что она не пытается вливать те же щи более густо. Это всё ещё игра на два часа, и так и должно быть: если бы авторы начали раздувать длительность или усложнять загадки, то стиль и подача игры успевали бы наскучить. А так я с удовольствием сыграл во вторую часть, и с удовольствием сыграю и в третью, если она выйдет ещё через годик.

#games #tgif
13🔥4👍1
В курсе "Глубокое обучение" в четверг была лекция не слишком математически содержательная, скорее обзорная:

СПбГУ — 2025.10.16 — Трансформеры в компьютерном зрении
(слайды и доска, как всегда, на странице курса)

Сначала дал обзор того, как трансформеры приложили к картиночкам и задачам компьютерного зрения. Главное здесь ViT и Swin Transformer, а обзор архитектур для распознавания объектов и сегментации скорее как необязательная вишенка на торте. Хотя всякие там DETR и DINO — это интересные идеи, там есть мощная мысль о том, что можно использовать виртуальные object queries для объектов в декодере трансформера, а картинку пропускать через кодировщик и брать из неё K и V.

Зато в конце успели обсудить CLIP (и брата его младшего BLIP), который обучает общее латентное пространство для текстов и картинок. Это тоже важная архитектура, с которой мы в курсе ещё наверняка встретимся.

#spsu #lectures #dl2025
🔥82
Выложил видео прошедшего в среду семинара:

Алексей Власов, Андрей Лаэтин
Состояния важнее внимания? От классических SSM к S4/S5 и Mamba
(Слайды на странице семинара)

По-моему, отличное начало. Алексей и Андрей разобрали смысл state-space models, рассказали в достаточных деталях о красивых более современных математических результатах вроде HiPPO и довели разговор до S6. Нас точно ждёт ещё один рассказ об этом очень интересном (и, надеюсь, важном) семействе архитектур, а может (ещё больше надеюсь!), и два.

Это был первый семинар с использованием доски. На монтаже я вырезал технические паузы при переходе от доски к слайдам и обратно, а также сделал видео доски покрупнее, но всё равно видно плохо, да и ракурс весьма так себе. Камеру специально для доски с собой носить, что ли...

#markovlab #seminar #spsu
22🔥8
На семинаре лаборатории Маркова продолжаем (но — ура! — точно не заканчиваем) серию докладов про state-space models и Mamba. Второй доклад будет конкретно про Mamba, с техническими деталями и во всех подробностях; думаю, это будет полезно даже безотносительно архитектуры как таковой.

Кстати, в deep learning частенько бывает так, что интересная математически сложная идея после пристального взгляда на архитектуру в реальности превращается в небольшой дополнительный трюк, до которого авторы скорее всего безо всякой математики дошли, а потом уже объяснили концептуально. Относится ли Mamba к этой категории? Узнаем об этом в среду.

Погружение в детали реализации Mamba
Ссылка на трансляцию (среда 22 октября, 14:00)

Владислав Ушаков (Яндекс)
Максим Романов (Лаборатория Маркова, МКН СПбГУ
)

Мы продолжаем детальный разбор SSM-based моделей. В начале семинара разберём архитектуру Mamba — что такое «селективность», как устроено обновление состояния, затем пройдёмся по минимальным имплементациям S4 и Mamba. А потом погрузимся в детали эффективной реализации по следующему плану.

1. Краткое введение в GPU-вычисления: архитектура GPU, модель массового параллелизма.

2. Постановка задачи префиксной суммы (Scan) и эволюция алгоритмов её решения на GPU: от Sequential Scan до Work-Efficient Parallel Scan.

3. Разберём, где и как Parallel Scan применяется в Mamba, а также какие ещё GPU-оптимизации используются при обучении.

#markovlab #seminar #spsu
🔥183👍3
Коллеги, хочу попросить у вас технической помощи, не понимаю что делать.

Но сначала представлю вторую лекцию курса "Технологии и фронтиры науки о данных" в ЮФУ. Напомню, что это обзорные лекции для первокурсников, так что в них нет никакой сложной математики и их можно слушать всем желающим:

ЮФУ — 2025.10.16 — Задачи машинного обучения и ранняя история AI
(слайды и доска на странице курса)

Во второй лекции мы закончили вводный разговор об общей структуре AI как науки, обсудив задачи обучения с учителем и без (обучение с подкреплением особенно не обсуждали, об этом потом поговорим). А потом начали разговор об истории AI, который я успел довести от Талоса до Тьюринга, то есть до появления AI как науки. Кажется, получилось интересно.

А теперь проблема. Как только я выложил первую лекцию на youtube, под ней сразу стали появляться комментарии о том, какой там ужасный звук и куда мне следовало бы засунуть свой микрофон.) Хамские комментарии я порицаю (и удаляю), но проблема действительно была, и была внезапно со стороны MTS Link, в котором проходят лекции в ЮФУ.

MTS Link вдруг решил поуправлять моим микрофоном и самостоятельно понизить ему громкость. На первой лекции я пытался с этим воевать, не знал что делать и просто возвращал микрофон обратно. Но, конечно, не справился с этим на 100%, и в результате звук в первой лекции и правда плохой, неровный: то тише, то громче. Я попытался его вытянуть постобработкой, но вышло так себе.

Потом я, конечно, погуглил, как с этим справиться, нагуглил какую-то галочку в опциях микрофона в Windows ("Allow applications to take exclusive control of this device"), снял её и пришёл на вторую лекцию. Но оказалось, что MTS Link на эту галочку наплевать, и он продолжил управлять моим микрофоном; тогда я просто расслабился и позволил ему понизить мне громкость микрофона и оставить на едином уровне (по подсчётам OBS на уровне -15-20 дБ). Звук стал ровнее, шумов я никаких во второй лекции тоже не слышу, но к ней опять пишут комментарии, что слышен клиппинг; у меня уши не особо чуткие, но вероятно, с такой громкостью шумодав действительно обрезает часть голоса.

Что делать? Проще всего было бы, конечно, запретить MTS Link трогать мой микрофон, но я не могу найти, как это сделать...

#sfu #lectures #dsfrontiers
😢229
Думаю, вам срочно нужен кот.

Это не значит, что у меня закончился контент, но сколько ж можно сплошь лекции да лекции подряд. Сегодня убираем из контента первую "н".

#lifestyle
❤‍🔥9034😍16👍9🔥5
Сегодня на семинаре была довольно мощная лекция, коллеги рассказали много интересного про параллельные вычисления, то бишь про то, что на всех этих пресловутых GPU происходит.

Дальше будет продолжение, оно же, видимо, окончание.

#markovlab #seminar #spsu
21🔥14