Последняя лекция в курсе "Введение в глубокое обучение" в ЮФУ продолжала тему трансформеров и раскрывала их с другой стороны:
ЮФУ — 2026.04.16 — Архитектуры, основанные на трансформере
(слайды и доска на странице курса)
Сначала вернулись к исходной архитектуре, обсудили результаты трансформера в "Attention Is All You Need", а потом семейства GPT и BERT. В основном, конечно, BERT, про языковые модели уж потом подробнее обсудим.
А потом рассказал о том, как трансформеры применяли в компьютерном зрении: VisualBERT, потом главное — ViT, потом Swin Transformer. Здесь самое интересное в том, что для применения трансформера не потребовалось вообще ничего менять в архитектуре: трансформер просто оказался потрясающе крутой машиной по выявлению сложных внутренних зависимостей практически в чём угодно.
Ну и закончил на case study про сегментацию (с тем же посылом: часто оказалось достаточно взять U-Net и вставить туда self-attention куда получится) и простых, но важных мультимодальных моделях: CLIP и BLIP.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.04.16 — Архитектуры, основанные на трансформере
(слайды и доска на странице курса)
Сначала вернулись к исходной архитектуре, обсудили результаты трансформера в "Attention Is All You Need", а потом семейства GPT и BERT. В основном, конечно, BERT, про языковые модели уж потом подробнее обсудим.
А потом рассказал о том, как трансформеры применяли в компьютерном зрении: VisualBERT, потом главное — ViT, потом Swin Transformer. Здесь самое интересное в том, что для применения трансформера не потребовалось вообще ничего менять в архитектуре: трансформер просто оказался потрясающе крутой машиной по выявлению сложных внутренних зависимостей практически в чём угодно.
Ну и закончил на case study про сегментацию (с тем же посылом: часто оказалось достаточно взять U-Net и вставить туда self-attention куда получится) и простых, но важных мультимодальных моделях: CLIP и BLIP.
#sfu #lectures #dsfrontiers
🔥9❤6👍3
With Claude Code, you can just do things.
Эта мантра со мной уже несколько месяцев, и я пока не устаю удивляться, насколько расширяются возможности и какое появляется плечо. Проблема уже не в том, чтобы что-то реализовать, а в том, чтобы придумать, что бы ещё захотелось реализовать.
В основном это, конечно, про науку и всякие там эксперименты по статьям, о которых рассказывать нет смысла, но вот приведу маленький дурацкий пример. Нужно мне было для околоЧГКшных целей автоматизировать поиск анаграмм, и не просто анаграмм один к одному, а со всякими наворотами вроде "найди все имеющие смысл слова от 7 до 10 букв", "подсвети, каких букв не хватает, чтобы собрать слова вот в этом списке" и т.п.
Десять лет назад я бы сел и написал скрипт на питоне, который искал бы анаграммы по словарю (скачать словарь в txt можно было всегда). Кажется, я даже когда-то это делал! Сегодня я, конечно, могу попросить LLM сделать то же самое.
Но новое плечо состоит в том, что с абсолютно той же лёгкостью я теперь могу попросить LLM не просто написать скрипт, а тут же добавить его, например, ко мне на сайт; и вот этот скрипт уже доступен всем:
Поиск анаграмм — сайт Сергея Николенко
Enjoy.) Десять лет назад я бы, конечно, тоже мог сделать что-то подобное, но для меня это было бы +1-2 дня разработки, и разумеется, я бы забил. А сегодня нет смысла забивать.
Я делал, конечно, под конкретно свои задачи, но в итоге, кажется, получился более общий и широкий инструмент, чем те сайты с анаграммированием, которые мне первыми в выдаче попадаются.
Есть у меня и более интересная задумка, но её я ещё пододелываю... ;)
#lifestyle #ai #chgk
Эта мантра со мной уже несколько месяцев, и я пока не устаю удивляться, насколько расширяются возможности и какое появляется плечо. Проблема уже не в том, чтобы что-то реализовать, а в том, чтобы придумать, что бы ещё захотелось реализовать.
В основном это, конечно, про науку и всякие там эксперименты по статьям, о которых рассказывать нет смысла, но вот приведу маленький дурацкий пример. Нужно мне было для околоЧГКшных целей автоматизировать поиск анаграмм, и не просто анаграмм один к одному, а со всякими наворотами вроде "найди все имеющие смысл слова от 7 до 10 букв", "подсвети, каких букв не хватает, чтобы собрать слова вот в этом списке" и т.п.
Десять лет назад я бы сел и написал скрипт на питоне, который искал бы анаграммы по словарю (скачать словарь в txt можно было всегда). Кажется, я даже когда-то это делал! Сегодня я, конечно, могу попросить LLM сделать то же самое.
Но новое плечо состоит в том, что с абсолютно той же лёгкостью я теперь могу попросить LLM не просто написать скрипт, а тут же добавить его, например, ко мне на сайт; и вот этот скрипт уже доступен всем:
Поиск анаграмм — сайт Сергея Николенко
Enjoy.) Десять лет назад я бы, конечно, тоже мог сделать что-то подобное, но для меня это было бы +1-2 дня разработки, и разумеется, я бы забил. А сегодня нет смысла забивать.
Я делал, конечно, под конкретно свои задачи, но в итоге, кажется, получился более общий и широкий инструмент, чем те сайты с анаграммированием, которые мне первыми в выдаче попадаются.
Есть у меня и более интересная задумка, но её я ещё пододелываю... ;)
#lifestyle #ai #chgk
❤26👍7🔥3
А на следующем семинаре лаборатории Маркова меня не будет, буду в отъезде. Так что очень удачно, что Максим расскажет там про тот самый TurboQuant, о котором я недавно писал большой пост:
TurboQuant: векторная квантизация с почти оптимальным уровнем искажений
Ссылка на трансляцию (пятница 24 апреля, 14:00)
Максим Николаев (СПбГУ)
В докладе будет представлен алгоритм TurboQuant (Amir Zandieh et al., ICLR 2026), предназначенный для сжатия многомерных векторов в онлайн-режиме без необходимости предварительной настройки на данных. Метод обеспечивает теоретически обоснованные границы искажений как по среднеквадратичной ошибке (MSE), так и по скалярному произведению, приближаясь к нижней границе Шеннона с точностью до небольшой константы. Это получается классно применить для сжатия KV-кеша, а также для поиска ближайших соседей.
Под капотом алгоритм использует следующие два факта:
1. Если вектор, лежащих на единичной сфере, случайным образом повернуть, то координаты полученного вектора, во-первых, будут практически независимы — и значит можно кодировать результат поэлементно, а во-вторых, будут иметь понятное распределение — и значит мы знаем, как устроено оптимальное кодирование.
2. Если вектор x, лежащих на (d-1)-мерной сфере, умножить на случайную d×d матрицу S с элементами из N(0, 1), а потом заменить элементы на их знаки, то полученный вектор z будет состоять из d бит (это и есть наша квантизация), а вектор x' = sqrt(π/2) / d · Sᵀ · z будет обладать следующим удивительным свойством: для всякого y ⟨y, x'⟩ в среднем равно ⟨y, x⟩, а дисперсия ⟨y, x'⟩ имеет порядок O(|y|² / d).
Чтобы закодировать вектор x, лежащих на (d-1)-мерной сфере, сначала применяется кодирование с помощью первого факта, потом находится разность между x и декодированным вектором, и эта разность кодируется с помощью второго факта.
#spsu #markovlab #seminar
TurboQuant: векторная квантизация с почти оптимальным уровнем искажений
Ссылка на трансляцию (пятница 24 апреля, 14:00)
Максим Николаев (СПбГУ)
В докладе будет представлен алгоритм TurboQuant (Amir Zandieh et al., ICLR 2026), предназначенный для сжатия многомерных векторов в онлайн-режиме без необходимости предварительной настройки на данных. Метод обеспечивает теоретически обоснованные границы искажений как по среднеквадратичной ошибке (MSE), так и по скалярному произведению, приближаясь к нижней границе Шеннона с точностью до небольшой константы. Это получается классно применить для сжатия KV-кеша, а также для поиска ближайших соседей.
Под капотом алгоритм использует следующие два факта:
1. Если вектор, лежащих на единичной сфере, случайным образом повернуть, то координаты полученного вектора, во-первых, будут практически независимы — и значит можно кодировать результат поэлементно, а во-вторых, будут иметь понятное распределение — и значит мы знаем, как устроено оптимальное кодирование.
2. Если вектор x, лежащих на (d-1)-мерной сфере, умножить на случайную d×d матрицу S с элементами из N(0, 1), а потом заменить элементы на их знаки, то полученный вектор z будет состоять из d бит (это и есть наша квантизация), а вектор x' = sqrt(π/2) / d · Sᵀ · z будет обладать следующим удивительным свойством: для всякого y ⟨y, x'⟩ в среднем равно ⟨y, x⟩, а дисперсия ⟨y, x'⟩ имеет порядок O(|y|² / d).
Чтобы закодировать вектор x, лежащих на (d-1)-мерной сфере, сначала применяется кодирование с помощью первого факта, потом находится разность между x и декодированным вектором, и эта разность кодируется с помощью второго факта.
#spsu #markovlab #seminar
🔥13❤3👍2
Продолжаю выкладывать семинар лаборатории Маркова. На этот раз доклад Андрея Ярёменко:
Семинар Markov Lab — 2026-04-10 — Ускорение сэмплирования в порождающих моделях
(слайды на странице семинара)
В целом это была обзорная экскурсия по тому, как за последние годы эволюционировали методы быстрого сэмплинга из диффузионных моделей и flow matching. Главная их проблема в том, что чтобы получить приличные картинки, диффузионкам нужно 100–250 шагов, а flow matching — 50–100. Это медленно, и хочется быстрее.
Самая интересная часть была про свежие результаты того самого Kaiming He, который в своё время придумал ResNet и не только: drifting models, результат 2026 года. Рекомендую посмотреть!
#spsu #seminar #markovlab
Семинар Markov Lab — 2026-04-10 — Ускорение сэмплирования в порождающих моделях
(слайды на странице семинара)
В целом это была обзорная экскурсия по тому, как за последние годы эволюционировали методы быстрого сэмплинга из диффузионных моделей и flow matching. Главная их проблема в том, что чтобы получить приличные картинки, диффузионкам нужно 100–250 шагов, а flow matching — 50–100. Это медленно, и хочется быстрее.
Самая интересная часть была про свежие результаты того самого Kaiming He, который в своё время придумал ResNet и не только: drifting models, результат 2026 года. Рекомендую посмотреть!
#spsu #seminar #markovlab
❤10
Прилетел в Китай, и пока меня тут всё бесит.) В частности, похоже, что у меня тут могут быть проблемы с интернетом, да и новый контент не факт что смогу порождать, так что не очень обещаю, что посты будут продолжаться ежедневно.
Но пока ещё есть запас — вот, например, в курсе "Графические вероятностные модели" мы обсудили одну из моих давно и горячо любимых тем:
СПбГУ — 2026.04.17 — Наивный Байес и тематическое моделирование
(слайды и доска, как всегда, на странице курса)
Topic modeling — моя очень давняя тема. Когда-то я занимался им как наукой, были кое-какие публикации, и даже неплохие: немало цитирований набрала вот эта статья, совместная с теми самыми Олесей и Сергеем Кольцовыми, а ещё у меня про topic modeling было вообще уникальное достижение, которое я вряд ли когда-нибудь повторю, — единоличная статья на SIGIR.)
Но и по сути, а не только автобиографически, это отличный пример. В этих двух лекциях мы прошли путь от обычного наивного байесовского классификатора до вариационного вывода в LDA. И это абсолютно логичный и естественный путь: просто ослабили пару предположений, убрали метки да разрешили документам несколько тем иметь, а наивное предположение даже и не ослабляли никак — классические тематические модели тоже представляют документ как мешок слов. Но математика вдруг стала совершенно другая.
В следующий раз закончу разговор об LDA и дальше расскажу о том, с чего действительно началась моя карьера в машинном обучении. Надеюсь, что проблемы с интернетом решатся, и это будет всё-таки в пятницу.
#spsu #lectures #pgm2026
Но пока ещё есть запас — вот, например, в курсе "Графические вероятностные модели" мы обсудили одну из моих давно и горячо любимых тем:
СПбГУ — 2026.04.17 — Наивный Байес и тематическое моделирование
(слайды и доска, как всегда, на странице курса)
Topic modeling — моя очень давняя тема. Когда-то я занимался им как наукой, были кое-какие публикации, и даже неплохие: немало цитирований набрала вот эта статья, совместная с теми самыми Олесей и Сергеем Кольцовыми, а ещё у меня про topic modeling было вообще уникальное достижение, которое я вряд ли когда-нибудь повторю, — единоличная статья на SIGIR.)
Но и по сути, а не только автобиографически, это отличный пример. В этих двух лекциях мы прошли путь от обычного наивного байесовского классификатора до вариационного вывода в LDA. И это абсолютно логичный и естественный путь: просто ослабили пару предположений, убрали метки да разрешили документам несколько тем иметь, а наивное предположение даже и не ослабляли никак — классические тематические модели тоже представляют документ как мешок слов. Но математика вдруг стала совершенно другая.
В следующий раз закончу разговор об LDA и дальше расскажу о том, с чего действительно началась моя карьера в машинном обучении. Надеюсь, что проблемы с интернетом решатся, и это будет всё-таки в пятницу.
#spsu #lectures #pgm2026
❤11😢3
Вспомнил ещё один источник контента: я же две недели назад был в Москве на Data Fusion. Там выложены пока только большие неразрезанные стримы, но дать ссылку с таймкодом вроде не проблема, да и сайт мой уже давно vkvideo поддерживает. Вот наша пленарная сессия под руководством Ивана Оселедца, например:
Обзор ключевых исследований в области ИИ в России и в мире
(выложил на страницу "Выступления")
Как по мне, довольно огненно вышло. Ну, по крайней мере мне так помнится, сейчас не пересматривал, конечно. Ещё более огненной была другая сессия, где у меня был доклад, но это выложу в другой раз.
#talks #events #ai
Обзор ключевых исследований в области ИИ в России и в мире
(выложил на страницу "Выступления")
Как по мне, довольно огненно вышло. Ну, по крайней мере мне так помнится, сейчас не пересматривал, конечно. Ещё более огненной была другая сессия, где у меня был доклад, но это выложу в другой раз.
#talks #events #ai
❤12👍7🔥6
Я не люблю хорроры. Мне страшно (кажется, когда-то я такое уже писал). Но игры в ретро-стиле, концептуально наследующие первым Resident Evil, — это не настоящие хорроры, а скорее смесь квеста и экшена, и если компоненты такой смеси хорошо настроены, то играть в это становится очень интересно.
Например, когда-то давно я писал обзор Crow Country, тоже игры из этого большого семейства, и мне очень понравилось! И вот перед нами ещё одна такая игра; правда, это "клон резидента" в кавычках, потому что здесь есть серьёзные отличия. Дальше сокращённо, читайте по ссылке:
Deep Sleep: Labyrinth of the Forsaken
(и вот выложил на DTF)
Это уже четвёртая игра в серии Deep Sleep польского инди-разработчика Матеуша Сокальщука aka scriptwelder. Из источников вдохновения сам Сокальщук называет серию Submachine, Resident Evil, Silent Hill, Amnesia, Penumbra, Стивена Кинга и, разумеется, Здзислава Бексиньского.
Главная героиня — Эми, ветеринар из маленького городка и сестра Томаса, безымянного “Путешественника” из первых трёх игр. [...] Томас был одержим осознанными сновидениями и идеей других миров, а потом умер, оставив после себя журналы и странную машину от загадочной организации Sidereal Plexus. Эми переселяется в его квартиру, подключает машину и каждую ночь уходит в мир снов искать следы брата. Который, возможно, на самом деле не совсем умер. Или не совсем он.
Геймплейно это классическая adventure в пиксель-арте с видом сверху: ходишь, взаимодействуешь с предметами, собираешь инвентарь, разгадываешь загадки. Но есть две интересные механики. Во-первых, у Эми есть способность управлять осознанным сновидением [...]
Во-вторых — и это, пожалуй, самое главное отличие от Resident Evil и родственных игр — боёвка здесь пошаговая, скорее в духе JRPG. [...] Держит в напряжении, но не пугает [...] Не рекомендую включать простой уровень: бои здесь — это одна из главных радостей игры, и если их упростить до формальности, игра станет заметно беднее.
В-третьих, головоломки тоже сделаны очень хорошо: не слишком сложно, не слишком просто, в точности как надо. Есть классические квестовые “собери комбинацию предметов”, есть лабиринты, есть просто на подумать. Самая огненная здесь, конечно, головоломка с мужиком в библиотеке. [...]
На мой взгляд, самое слабое место всей игры — сюжет и то, как он подан. Причём я даже не могу толком объяснить, что именно мне не понравилось. [...] Наверное, дело в откровенно избыточной эклектике [...] Ну и подача: здесь очень много экспозиции, куча записок, персонажи, которые просто объясняют тебе, как тут что работает. Главный симптом я здесь заметил, когда понял, что к середине игры начал читать диалоги и записки с объяснениями происходящего по диагонали, а ближе к концу игры уже почти что их пропускал. [...]
Но всё-таки сюжета мне хватило, чтобы не бросить игру и дойти до конца. Геймплей очень приятный, хороший баланс как головоломок, так и пошаговой боёвки. Визуальный стиль тоже хорошо работает на атмосферу, разнообразие в локациях — это всё-таки скорее хорошо, и разнообразия здесь много! Так что в целом рекомендую. Игра, кстати, не такая уж короткая: я часов восемь наиграл. Попробуйте!
#tgif #games
Например, когда-то давно я писал обзор Crow Country, тоже игры из этого большого семейства, и мне очень понравилось! И вот перед нами ещё одна такая игра; правда, это "клон резидента" в кавычках, потому что здесь есть серьёзные отличия. Дальше сокращённо, читайте по ссылке:
Deep Sleep: Labyrinth of the Forsaken
(и вот выложил на DTF)
Это уже четвёртая игра в серии Deep Sleep польского инди-разработчика Матеуша Сокальщука aka scriptwelder. Из источников вдохновения сам Сокальщук называет серию Submachine, Resident Evil, Silent Hill, Amnesia, Penumbra, Стивена Кинга и, разумеется, Здзислава Бексиньского.
Главная героиня — Эми, ветеринар из маленького городка и сестра Томаса, безымянного “Путешественника” из первых трёх игр. [...] Томас был одержим осознанными сновидениями и идеей других миров, а потом умер, оставив после себя журналы и странную машину от загадочной организации Sidereal Plexus. Эми переселяется в его квартиру, подключает машину и каждую ночь уходит в мир снов искать следы брата. Который, возможно, на самом деле не совсем умер. Или не совсем он.
Геймплейно это классическая adventure в пиксель-арте с видом сверху: ходишь, взаимодействуешь с предметами, собираешь инвентарь, разгадываешь загадки. Но есть две интересные механики. Во-первых, у Эми есть способность управлять осознанным сновидением [...]
Во-вторых — и это, пожалуй, самое главное отличие от Resident Evil и родственных игр — боёвка здесь пошаговая, скорее в духе JRPG. [...] Держит в напряжении, но не пугает [...] Не рекомендую включать простой уровень: бои здесь — это одна из главных радостей игры, и если их упростить до формальности, игра станет заметно беднее.
В-третьих, головоломки тоже сделаны очень хорошо: не слишком сложно, не слишком просто, в точности как надо. Есть классические квестовые “собери комбинацию предметов”, есть лабиринты, есть просто на подумать. Самая огненная здесь, конечно, головоломка с мужиком в библиотеке. [...]
На мой взгляд, самое слабое место всей игры — сюжет и то, как он подан. Причём я даже не могу толком объяснить, что именно мне не понравилось. [...] Наверное, дело в откровенно избыточной эклектике [...] Ну и подача: здесь очень много экспозиции, куча записок, персонажи, которые просто объясняют тебе, как тут что работает. Главный симптом я здесь заметил, когда понял, что к середине игры начал читать диалоги и записки с объяснениями происходящего по диагонали, а ближе к концу игры уже почти что их пропускал. [...]
Но всё-таки сюжета мне хватило, чтобы не бросить игру и дойти до конца. Геймплей очень приятный, хороший баланс как головоломок, так и пошаговой боёвки. Визуальный стиль тоже хорошо работает на атмосферу, разнообразие в локациях — это всё-таки скорее хорошо, и разнообразия здесь много! Так что в целом рекомендую. Игра, кстати, не такая уж короткая: я часов восемь наиграл. Попробуйте!
#tgif #games
1❤6🤔1