К сегодняшней лекции порождал картинки и заметил опять некоторый качественный скачок. Раньше у GPT не получалось так консистентно весь текст написать со всеми мелкими деталями и выдержать стиль так хорошо.
Что характерно, я заметил это сам на своём собственном опыте, а потом уже нагуглил, что вот-вот должен выйти GPT Image 2, и его уже понемногу разворачивают — видимо, я сегодня попал в A/B тестирование.
Ну что сказать, круто, ещё один заметный шаг вперёд. Много ли их уже осталось.)
#ai #lectures #news
Что характерно, я заметил это сам на своём собственном опыте, а потом уже нагуглил, что вот-вот должен выйти GPT Image 2, и его уже понемногу разворачивают — видимо, я сегодня попал в A/B тестирование.
Ну что сказать, круто, ещё один заметный шаг вперёд. Много ли их уже осталось.)
#ai #lectures #news
🔥29👍13💯2🐳1
Семинар сегодня был весьма огненный! Сергей Кольцов рассказал о своих исследованиях, где он тоже применяет термодинамические интуиции, но совсем по-другому, и к другой части процесса.)
Но получается всё равно круто! Когда будет запись, расскажу подробнее.
#spsu #markovlab #seminar
Но получается всё равно круто! Когда будет запись, расскажу подробнее.
#spsu #markovlab #seminar
❤🔥12👍8🔥5❤2😁1
2025 год для детективно-загадочных игр в особняках выдался неожиданно богатым: Blue Prince со своим roguelike-домом, который каждый день перестраивается заново (я писал обзор), Rise of the Golden Idol в той же нише, что и первая часть (ещё не играл, но, надеюсь, ещё напишу), и вот ещё.
Подробный обзор по ссылке, здесь очень-очень сокращённо (как всегда, в телеграм мало что помещается):
The Séance of Blake Manor
(и вот выложил на DTF)
Разработчик — небольшая ирландская студия Spooky Doorway из Дублина. Они широко известны в узких кругах благодаря серии The Darkside Detective. [...]
Издаёт игру Raw Fury, известный по Sable, Norco, Kingdom Two Crowns, а в последнее время ещё и Routine. [...]
Завязка сюжета очень классическая: ты прибываешь в удалённый ирландский особняк, чтобы расследовать исчезновение человека; там масса разнообразных колоритных персонажей и много вопросов, на которые надо ответить.
[...]
Сразу хочется отметить очень крутой сеттинг. 1897 год — это полвека после Великого голода в Ирландии, катастрофы, унёсшей жизни миллионов людей и заставившей ещё миллионы эмигрировать, причём именно западная Ирландия пострадала сильнее всего. Люди, пережившие Голод, ещё живы.
При этом хозяин Blake Manor — лорд Джонатан Блейк — носит английскую фамилию, что для ирландской аристократии того периода значит очень многое: большая часть землевладельцев Ирландии были англичанами, получившими свои титулы в ходе колонизации. Когда Блейк жалуется Уорду на то, что семье пришлось превратить поместье в отель, потому что после Голода они стали меньше зарабатывать — это для всякого настоящего ирландца звучит как пощёчина.
А дальше начинается всякая чертовщина.
Мистика в игре действительно есть, она не сводится к ночным кошмарам и совпадениям, тут буквально с духами приходится общаться. В большинстве случаев мне бы это не понравилось: слишком удобное объяснение для чего угодно, тем более в детективной истории. Но здесь мистика вплетена двумя способами, и оба работают.
[...]
В основном ты занимаешься тем, что расследуешь кучу пересекающихся друг с другом историй. [...] Более классических квестовых загадок здесь тоже полно, и они сделаны очень хорошо: не слишком сложно, не слишком просто, в точности как надо.
Главная геймплейная новизна здесь — интересная механика со временем. Ходить по особняку можно как бы мгновенно, но любое действие вроде “посмотреть на вещь” или “обсудить тему с человеком”, которые в обычном квесте ты выполнял бы все подряд не задумываясь, тут стоят времени. Пусть одну минутку, но минутки складываются в часы, а часов у тебя не так уж много. [...]
Это очень крутая идея, потому что она заставляет пересмотреть свой стандартный паттерн поведения в квестах. [...] Тем более что история начинает развиваться очень быстро, событий много, ставки всё время повышаются, за развитием сюжета следить интересно, и есть, кстати, в том числе и сюжет, а не только распутывание уже произошедшего, как в классическом детективе.
[...]
Если вы любите классические детективные головоломки, готическую атмосферу, запутанные разборки с множеством персонажей, у каждого из которых своя история, — очень рекомендую.
#tgif #games
Подробный обзор по ссылке, здесь очень-очень сокращённо (как всегда, в телеграм мало что помещается):
The Séance of Blake Manor
(и вот выложил на DTF)
Разработчик — небольшая ирландская студия Spooky Doorway из Дублина. Они широко известны в узких кругах благодаря серии The Darkside Detective. [...]
Издаёт игру Raw Fury, известный по Sable, Norco, Kingdom Two Crowns, а в последнее время ещё и Routine. [...]
Завязка сюжета очень классическая: ты прибываешь в удалённый ирландский особняк, чтобы расследовать исчезновение человека; там масса разнообразных колоритных персонажей и много вопросов, на которые надо ответить.
[...]
Сразу хочется отметить очень крутой сеттинг. 1897 год — это полвека после Великого голода в Ирландии, катастрофы, унёсшей жизни миллионов людей и заставившей ещё миллионы эмигрировать, причём именно западная Ирландия пострадала сильнее всего. Люди, пережившие Голод, ещё живы.
При этом хозяин Blake Manor — лорд Джонатан Блейк — носит английскую фамилию, что для ирландской аристократии того периода значит очень многое: большая часть землевладельцев Ирландии были англичанами, получившими свои титулы в ходе колонизации. Когда Блейк жалуется Уорду на то, что семье пришлось превратить поместье в отель, потому что после Голода они стали меньше зарабатывать — это для всякого настоящего ирландца звучит как пощёчина.
А дальше начинается всякая чертовщина.
Мистика в игре действительно есть, она не сводится к ночным кошмарам и совпадениям, тут буквально с духами приходится общаться. В большинстве случаев мне бы это не понравилось: слишком удобное объяснение для чего угодно, тем более в детективной истории. Но здесь мистика вплетена двумя способами, и оба работают.
[...]
В основном ты занимаешься тем, что расследуешь кучу пересекающихся друг с другом историй. [...] Более классических квестовых загадок здесь тоже полно, и они сделаны очень хорошо: не слишком сложно, не слишком просто, в точности как надо.
Главная геймплейная новизна здесь — интересная механика со временем. Ходить по особняку можно как бы мгновенно, но любое действие вроде “посмотреть на вещь” или “обсудить тему с человеком”, которые в обычном квесте ты выполнял бы все подряд не задумываясь, тут стоят времени. Пусть одну минутку, но минутки складываются в часы, а часов у тебя не так уж много. [...]
Это очень крутая идея, потому что она заставляет пересмотреть свой стандартный паттерн поведения в квестах. [...] Тем более что история начинает развиваться очень быстро, событий много, ставки всё время повышаются, за развитием сюжета следить интересно, и есть, кстати, в том числе и сюжет, а не только распутывание уже произошедшего, как в классическом детективе.
[...]
Если вы любите классические детективные головоломки, готическую атмосферу, запутанные разборки с множеством персонажей, у каждого из которых своя история, — очень рекомендую.
#tgif #games
❤8👻3👍2🔥2
Последняя лекция в курсе "Введение в глубокое обучение" в ЮФУ продолжала тему трансформеров и раскрывала их с другой стороны:
ЮФУ — 2026.04.16 — Архитектуры, основанные на трансформере
(слайды и доска на странице курса)
Сначала вернулись к исходной архитектуре, обсудили результаты трансформера в "Attention Is All You Need", а потом семейства GPT и BERT. В основном, конечно, BERT, про языковые модели уж потом подробнее обсудим.
А потом рассказал о том, как трансформеры применяли в компьютерном зрении: VisualBERT, потом главное — ViT, потом Swin Transformer. Здесь самое интересное в том, что для применения трансформера не потребовалось вообще ничего менять в архитектуре: трансформер просто оказался потрясающе крутой машиной по выявлению сложных внутренних зависимостей практически в чём угодно.
Ну и закончил на case study про сегментацию (с тем же посылом: часто оказалось достаточно взять U-Net и вставить туда self-attention куда получится) и простых, но важных мультимодальных моделях: CLIP и BLIP.
#sfu #lectures #dsfrontiers
ЮФУ — 2026.04.16 — Архитектуры, основанные на трансформере
(слайды и доска на странице курса)
Сначала вернулись к исходной архитектуре, обсудили результаты трансформера в "Attention Is All You Need", а потом семейства GPT и BERT. В основном, конечно, BERT, про языковые модели уж потом подробнее обсудим.
А потом рассказал о том, как трансформеры применяли в компьютерном зрении: VisualBERT, потом главное — ViT, потом Swin Transformer. Здесь самое интересное в том, что для применения трансформера не потребовалось вообще ничего менять в архитектуре: трансформер просто оказался потрясающе крутой машиной по выявлению сложных внутренних зависимостей практически в чём угодно.
Ну и закончил на case study про сегментацию (с тем же посылом: часто оказалось достаточно взять U-Net и вставить туда self-attention куда получится) и простых, но важных мультимодальных моделях: CLIP и BLIP.
#sfu #lectures #dsfrontiers
🔥9❤6👍3
With Claude Code, you can just do things.
Эта мантра со мной уже несколько месяцев, и я пока не устаю удивляться, насколько расширяются возможности и какое появляется плечо. Проблема уже не в том, чтобы что-то реализовать, а в том, чтобы придумать, что бы ещё захотелось реализовать.
В основном это, конечно, про науку и всякие там эксперименты по статьям, о которых рассказывать нет смысла, но вот приведу маленький дурацкий пример. Нужно мне было для околоЧГКшных целей автоматизировать поиск анаграмм, и не просто анаграмм один к одному, а со всякими наворотами вроде "найди все имеющие смысл слова от 7 до 10 букв", "подсвети, каких букв не хватает, чтобы собрать слова вот в этом списке" и т.п.
Десять лет назад я бы сел и написал скрипт на питоне, который искал бы анаграммы по словарю (скачать словарь в txt можно было всегда). Кажется, я даже когда-то это делал! Сегодня я, конечно, могу попросить LLM сделать то же самое.
Но новое плечо состоит в том, что с абсолютно той же лёгкостью я теперь могу попросить LLM не просто написать скрипт, а тут же добавить его, например, ко мне на сайт; и вот этот скрипт уже доступен всем:
Поиск анаграмм — сайт Сергея Николенко
Enjoy.) Десять лет назад я бы, конечно, тоже мог сделать что-то подобное, но для меня это было бы +1-2 дня разработки, и разумеется, я бы забил. А сегодня нет смысла забивать.
Я делал, конечно, под конкретно свои задачи, но в итоге, кажется, получился более общий и широкий инструмент, чем те сайты с анаграммированием, которые мне первыми в выдаче попадаются.
Есть у меня и более интересная задумка, но её я ещё пододелываю... ;)
#lifestyle #ai #chgk
Эта мантра со мной уже несколько месяцев, и я пока не устаю удивляться, насколько расширяются возможности и какое появляется плечо. Проблема уже не в том, чтобы что-то реализовать, а в том, чтобы придумать, что бы ещё захотелось реализовать.
В основном это, конечно, про науку и всякие там эксперименты по статьям, о которых рассказывать нет смысла, но вот приведу маленький дурацкий пример. Нужно мне было для околоЧГКшных целей автоматизировать поиск анаграмм, и не просто анаграмм один к одному, а со всякими наворотами вроде "найди все имеющие смысл слова от 7 до 10 букв", "подсвети, каких букв не хватает, чтобы собрать слова вот в этом списке" и т.п.
Десять лет назад я бы сел и написал скрипт на питоне, который искал бы анаграммы по словарю (скачать словарь в txt можно было всегда). Кажется, я даже когда-то это делал! Сегодня я, конечно, могу попросить LLM сделать то же самое.
Но новое плечо состоит в том, что с абсолютно той же лёгкостью я теперь могу попросить LLM не просто написать скрипт, а тут же добавить его, например, ко мне на сайт; и вот этот скрипт уже доступен всем:
Поиск анаграмм — сайт Сергея Николенко
Enjoy.) Десять лет назад я бы, конечно, тоже мог сделать что-то подобное, но для меня это было бы +1-2 дня разработки, и разумеется, я бы забил. А сегодня нет смысла забивать.
Я делал, конечно, под конкретно свои задачи, но в итоге, кажется, получился более общий и широкий инструмент, чем те сайты с анаграммированием, которые мне первыми в выдаче попадаются.
Есть у меня и более интересная задумка, но её я ещё пододелываю... ;)
#lifestyle #ai #chgk
❤26👍7🔥3
А на следующем семинаре лаборатории Маркова меня не будет, буду в отъезде. Так что очень удачно, что Максим расскажет там про тот самый TurboQuant, о котором я недавно писал большой пост:
TurboQuant: векторная квантизация с почти оптимальным уровнем искажений
Ссылка на трансляцию (пятница 24 апреля, 14:00)
Максим Николаев (СПбГУ)
В докладе будет представлен алгоритм TurboQuant (Amir Zandieh et al., ICLR 2026), предназначенный для сжатия многомерных векторов в онлайн-режиме без необходимости предварительной настройки на данных. Метод обеспечивает теоретически обоснованные границы искажений как по среднеквадратичной ошибке (MSE), так и по скалярному произведению, приближаясь к нижней границе Шеннона с точностью до небольшой константы. Это получается классно применить для сжатия KV-кеша, а также для поиска ближайших соседей.
Под капотом алгоритм использует следующие два факта:
1. Если вектор, лежащих на единичной сфере, случайным образом повернуть, то координаты полученного вектора, во-первых, будут практически независимы — и значит можно кодировать результат поэлементно, а во-вторых, будут иметь понятное распределение — и значит мы знаем, как устроено оптимальное кодирование.
2. Если вектор x, лежащих на (d-1)-мерной сфере, умножить на случайную d×d матрицу S с элементами из N(0, 1), а потом заменить элементы на их знаки, то полученный вектор z будет состоять из d бит (это и есть наша квантизация), а вектор x' = sqrt(π/2) / d · Sᵀ · z будет обладать следующим удивительным свойством: для всякого y ⟨y, x'⟩ в среднем равно ⟨y, x⟩, а дисперсия ⟨y, x'⟩ имеет порядок O(|y|² / d).
Чтобы закодировать вектор x, лежащих на (d-1)-мерной сфере, сначала применяется кодирование с помощью первого факта, потом находится разность между x и декодированным вектором, и эта разность кодируется с помощью второго факта.
#spsu #markovlab #seminar
TurboQuant: векторная квантизация с почти оптимальным уровнем искажений
Ссылка на трансляцию (пятница 24 апреля, 14:00)
Максим Николаев (СПбГУ)
В докладе будет представлен алгоритм TurboQuant (Amir Zandieh et al., ICLR 2026), предназначенный для сжатия многомерных векторов в онлайн-режиме без необходимости предварительной настройки на данных. Метод обеспечивает теоретически обоснованные границы искажений как по среднеквадратичной ошибке (MSE), так и по скалярному произведению, приближаясь к нижней границе Шеннона с точностью до небольшой константы. Это получается классно применить для сжатия KV-кеша, а также для поиска ближайших соседей.
Под капотом алгоритм использует следующие два факта:
1. Если вектор, лежащих на единичной сфере, случайным образом повернуть, то координаты полученного вектора, во-первых, будут практически независимы — и значит можно кодировать результат поэлементно, а во-вторых, будут иметь понятное распределение — и значит мы знаем, как устроено оптимальное кодирование.
2. Если вектор x, лежащих на (d-1)-мерной сфере, умножить на случайную d×d матрицу S с элементами из N(0, 1), а потом заменить элементы на их знаки, то полученный вектор z будет состоять из d бит (это и есть наша квантизация), а вектор x' = sqrt(π/2) / d · Sᵀ · z будет обладать следующим удивительным свойством: для всякого y ⟨y, x'⟩ в среднем равно ⟨y, x⟩, а дисперсия ⟨y, x'⟩ имеет порядок O(|y|² / d).
Чтобы закодировать вектор x, лежащих на (d-1)-мерной сфере, сначала применяется кодирование с помощью первого факта, потом находится разность между x и декодированным вектором, и эта разность кодируется с помощью второго факта.
#spsu #markovlab #seminar
🔥13❤3👍2
Продолжаю выкладывать семинар лаборатории Маркова. На этот раз доклад Андрея Ярёменко:
Семинар Markov Lab — 2026-04-10 — Ускорение сэмплирования в порождающих моделях
(слайды на странице семинара)
В целом это была обзорная экскурсия по тому, как за последние годы эволюционировали методы быстрого сэмплинга из диффузионных моделей и flow matching. Главная их проблема в том, что чтобы получить приличные картинки, диффузионкам нужно 100–250 шагов, а flow matching — 50–100. Это медленно, и хочется быстрее.
Самая интересная часть была про свежие результаты того самого Kaiming He, который в своё время придумал ResNet и не только: drifting models, результат 2026 года. Рекомендую посмотреть!
#spsu #seminar #markovlab
Семинар Markov Lab — 2026-04-10 — Ускорение сэмплирования в порождающих моделях
(слайды на странице семинара)
В целом это была обзорная экскурсия по тому, как за последние годы эволюционировали методы быстрого сэмплинга из диффузионных моделей и flow matching. Главная их проблема в том, что чтобы получить приличные картинки, диффузионкам нужно 100–250 шагов, а flow matching — 50–100. Это медленно, и хочется быстрее.
Самая интересная часть была про свежие результаты того самого Kaiming He, который в своё время придумал ResNet и не только: drifting models, результат 2026 года. Рекомендую посмотреть!
#spsu #seminar #markovlab
❤10
Прилетел в Китай, и пока меня тут всё бесит.) В частности, похоже, что у меня тут могут быть проблемы с интернетом, да и новый контент не факт что смогу порождать, так что не очень обещаю, что посты будут продолжаться ежедневно.
Но пока ещё есть запас — вот, например, в курсе "Графические вероятностные модели" мы обсудили одну из моих давно и горячо любимых тем:
СПбГУ — 2026.04.17 — Наивный Байес и тематическое моделирование
(слайды и доска, как всегда, на странице курса)
Topic modeling — моя очень давняя тема. Когда-то я занимался им как наукой, были кое-какие публикации, и даже неплохие: немало цитирований набрала вот эта статья, совместная с теми самыми Олесей и Сергеем Кольцовыми, а ещё у меня про topic modeling было вообще уникальное достижение, которое я вряд ли когда-нибудь повторю, — единоличная статья на SIGIR.)
Но и по сути, а не только автобиографически, это отличный пример. В этих двух лекциях мы прошли путь от обычного наивного байесовского классификатора до вариационного вывода в LDA. И это абсолютно логичный и естественный путь: просто ослабили пару предположений, убрали метки да разрешили документам несколько тем иметь, а наивное предположение даже и не ослабляли никак — классические тематические модели тоже представляют документ как мешок слов. Но математика вдруг стала совершенно другая.
В следующий раз закончу разговор об LDA и дальше расскажу о том, с чего действительно началась моя карьера в машинном обучении. Надеюсь, что проблемы с интернетом решатся, и это будет всё-таки в пятницу.
#spsu #lectures #pgm2026
Но пока ещё есть запас — вот, например, в курсе "Графические вероятностные модели" мы обсудили одну из моих давно и горячо любимых тем:
СПбГУ — 2026.04.17 — Наивный Байес и тематическое моделирование
(слайды и доска, как всегда, на странице курса)
Topic modeling — моя очень давняя тема. Когда-то я занимался им как наукой, были кое-какие публикации, и даже неплохие: немало цитирований набрала вот эта статья, совместная с теми самыми Олесей и Сергеем Кольцовыми, а ещё у меня про topic modeling было вообще уникальное достижение, которое я вряд ли когда-нибудь повторю, — единоличная статья на SIGIR.)
Но и по сути, а не только автобиографически, это отличный пример. В этих двух лекциях мы прошли путь от обычного наивного байесовского классификатора до вариационного вывода в LDA. И это абсолютно логичный и естественный путь: просто ослабили пару предположений, убрали метки да разрешили документам несколько тем иметь, а наивное предположение даже и не ослабляли никак — классические тематические модели тоже представляют документ как мешок слов. Но математика вдруг стала совершенно другая.
В следующий раз закончу разговор об LDA и дальше расскажу о том, с чего действительно началась моя карьера в машинном обучении. Надеюсь, что проблемы с интернетом решатся, и это будет всё-таки в пятницу.
#spsu #lectures #pgm2026
❤11😢3