Когда я был в Иннополисе на летней школе имени Поляка, со мной в студии Иннополиса записали подкаст. Вдруг вспомнил о нём — и оказалось, что в конце июля он уже вышел!
Выложил на страницу "Выступления"
Прямая ссылка в VKVideo
На записи было забавное ощущение: ведущий начал издалека, поспрашивал про меня, про историю моей жизни, потом понемногу начал подбираться к науке и образованию. Я думал: "Ого, мы полчаса делаем вступление, сколько же этот подкаст будет длиться"... и тут он закончился.)
Но вроде бы всё равно что-то интересное получилось; надеюсь, что он заслуживает больше чем 600 просмотров за месяц. :)
Выложил на страницу "Выступления"
Прямая ссылка в VKVideo
На записи было забавное ощущение: ведущий начал издалека, поспрашивал про меня, про историю моей жизни, потом понемногу начал подбираться к науке и образованию. Я думал: "Ого, мы полчаса делаем вступление, сколько же этот подкаст будет длиться"... и тут он закончился.)
Но вроде бы всё равно что-то интересное получилось; надеюсь, что он заслуживает больше чем 600 просмотров за месяц. :)
😁25🔥12❤5
Современные LLM, даже рассуждающие, всё равно очень плохи в алгоритмических задачах. И вот, кажется, намечается прогресс: Hierarchical Reasoning Model (HRM), в которой друг с другом взаимодействуют две рекуррентные сети на двух уровнях, с жалкими 27 миллионами параметров обошла системы в тысячи раз больше на задачах, требующих глубокого логического мышления. Как у неё это получилось, и может ли это совершить новую мини-революцию в AI? Давайте разберёмся...
Hierarchical Reasoning Model: как 27М параметров решают судоку и ARC-AGI
(Пост довольно большой, так что приведу тут только введение, дальше читайте по ссылке.)
Возможности современных LLM слегка парадоксальны: модели, которые пишут симфонии и объясняют квантовую хромодинамику, не могут решить судоку уровня "эксперт". На подобного рода алгоритмических головоломках точность даже лучших LLM в мире стремится к нулю.
Это не баг, а фундаментальное ограничение архитектуры. Вспомните базовый курс алгоритмов (или менее базовый курс теории сложности, если у вас такой был): есть задачи класса P (решаемые за полиномиальное время), а есть задачи, решаемые схемами постоянной глубины (AC⁰). Трансформеры, при всей их мощи, застряли во втором классе, ведь у них фиксированная и не слишком большая глубина.
Представьте это так: вам дают лабиринт и просят найти выход. Это несложно, но есть нюанс: смотреть на лабиринт можно ровно три секунды, вне зависимости от того, это лабиринт 5×5 или 500×500. Именно так работают современные LLM — у них фиксированное число слоёв (обычно несколько десятков), через которые проходит информация. Миллиарды и триллионы параметров относятся к ширине обработки (числу весов в каждом слое), а не к глубине мышления (числу слоёв).
Да, начиная с семейства OpenAI o1 у нас есть “рассуждающие” модели, которые могут думать долго. Но это ведь на самом деле “костыль”: они порождают промежуточные токены, эмулируя цикл через текст. Честно говоря, подозреваю, что для самой LLM это как программировать на Brainfuck — технически возможно, но мучительно неэффективно. Представьте, например, что вам нужно решить судоку с такими ограничениями:
— смотреть на картинку можно две секунды,
— потом нужно записать обычными словами на русском языке то, что вы хотите запомнить,
— и потом вы уходите и возвращаетесь через пару дней (полностью “очистив контекст”), получая только свои предыдущие записи на естественном языке плюс ещё две секунды на анализ самой задачи.
Примерно так современные LLM должны решать алгоритмические задачи — так что кажется неудивительным, что они это очень плохо делают!
И вот Wang et al. (2025) предлагают архитектуру Hierarchical Reasoning Model (HRM), которая, кажется, умеет думать нужное время естественным образом... Как у них это получилось?
Hierarchical Reasoning Model: как 27М параметров решают судоку и ARC-AGI
(Пост довольно большой, так что приведу тут только введение, дальше читайте по ссылке.)
Возможности современных LLM слегка парадоксальны: модели, которые пишут симфонии и объясняют квантовую хромодинамику, не могут решить судоку уровня "эксперт". На подобного рода алгоритмических головоломках точность даже лучших LLM в мире стремится к нулю.
Это не баг, а фундаментальное ограничение архитектуры. Вспомните базовый курс алгоритмов (или менее базовый курс теории сложности, если у вас такой был): есть задачи класса P (решаемые за полиномиальное время), а есть задачи, решаемые схемами постоянной глубины (AC⁰). Трансформеры, при всей их мощи, застряли во втором классе, ведь у них фиксированная и не слишком большая глубина.
Представьте это так: вам дают лабиринт и просят найти выход. Это несложно, но есть нюанс: смотреть на лабиринт можно ровно три секунды, вне зависимости от того, это лабиринт 5×5 или 500×500. Именно так работают современные LLM — у них фиксированное число слоёв (обычно несколько десятков), через которые проходит информация. Миллиарды и триллионы параметров относятся к ширине обработки (числу весов в каждом слое), а не к глубине мышления (числу слоёв).
Да, начиная с семейства OpenAI o1 у нас есть “рассуждающие” модели, которые могут думать долго. Но это ведь на самом деле “костыль”: они порождают промежуточные токены, эмулируя цикл через текст. Честно говоря, подозреваю, что для самой LLM это как программировать на Brainfuck — технически возможно, но мучительно неэффективно. Представьте, например, что вам нужно решить судоку с такими ограничениями:
— смотреть на картинку можно две секунды,
— потом нужно записать обычными словами на русском языке то, что вы хотите запомнить,
— и потом вы уходите и возвращаетесь через пару дней (полностью “очистив контекст”), получая только свои предыдущие записи на естественном языке плюс ещё две секунды на анализ самой задачи.
Примерно так современные LLM должны решать алгоритмические задачи — так что кажется неудивительным, что они это очень плохо делают!
И вот Wang et al. (2025) предлагают архитектуру Hierarchical Reasoning Model (HRM), которая, кажется, умеет думать нужное время естественным образом... Как у них это получилось?
🔥32❤21👍9
Сегодня в пятничном посте две игры, и обе на первый взгляд кажутся совершенно стандартными, но в итоге обе очень понравились.
Islets
Это. Просто. Хорошая. Метроидвания. Абсолютно стандартная, по канонам. Рисованные мышки спасают свой маленький мир от злых роботов и прочих созданий. Мыш, за которого мы играем, получает новые способности вроде двойного прыжка или приклеивания к стенкам, что открывает новые проходы в разных местах. После победы над боссом летающие острова приклеиваются друг к другу, что тоже открывает новые проходы.
Но хорошо сделано! Прыгать приятно, сражаться приятно, летать на небольшом деревянном самолётике приятно, арт-стиль милый, боссы нетривиальные, но не душные, история ни на что не претендующая, но с забавными шуточками. Вот просто всё сделано компетентно и с любовью, нет ни одной провальной стороны.
И в результате игра, которая снаружи кажется стандартной, чуть ли не унылой и не имеющей никакой особой фишки, на самом деле восхитительно играется. С большим удовольствием прошёл и всем рекомендую; это для меня примерно такой же hidden gem, каким когда-то оказался Teslagrad в жанре пазл-платформеров. Надо будет, кстати, рассказать про него при случае.
Crow Country
А это просто хороший survival horror в стиле игр с PlayStation 1. После того как мне (немного неожиданно для самого себя) зашёл Signalis, я решил попробовать другого представителя жанра. И не был разочарован!
Здесь нет никакой суперзагадочной истории: ты детектив, приезжающий в заброшенный парк развлечений искать пропавших людей и хозяина парка. Дальше, конечно, происходит много странного и антинаучного, нападают странные мутанты, но история разворачивается достаточно логично, записки объясняют весь контекст, и следить за происходящим интересно. Есть только один небольшой твист в конце, который ни на что не влияет (и на самом деле непонятно зачем добавлен).
Собственно, и хоррора никакого нет: не было даже того постоянного дискомфорта и давящей атмосферы, которые создаёт Signalis. А в Crow Country вся рисовка скорее мультяшная, скримеров никаких нету, и даже чересчур неприятных вещей ни с кем не происходит.
Но мне очень понравились загадки; они не совсем тривиальные, но достаточно простые. Так что получается, что ты нигде не застреваешь (та редкая игра, где я ни разу не пользовался гайдами), а просто идёшь вперёд и решаешь загадку за загадкой... но тебе при этом не скучно! В Crow Country есть даже карта секретов, которая сразу показывает, в каких комнатах их искать. В итоге я после обычного прохождения получил все achievements, кроме одного, которое требует перепрохождения — да, там есть что-то вроде NG+, но туда я уже не полез, конечно.
В общем, рекомендую любителям жанра, да и нелюбителей эта игра может переубедить.
#games #tgif
Islets
Это. Просто. Хорошая. Метроидвания. Абсолютно стандартная, по канонам. Рисованные мышки спасают свой маленький мир от злых роботов и прочих созданий. Мыш, за которого мы играем, получает новые способности вроде двойного прыжка или приклеивания к стенкам, что открывает новые проходы в разных местах. После победы над боссом летающие острова приклеиваются друг к другу, что тоже открывает новые проходы.
Но хорошо сделано! Прыгать приятно, сражаться приятно, летать на небольшом деревянном самолётике приятно, арт-стиль милый, боссы нетривиальные, но не душные, история ни на что не претендующая, но с забавными шуточками. Вот просто всё сделано компетентно и с любовью, нет ни одной провальной стороны.
И в результате игра, которая снаружи кажется стандартной, чуть ли не унылой и не имеющей никакой особой фишки, на самом деле восхитительно играется. С большим удовольствием прошёл и всем рекомендую; это для меня примерно такой же hidden gem, каким когда-то оказался Teslagrad в жанре пазл-платформеров. Надо будет, кстати, рассказать про него при случае.
Crow Country
А это просто хороший survival horror в стиле игр с PlayStation 1. После того как мне (немного неожиданно для самого себя) зашёл Signalis, я решил попробовать другого представителя жанра. И не был разочарован!
Здесь нет никакой суперзагадочной истории: ты детектив, приезжающий в заброшенный парк развлечений искать пропавших людей и хозяина парка. Дальше, конечно, происходит много странного и антинаучного, нападают странные мутанты, но история разворачивается достаточно логично, записки объясняют весь контекст, и следить за происходящим интересно. Есть только один небольшой твист в конце, который ни на что не влияет (и на самом деле непонятно зачем добавлен).
Собственно, и хоррора никакого нет: не было даже того постоянного дискомфорта и давящей атмосферы, которые создаёт Signalis. А в Crow Country вся рисовка скорее мультяшная, скримеров никаких нету, и даже чересчур неприятных вещей ни с кем не происходит.
Но мне очень понравились загадки; они не совсем тривиальные, но достаточно простые. Так что получается, что ты нигде не застреваешь (та редкая игра, где я ни разу не пользовался гайдами), а просто идёшь вперёд и решаешь загадку за загадкой... но тебе при этом не скучно! В Crow Country есть даже карта секретов, которая сразу показывает, в каких комнатах их искать. В итоге я после обычного прохождения получил все achievements, кроме одного, которое требует перепрохождения — да, там есть что-то вроде NG+, но туда я уже не полез, конечно.
В общем, рекомендую любителям жанра, да и нелюбителей эта игра может переубедить.
#games #tgif
❤22
Продолжу ностальгическую серию. Я чуток обновил блог на сайте, добавил плагин с галереями изображений, добавил табы в навигацию и решил, что пусть будет и таб Lifestyle (например, вот пост про день рождения), и таб "Обзоры игр" (их не показываю по умолчанию в табе All, а то всё заполонят, но вот добавил на пробу Islets и Crow Country).
А сейчас продолжу рассказывать о постах из блога Synthesis AI. Сегодня вспомню несколько постов именно про синтетические данные:
Top 5 Applications of Synthetic Data — обзорный пост о том, куда синтетику применять; разумеется, это всё было ещё до эпохи LLM
Synthetic Data Case Studies: It Just Works — длинный пост, по сути наш тогдашний whitepaper о том, как делать синтетику и куда её применять, с конкретными нашими внутренними результатами
Synthetic Data-Centric AI — ещё один обзорный пост о структуре проекта по ML и о том, как туда встраивать синтетические данные
Synthetic Data for Safe Driving — обзор применений синтетических данных для анализа состояния водителей в автомобилях (не путать с self-driving cars, это про живых людей)
Synthetic Data and the Metaverse — появилось тогда это новое слово от Марка Цукерберга, чего бы и пост не написать, понятно же, что в VR-based Metaverse будет куча всяких синтетических данных и объектов
Facial Landmark Detection with Synthetic Data: Case Study — это был один из первых наших серьёзных проектов в Synthesis AI, действительно смогли улучшить распознавание ключевых точек на лицах через синтетические картинки людей; это очень естественное применение синтетики, потому что размечать ключевые точки на настоящих фотографиях — адский труд, и реальные датасеты здесь не могут быть большими
Так мы уже добрались до 2022 года; следующая порция ностальгии из блога Synthesis AI будет немножко особенной и, надеюсь, более интересной, а потом перейдём и вовсе к generative AI.
А сейчас продолжу рассказывать о постах из блога Synthesis AI. Сегодня вспомню несколько постов именно про синтетические данные:
Top 5 Applications of Synthetic Data — обзорный пост о том, куда синтетику применять; разумеется, это всё было ещё до эпохи LLM
Synthetic Data Case Studies: It Just Works — длинный пост, по сути наш тогдашний whitepaper о том, как делать синтетику и куда её применять, с конкретными нашими внутренними результатами
Synthetic Data-Centric AI — ещё один обзорный пост о структуре проекта по ML и о том, как туда встраивать синтетические данные
Synthetic Data for Safe Driving — обзор применений синтетических данных для анализа состояния водителей в автомобилях (не путать с self-driving cars, это про живых людей)
Synthetic Data and the Metaverse — появилось тогда это новое слово от Марка Цукерберга, чего бы и пост не написать, понятно же, что в VR-based Metaverse будет куча всяких синтетических данных и объектов
Facial Landmark Detection with Synthetic Data: Case Study — это был один из первых наших серьёзных проектов в Synthesis AI, действительно смогли улучшить распознавание ключевых точек на лицах через синтетические картинки людей; это очень естественное применение синтетики, потому что размечать ключевые точки на настоящих фотографиях — адский труд, и реальные датасеты здесь не могут быть большими
Так мы уже добрались до 2022 года; следующая порция ностальгии из блога Synthesis AI будет немножко особенной и, надеюсь, более интересной, а потом перейдём и вовсе к generative AI.
👍9🔥9❤2
Внезапно завтра, 27 августа, буду выступать на дебатах об искусственном интеллекте:
Технодебаты: коворкинг Яндекса в ротонде Маяковки
Регистрируйтесь и приходите, если будет желание. Не знаю, что там будет кроме нас, но, видимо, что-то ещё будет, потому что сами дебаты по таймингу длятся полчаса.
Тема заявлена (думаю, намеренно) широкая и мутная:
«Должны ли компании, разрабатывающие ИИ, нести ответственность за работу автономных систем (агентов) на основе ИИ?»
Конечно, всем ясно, что правильный ответ на этот вопрос — иногда. Легко найти очевидные примеры в обе стороны. Но давайте попробую прибегнуть к коллективному разуму: как бы вы аргументировали или ответ "да", или ответ "нет" на этот вопрос?
Идеи, интересные примеры (вроде GPT4o-induced psychosis, например), рассуждения на тему будут очень кстати, а может, мы прямо тут в комментах дебаты и проведём.) Для целей этого вопроса лучше ограничиться именно LLM-агентами, самобеглые коляски и роботов-хирургов обсуждать не будем.
Технодебаты: коворкинг Яндекса в ротонде Маяковки
Регистрируйтесь и приходите, если будет желание. Не знаю, что там будет кроме нас, но, видимо, что-то ещё будет, потому что сами дебаты по таймингу длятся полчаса.
Тема заявлена (думаю, намеренно) широкая и мутная:
«Должны ли компании, разрабатывающие ИИ, нести ответственность за работу автономных систем (агентов) на основе ИИ?»
Конечно, всем ясно, что правильный ответ на этот вопрос — иногда. Легко найти очевидные примеры в обе стороны. Но давайте попробую прибегнуть к коллективному разуму: как бы вы аргументировали или ответ "да", или ответ "нет" на этот вопрос?
Идеи, интересные примеры (вроде GPT4o-induced psychosis, например), рассуждения на тему будут очень кстати, а может, мы прямо тут в комментах дебаты и проведём.) Для целей этого вопроса лучше ограничиться именно LLM-агентами, самобеглые коляски и роботов-хирургов обсуждать не будем.
spb.yandexopenspace.ru
Коворкинг Яндекса в ротонде Маяковки. 8–29 августа
Работа, технологии, культура в Санкт-Петербурге, на Невском проспекте. Тихий зал и зал для созвонов. События про IT и карьеру. Бесплатно, по регистрации.
❤8🔥4
В ностальгической серии буду чередовать Synthesis и Neuromation, сегодня очередь последней. Мы в прошлый раз обсуждали серию NeuroNuggets, сделанную в соавторстве с коллегами по Neuromation. Сегодня вспомню несколько общих постов из 2017-2018, которые сейчас читаются в основном тривиально, местами весьма наивно, но местами, кажется, вполне даже интересно.
The Most Interesting Subject in the Universe — короткий пост о мозге и о том, как там обрабатывается вход, я об этом всегда на вводных лекциях о deep learning рассказываю
Neuroplasticity — продолжение о мозге, на этот раз о нейропластичности, извлечении признаков и о том, что такое вообще искусственные нейронные сети; тоже вводные в DL материалы по сути
Xe — не откажу себе в удовольствии ещё раз напомнить про свой тогдашний рассказик, который мне в целом до сих пор нравится
Deep Architectures — краткое объяснение того, чем глубокие архитектуры лучше неглубоких, и того, что такое вообще deep learning
The AI Dialogues — а это интересный жанр я начал, думал сделать глобальное объяснение основных идей AI в исторической перспективе через диалоги; жалко, что тогда это ни у кого особого интереса не вызвало и этот пост так и остался единственным, но мне кажется, что его вполне можно с интересом читать и сейчас
Convolutional Networks — объяснение главной идеи свёрточных сетей, тоже прямо по учебнику и лекциям
Who Will Be Replaced by Robots I, or "Man! That has a proud sound!" — это первый из двух постов, которые сейчас действительно довольно забавно читаются; первая часть историческая, так что в ней точно особого бреда нет; это перевод моей статьи на vc.ru "Кого же заменят роботы, или Человек — это звучит гордо", статья тоже всё ещё доступна, так что, наверное, разумно её и читать
Who Will Be Replaced by Robots II, or Anatomy of Fear of Robotization — вторая часть о том, кого заменят роботы, уже не историческая; это тоже перевод моей статьи на vc.ru, "Кого заменят роботы II, или Анатомия страха перед роботизацией"; в целом действительно любопытно вспомнить, что мы думали об этом тогда, восемь лет назад
И это ещё далеко не всё! Stay tuned, как говорится.
#longreads #neuromation
The Most Interesting Subject in the Universe — короткий пост о мозге и о том, как там обрабатывается вход, я об этом всегда на вводных лекциях о deep learning рассказываю
Neuroplasticity — продолжение о мозге, на этот раз о нейропластичности, извлечении признаков и о том, что такое вообще искусственные нейронные сети; тоже вводные в DL материалы по сути
Xe — не откажу себе в удовольствии ещё раз напомнить про свой тогдашний рассказик, который мне в целом до сих пор нравится
Deep Architectures — краткое объяснение того, чем глубокие архитектуры лучше неглубоких, и того, что такое вообще deep learning
The AI Dialogues — а это интересный жанр я начал, думал сделать глобальное объяснение основных идей AI в исторической перспективе через диалоги; жалко, что тогда это ни у кого особого интереса не вызвало и этот пост так и остался единственным, но мне кажется, что его вполне можно с интересом читать и сейчас
Convolutional Networks — объяснение главной идеи свёрточных сетей, тоже прямо по учебнику и лекциям
Who Will Be Replaced by Robots I, or "Man! That has a proud sound!" — это первый из двух постов, которые сейчас действительно довольно забавно читаются; первая часть историческая, так что в ней точно особого бреда нет; это перевод моей статьи на vc.ru "Кого же заменят роботы, или Человек — это звучит гордо", статья тоже всё ещё доступна, так что, наверное, разумно её и читать
Who Will Be Replaced by Robots II, or Anatomy of Fear of Robotization — вторая часть о том, кого заменят роботы, уже не историческая; это тоже перевод моей статьи на vc.ru, "Кого заменят роботы II, или Анатомия страха перед роботизацией"; в целом действительно любопытно вспомнить, что мы думали об этом тогда, восемь лет назад
И это ещё далеко не всё! Stay tuned, как говорится.
#longreads #neuromation
❤7🔥7🤣1