С одной стороны, сегодня Всемирный день кошек, с чем вас поздравляет Майлз. С другой стороны, вышла GPT-5, как распробую, напишу вам об этом. Но пока у нас пятничный пост; игр всего две, но обе безусловно стоят внимания.
Signalis
Ох, это мощное произведение искусства. Авторы выстроили целый мир с (действительно) потрясающей историей и глубоким лором, а потом начали искусно подавать всё это маленькими порциями, которые не так-то просто связать воедино, но каждая новая записочка оставляет желание найти следующую. Отдельно отмечу историю создания: немецкая студия rose-engine состоит буквально из двух человек, Юрия Штерна и Барбары Виттманн, и они делали Signalis с 2014 до 2022 года. Это, конечно, вызывает искреннее восхищение.
Геймплейно это типичный ранний Resident Evil, сказал я, никогда не игравший ни в Resident Evil, ни в Silent Hill, ни вообще во что бы то ни было на PlayStation 1/2 и знающий об этом жанре понаслышке. Но тут ни с чем не перепутаешь, и графический стиль оригинальной PlayStation здесь тоже отлично добавляет хоррора... а ещё иногда сменяется на вид от первого лица, что тоже круто сделано. Вообще, атмосферу можно кушать ложками от начала до конца игры.
Мне очень понравился и этот стиль, и лор, и давящая хоррор-атмосфера без особого хоррора — "настоящих" хорроров со скримерами я, честно говоря, боюсь до уровня, когда это уже неприятно, а тут от начала до конца просто напряжённо и очень депрессивно, но это я как раз люблю.)
Не понравилось же то, что загадочность лора Signalis никуда не делась до самого конца. Игра так ничего связного мне и не объяснила, и, честно говоря, в конце игры у меня в голове была изрядная каша, хотя я вроде не прерывался надолго и игру прошёл примерно за неделю.
Кашу я смог упорядочить только посмотрев видео "The Story of Signalis"; там спойлеры, не смотрите, если не играли! Игре отдельный зачёт за то, что мне реально хотелось разобраться и хотелось это видео смотреть. Но всё-таки мне самонадеянно кажется, что если я после прохождения ничего не понял, то скорее всего многие игроки ничего не поняли... И получается, что разработчики придумали очень крутую историю, которую мало кому рассказали. Более того, кажется, это не баг, а фича, и видео, которое я смотрел, — это всего лишь одна из многих идей (вот вам про dream theory, например, тоже со спойлерами).
Но в целом и для любителей survival horror, и для любителей хорошей фантастики, и для любителей депрессивных [около|псевдо]философских произведений любого жанра категорически рекомендую. А ещё Signalis в первую очередь про любовь. Как и всё на свете.
Лихо одноглазое
А это свежий релиз от пермской студии Morteshka, специализирующейся на российской мифологии. В их "Чёрную книгу" я играл с большим удовольствием два года назад; это была маленькая карточная игра, но там и геймплей, и лор (настоящий, основанный на быличках и истории Пермского края) были на своих местах.
На этот раз подход более глобальный. Основной посыл игры здесь — популяризация Проппа; главные collectibles — это разные версии сказки про ослепление одноглазого врага, от Полифема до собственно Лиха. Но сама игра выдержана в русском стиле, кузнец с портным куда-то идут, попадают в мистические лиминальные пространства, обманывают Лихо, всё такое.
Геймплейно и стилистически тоже всё по-другому: игра от первого лица, в основном про загадки, но есть пара стелс-кусочков. По стилю и картинке мне эта игра напомнила INDIKA, о которой надо бы как-нибудь тоже ретроспективно вспомнить: вид от первого лица, русская хтонь, хорошая русскоязычная озвучка. Только здесь ещё немного хоррора и много мистики, что для сказки логично. Проходится быстро, загадки в большинстве своём очень простые (хотя иногда не совсем ясно, чего от тебя хотят).
Игра оставила хорошее впечатление. Пожалуй, единственный минус — заведомая предсказуемость всего происходящего. Да, это известная сказка, но можно было бы, например, добавить метанарратива. Но образы классные, стилистика крутая, видно, что сделано недорого, но с душой. Morteshka молодцы, буду ждать следующих релизов.
Signalis
Ох, это мощное произведение искусства. Авторы выстроили целый мир с (действительно) потрясающей историей и глубоким лором, а потом начали искусно подавать всё это маленькими порциями, которые не так-то просто связать воедино, но каждая новая записочка оставляет желание найти следующую. Отдельно отмечу историю создания: немецкая студия rose-engine состоит буквально из двух человек, Юрия Штерна и Барбары Виттманн, и они делали Signalis с 2014 до 2022 года. Это, конечно, вызывает искреннее восхищение.
Геймплейно это типичный ранний Resident Evil, сказал я, никогда не игравший ни в Resident Evil, ни в Silent Hill, ни вообще во что бы то ни было на PlayStation 1/2 и знающий об этом жанре понаслышке. Но тут ни с чем не перепутаешь, и графический стиль оригинальной PlayStation здесь тоже отлично добавляет хоррора... а ещё иногда сменяется на вид от первого лица, что тоже круто сделано. Вообще, атмосферу можно кушать ложками от начала до конца игры.
Мне очень понравился и этот стиль, и лор, и давящая хоррор-атмосфера без особого хоррора — "настоящих" хорроров со скримерами я, честно говоря, боюсь до уровня, когда это уже неприятно, а тут от начала до конца просто напряжённо и очень депрессивно, но это я как раз люблю.)
Не понравилось же то, что загадочность лора Signalis никуда не делась до самого конца. Игра так ничего связного мне и не объяснила, и, честно говоря, в конце игры у меня в голове была изрядная каша, хотя я вроде не прерывался надолго и игру прошёл примерно за неделю.
Кашу я смог упорядочить только посмотрев видео "The Story of Signalis"; там спойлеры, не смотрите, если не играли! Игре отдельный зачёт за то, что мне реально хотелось разобраться и хотелось это видео смотреть. Но всё-таки мне самонадеянно кажется, что если я после прохождения ничего не понял, то скорее всего многие игроки ничего не поняли... И получается, что разработчики придумали очень крутую историю, которую мало кому рассказали. Более того, кажется, это не баг, а фича, и видео, которое я смотрел, — это всего лишь одна из многих идей (вот вам про dream theory, например, тоже со спойлерами).
Но в целом и для любителей survival horror, и для любителей хорошей фантастики, и для любителей депрессивных [около|псевдо]философских произведений любого жанра категорически рекомендую. А ещё Signalis в первую очередь про любовь. Как и всё на свете.
Лихо одноглазое
А это свежий релиз от пермской студии Morteshka, специализирующейся на российской мифологии. В их "Чёрную книгу" я играл с большим удовольствием два года назад; это была маленькая карточная игра, но там и геймплей, и лор (настоящий, основанный на быличках и истории Пермского края) были на своих местах.
На этот раз подход более глобальный. Основной посыл игры здесь — популяризация Проппа; главные collectibles — это разные версии сказки про ослепление одноглазого врага, от Полифема до собственно Лиха. Но сама игра выдержана в русском стиле, кузнец с портным куда-то идут, попадают в мистические лиминальные пространства, обманывают Лихо, всё такое.
Геймплейно и стилистически тоже всё по-другому: игра от первого лица, в основном про загадки, но есть пара стелс-кусочков. По стилю и картинке мне эта игра напомнила INDIKA, о которой надо бы как-нибудь тоже ретроспективно вспомнить: вид от первого лица, русская хтонь, хорошая русскоязычная озвучка. Только здесь ещё немного хоррора и много мистики, что для сказки логично. Проходится быстро, загадки в большинстве своём очень простые (хотя иногда не совсем ясно, чего от тебя хотят).
Игра оставила хорошее впечатление. Пожалуй, единственный минус — заведомая предсказуемость всего происходящего. Да, это известная сказка, но можно было бы, например, добавить метанарратива. Но образы классные, стилистика крутая, видно, что сделано недорого, но с душой. Morteshka молодцы, буду ждать следующих релизов.
❤23👍3
Увы, Mach Labs, о котором я рассказывал какое-то время назад, так и не взлетел. Synthesis AI закончился, а Mach Labs не начался — грустно, но что поделать, sic transit. Так что и блога Mach Labs не будет. Лебединой песней остались у меня последние два поста (точнее, две части одной большой главы), которые я хотел выложить уже в новом блоге, а теперь, видимо, выложу просто у себя. Пусть будет с меткой Synthesis AI по старой памяти. Сегодня первая часть:
A Mixed Blessing I: Mixtures of Experts from Committee Machines to LLMs
Это глава о том, что такое mixtures of experts (MoE), в которые в последние год-два превратились все гигантские фронтирные модели. Когда вы слышите, что у модели триллион параметров, это значит, что их всего триллион, но реально на каждом входе активируется только небольшая их часть... ну как "небольшая", всё равно десятки или сотни миллиардов, но не триллион.
В первой части рассказываю об истории вопроса начиная от committee machines 1980-х и того, как MoE появились в 1991 году в работе Jacobs, Jordan (тот самый Майкл Джордан), Nowlan and Hinton (тут вряд ли у вас есть сомнения, что тот самый).
Потом о MoE надолго забыли, и тема всплыла уже только в эпоху трансформеров, в 2020-м с появлением GShard и Switch Transformer. Потом были GLaM и проект Pathways от Google, DeepSpeed-MoE от Microsoft, Megatron-LM от NVIDIA и далее везде. Сейчас все большие модели — MoE так или иначе, причём иногда даже MoE с экспертами разного вида; например, начинают подмешивать к трансформерам Mamba-подобные модели.
Дальше обсуждаю основную механику происходящего: sparse vs. dense MoE, MoLE (Mixture of LoRA Experts) и подобные модели, MoPE (Mixtures of Parameter-Efficient Experts) в целом и разные режимы их обучения.
В первой части всё только про языковые модели, а во второй поговорю о картинках и мультимодальных MoE-моделях. Надеюсь, будет интересно!
A Mixed Blessing I: Mixtures of Experts from Committee Machines to LLMs
Это глава о том, что такое mixtures of experts (MoE), в которые в последние год-два превратились все гигантские фронтирные модели. Когда вы слышите, что у модели триллион параметров, это значит, что их всего триллион, но реально на каждом входе активируется только небольшая их часть... ну как "небольшая", всё равно десятки или сотни миллиардов, но не триллион.
В первой части рассказываю об истории вопроса начиная от committee machines 1980-х и того, как MoE появились в 1991 году в работе Jacobs, Jordan (тот самый Майкл Джордан), Nowlan and Hinton (тут вряд ли у вас есть сомнения, что тот самый).
Потом о MoE надолго забыли, и тема всплыла уже только в эпоху трансформеров, в 2020-м с появлением GShard и Switch Transformer. Потом были GLaM и проект Pathways от Google, DeepSpeed-MoE от Microsoft, Megatron-LM от NVIDIA и далее везде. Сейчас все большие модели — MoE так или иначе, причём иногда даже MoE с экспертами разного вида; например, начинают подмешивать к трансформерам Mamba-подобные модели.
Дальше обсуждаю основную механику происходящего: sparse vs. dense MoE, MoLE (Mixture of LoRA Experts) и подобные модели, MoPE (Mixtures of Parameter-Efficient Experts) в целом и разные режимы их обучения.
В первой части всё только про языковые модели, а во второй поговорю о картинках и мультимодальных MoE-моделях. Надеюсь, будет интересно!
😢17❤13
И вот ещё один запоздалый пост об МКН (факультете математики и компьютерных наук) СПбГУ, где я много лет преподаю (ставлю ссылку и вспоминаю, что надо бы все курсы переложить на новый сайт... вот здесь в меню Teaching их куда больше), а теперь и, кажется, руковожу одной из программ.
На МКН есть традиция: выпускной после вручения дипломов каждый год проходит в виде фуршета на кораблике. Выпускной был ещё в конце июня, и вот не прошло и полутора месяцев, как выложили фотографии с кораблика этого года. Впрочем, их всё равно было немного (относительно того, сколько там было человек), так что здесь в основном свои, телефонные. Всех выпускников категорически поздравляю, был очень рад всех видеть, и действительно надеюсь со следующего года участвовать в жизни МКН больше.
В этом году выпускники сделали крутые пончики с мемами про разные курсы и преподавателей. Я до сих пор не понимаю, почему из всего моего курса мемом стала довольно скучная картинка про линейную классификацию, но пути виральности неисповедимы.)
В общем, МКН крутой, будьте как МКН и приходите к нам!
На МКН есть традиция: выпускной после вручения дипломов каждый год проходит в виде фуршета на кораблике. Выпускной был ещё в конце июня, и вот не прошло и полутора месяцев, как выложили фотографии с кораблика этого года. Впрочем, их всё равно было немного (относительно того, сколько там было человек), так что здесь в основном свои, телефонные. Всех выпускников категорически поздравляю, был очень рад всех видеть, и действительно надеюсь со следующего года участвовать в жизни МКН больше.
В этом году выпускники сделали крутые пончики с мемами про разные курсы и преподавателей. Я до сих пор не понимаю, почему из всего моего курса мемом стала довольно скучная картинка про линейную классификацию, но пути виральности неисповедимы.)
В общем, МКН крутой, будьте как МКН и приходите к нам!
🔥43❤19🤩7
У меня сегодня день рождения, так что буду беспардонно ностальгировать и самолюбоваться.
Когда я начал переносить блог Synthesis AI на свой сайт (дважды уже писал об этом и ещё напишу), я вспомнил, что ещё до этого был на свете блог компании Neuromation, с которой всё началось и которая в своё время родила из своей головы Synthesis. Оказалось, что блог до сих пор жив, я спросил у фаундера разрешения (Константин, привет!) и решил перенести его к себе тоже, сугубо из ностальгических соображений.
А вспомнить есть что! В 2017-2018 мы начинали Neuromation сначала как AI-консалтинг, потом появилась крипто-сторона этой деятельности (времена были такие), но я остался на стороне консалтинга, то есть небольших AI-проектов для сторонних заказчиков. Появилась команда, появился офис в Питере (очень хорошее было место, кстати говоря, удачно я его нашёл), мы начали что-то пилить. Кроме индустриальных проектов, ребята выигрывали соревнования, потом мы об этих победах писали статьи, сотрудничали с Insilico и писали об этом статьи, ездили на конференции, я писал ещё в тот самый блог... Рауф, Лёша, Сергей, ещё один Лёша, Октай, ещё один Лёша, Гоша, ещё один Лёша, Саша, [Алексеи, кажется, закончились] Арсений, ещё один Саша, Стас — помните?)
Вот подборка постов из тех далёких времён с фотографиями; в большинстве из них нет особого содержания, ностальгия чистой воды:
Neuromation Chief Scientist at Samsung headquarters — один из буквально первых постов в блоге Neuromation был о том, как я ездил в Сеул к Самсунгу, с которым тогда плотно сотрудничал.
Neuromation Team in Singapore — весной 2018-го много ездили по индустриальным конференциям, вот и в Сингапуре были.
Neuromation Team at the Future of AI — и вот ещё конференция в Тель-Авиве в марте 2018-го.
DeepGlobe Challenge: Three Papers from Neuromation Accepted! — это был наш звёздный час тогда, три статьи с коллегами получились по итогам соревнования DeepGlobe об анализе спутниковых снимков при CVPR 2018! Это единственный тут содержательный пост, с описанием наших решений.
Deep Learning Topics in Computer Vision at Harbour Space — в блоге Neuromation даже был пост о том, как мы с Лёшей Давыдовым преподавали в Harbour Space в 2019 году; мы это делаем каждый год, и в этом году я уже об этом рассказывал, но вот как давно это началось (точнее, конечно, ещё раньше, это уже не первый и не второй приезд).
Neuromation at the LDV Vision Summit — ещё одна индустриальная конференция, это уже май 2019-го и уже про синтетику.
Neuromation team at ICML 2018 — здесь меня не было, но от Neuromation была внушительная делегация на ICML.
Neuromation Team at the Basel Life — а это медицинская конференция, я там делал обзорный доклад и общался с Алексом Жаворонковым; вообще, сотрудничество с Insilico было очень крутое, когда буду содержательные посты выкладывать, расскажу обязательно.
В те несколько лет наездился на всю жизнь, да и вообще времена были очень романтические; сейчас уже трудно даже вспомнить что-то плохое, розовая пелена плотно всё застилает. Старею!)
Когда я начал переносить блог Synthesis AI на свой сайт (дважды уже писал об этом и ещё напишу), я вспомнил, что ещё до этого был на свете блог компании Neuromation, с которой всё началось и которая в своё время родила из своей головы Synthesis. Оказалось, что блог до сих пор жив, я спросил у фаундера разрешения (Константин, привет!) и решил перенести его к себе тоже, сугубо из ностальгических соображений.
А вспомнить есть что! В 2017-2018 мы начинали Neuromation сначала как AI-консалтинг, потом появилась крипто-сторона этой деятельности (времена были такие), но я остался на стороне консалтинга, то есть небольших AI-проектов для сторонних заказчиков. Появилась команда, появился офис в Питере (очень хорошее было место, кстати говоря, удачно я его нашёл), мы начали что-то пилить. Кроме индустриальных проектов, ребята выигрывали соревнования, потом мы об этих победах писали статьи, сотрудничали с Insilico и писали об этом статьи, ездили на конференции, я писал ещё в тот самый блог... Рауф, Лёша, Сергей, ещё один Лёша, Октай, ещё один Лёша, Гоша, ещё один Лёша, Саша, [Алексеи, кажется, закончились] Арсений, ещё один Саша, Стас — помните?)
Вот подборка постов из тех далёких времён с фотографиями; в большинстве из них нет особого содержания, ностальгия чистой воды:
Neuromation Chief Scientist at Samsung headquarters — один из буквально первых постов в блоге Neuromation был о том, как я ездил в Сеул к Самсунгу, с которым тогда плотно сотрудничал.
Neuromation Team in Singapore — весной 2018-го много ездили по индустриальным конференциям, вот и в Сингапуре были.
Neuromation Team at the Future of AI — и вот ещё конференция в Тель-Авиве в марте 2018-го.
DeepGlobe Challenge: Three Papers from Neuromation Accepted! — это был наш звёздный час тогда, три статьи с коллегами получились по итогам соревнования DeepGlobe об анализе спутниковых снимков при CVPR 2018! Это единственный тут содержательный пост, с описанием наших решений.
Deep Learning Topics in Computer Vision at Harbour Space — в блоге Neuromation даже был пост о том, как мы с Лёшей Давыдовым преподавали в Harbour Space в 2019 году; мы это делаем каждый год, и в этом году я уже об этом рассказывал, но вот как давно это началось (точнее, конечно, ещё раньше, это уже не первый и не второй приезд).
Neuromation at the LDV Vision Summit — ещё одна индустриальная конференция, это уже май 2019-го и уже про синтетику.
Neuromation team at ICML 2018 — здесь меня не было, но от Neuromation была внушительная делегация на ICML.
Neuromation Team at the Basel Life — а это медицинская конференция, я там делал обзорный доклад и общался с Алексом Жаворонковым; вообще, сотрудничество с Insilico было очень крутое, когда буду содержательные посты выкладывать, расскажу обязательно.
В те несколько лет наездился на всю жизнь, да и вообще времена были очень романтические; сейчас уже трудно даже вспомнить что-то плохое, розовая пелена плотно всё застилает. Старею!)
🎉92❤17👏8