В пятничном посте сегодня два представителя жанра high weirdness: одна очень крутая, другая — скорее провал. Но обе очень необычные! Пост сокращаю, полный по ссылке:
Странные игры: ENA: Dream BBQ и Dreams of Another
Есть такой жанр игр, в которых на экране происходит буквально чёрт знает что, напоминающее мультфильмы Роберта Саакянца (очень рекомендую!) или эксперименты Терри Гиллиама в Monty Python. Намеренно странные игры, в которых абсурд и хаос становятся основным содержанием.
К этому жанру относятся, например, Hylics, Wattam, Jazzpunk или рассмотренный мной недавно The Norwood Suite. Сегодня — две игры из этого ряда.
ENA: Dream BBQ
Это первая интерактивная часть серии ENA, созданной перуанским аниматором Хоэлем Герра (Joel G). Проект начался в 2020 году как мультсериал на YouTube. [...] Главная героиня ENA — гуманоид с двуцветным телом, чей дизайн вдохновлён картиной Пикассо “Девушка перед зеркалом” и бразильским художником Ромеро Бритто, а движения — фильмами Джеки Чана. Всё понятно?
Визуал здесь — калейдоскопическая смесь всего на свете: эстетика CD-i игр, раннеинтернетная графика, ретро-3D в духе PS1, плоские 2D-персонажи поверх трёхмерных сцен, текстуры из каких-то параллельных реальностей. Всё это круто работает вместе и создаёт какой-то свой особенный визуальный язык. Каждый экран хочется заскринить, и я себе особо не отказывал.
А ещё звук! Точнее, не сам звук в смысле саундтрек — на него я как-то даже не обратил внимания — а диалоги. Каждый персонаж говорит на своём языке: два главных героя ведут диалог один на английском, а другой на японском, есть и экспрессивная итальянская речь, и греческий, и испанский, и даже русский. При этом все друг друга прекрасно понимают. Это очень обаятельно звучит.
Геймплей стандартный: надо ходить и выполнять нехитрые квесты. Главная героиня ENA ищет некоего “Босса”. [...] Главная задача первой части — добраться до туалета. Здесь есть немножко платформинга, немножко головоломок, есть разветвления — но всё это скорее просто повод для того, чтобы показать вам очередную невероятную локацию и познакомить с очередным невероятным персонажем.
Так что да, получил много удовольствия!
Dreams of Another
А вот это high weirdness, на мой взгляд, в плохом смысле слова. Это проект мультимедийного художника Baiyon (Томохиса Курамицу). [...] Издателем выступила Sony, что само по себе уже значит, что это не совсем домашняя поделка.
Игра по сути не игра, а интерактивное искусство, и оно очень, очень старается звучать глубокомысленно. Девиз проекта — “No Creation Without Destruction”, и вся механика построена вокруг этого: вы стреляете из автомата, но автомат здесь не разрушает, а высекает из расплывчатого point cloud объекты окружающего мира.
Концепция, конечно, красивая, и визуальный стиль действительно уникальный — мир построен на тех самых point clouds. [...] Кстати, со многими неживыми объектами здесь можно поговорить, и они выдают “философские” сентенции о смысле бытия. [...]
Вы встретите:
— клоуна, построившего гигантский монумент-кольцо, переплавив обручальные кольца разведённых людей,
— рыбок, которые хотят добраться до океана,
— кротов, чей обряд инициации состоит в том, чтобы забраться на огромный скалодром и прозвенеть в колокол городской башни,
— а главное — странствующего солдата, который не может заставить себя стрелять в людей. [...]
Но всё это длится очень, очень долго. Сценки постоянно повторяют одни и те же места действия, и их надо сначала раскрыть, расстреляв облака точек, что каждый раз занимает по несколько минут...
Признаюсь в грехе: когда я совсем устал от этого псевдофилософствования, я подглядел в прохождение и увидел, что за 2.5 часа я продвинулся только до середины игры. И немедленно бросил.
В общем, держитесь подальше.
#games #tgif
Странные игры: ENA: Dream BBQ и Dreams of Another
Есть такой жанр игр, в которых на экране происходит буквально чёрт знает что, напоминающее мультфильмы Роберта Саакянца (очень рекомендую!) или эксперименты Терри Гиллиама в Monty Python. Намеренно странные игры, в которых абсурд и хаос становятся основным содержанием.
К этому жанру относятся, например, Hylics, Wattam, Jazzpunk или рассмотренный мной недавно The Norwood Suite. Сегодня — две игры из этого ряда.
ENA: Dream BBQ
Это первая интерактивная часть серии ENA, созданной перуанским аниматором Хоэлем Герра (Joel G). Проект начался в 2020 году как мультсериал на YouTube. [...] Главная героиня ENA — гуманоид с двуцветным телом, чей дизайн вдохновлён картиной Пикассо “Девушка перед зеркалом” и бразильским художником Ромеро Бритто, а движения — фильмами Джеки Чана. Всё понятно?
Визуал здесь — калейдоскопическая смесь всего на свете: эстетика CD-i игр, раннеинтернетная графика, ретро-3D в духе PS1, плоские 2D-персонажи поверх трёхмерных сцен, текстуры из каких-то параллельных реальностей. Всё это круто работает вместе и создаёт какой-то свой особенный визуальный язык. Каждый экран хочется заскринить, и я себе особо не отказывал.
А ещё звук! Точнее, не сам звук в смысле саундтрек — на него я как-то даже не обратил внимания — а диалоги. Каждый персонаж говорит на своём языке: два главных героя ведут диалог один на английском, а другой на японском, есть и экспрессивная итальянская речь, и греческий, и испанский, и даже русский. При этом все друг друга прекрасно понимают. Это очень обаятельно звучит.
Геймплей стандартный: надо ходить и выполнять нехитрые квесты. Главная героиня ENA ищет некоего “Босса”. [...] Главная задача первой части — добраться до туалета. Здесь есть немножко платформинга, немножко головоломок, есть разветвления — но всё это скорее просто повод для того, чтобы показать вам очередную невероятную локацию и познакомить с очередным невероятным персонажем.
Так что да, получил много удовольствия!
Dreams of Another
А вот это high weirdness, на мой взгляд, в плохом смысле слова. Это проект мультимедийного художника Baiyon (Томохиса Курамицу). [...] Издателем выступила Sony, что само по себе уже значит, что это не совсем домашняя поделка.
Игра по сути не игра, а интерактивное искусство, и оно очень, очень старается звучать глубокомысленно. Девиз проекта — “No Creation Without Destruction”, и вся механика построена вокруг этого: вы стреляете из автомата, но автомат здесь не разрушает, а высекает из расплывчатого point cloud объекты окружающего мира.
Концепция, конечно, красивая, и визуальный стиль действительно уникальный — мир построен на тех самых point clouds. [...] Кстати, со многими неживыми объектами здесь можно поговорить, и они выдают “философские” сентенции о смысле бытия. [...]
Вы встретите:
— клоуна, построившего гигантский монумент-кольцо, переплавив обручальные кольца разведённых людей,
— рыбок, которые хотят добраться до океана,
— кротов, чей обряд инициации состоит в том, чтобы забраться на огромный скалодром и прозвенеть в колокол городской башни,
— а главное — странствующего солдата, который не может заставить себя стрелять в людей. [...]
Но всё это длится очень, очень долго. Сценки постоянно повторяют одни и те же места действия, и их надо сначала раскрыть, расстреляв облака точек, что каждый раз занимает по несколько минут...
Признаюсь в грехе: когда я совсем устал от этого псевдофилософствования, я подглядел в прохождение и увидел, что за 2.5 часа я продвинулся только до середины игры. И немедленно бросил.
В общем, держитесь подальше.
#games #tgif
❤6👍3🥱1
Сегодня семинар опять был удалённо, и очень круто получилось!
Ильдус не просто рассказал о том, как там термодинамика из градиентного спуска получается, а буквально провёл на доске-планшете вывод ключевых результатов. Это всегда гораздо лучше выглядит и понимается, чем формулы на слайдах, я тоже так на своих лекциях постоянно делаю.
Но было нелегко! Думаю, я ещё и сам буду запись пересматривать.) Чего и вам желаю.
#markovlab #seminar #spsu
Ильдус не просто рассказал о том, как там термодинамика из градиентного спуска получается, а буквально провёл на доске-планшете вывод ключевых результатов. Это всегда гораздо лучше выглядит и понимается, чем формулы на слайдах, я тоже так на своих лекциях постоянно делаю.
Но было нелегко! Думаю, я ещё и сам буду запись пересматривать.) Чего и вам желаю.
#markovlab #seminar #spsu
🔥18❤9👍1
Продолжу сегодня не про AI, уж извините. Мои попытки играть на пианино потихонечку куда-то движутся, и вот на вчерашнем джеме наконец-то сыграл более-менее, по крайней мере не сбился ни разу.
Так что решусь показать:
Jamschool — 2026.03.27 — Waltz Limp
Даже преподаватель мой сказал, что первые четыре страницы я сыграл хорошо.) Дальше, конечно, пошла аккордовая техника, с которой проблемы. И ни в коем случае не пытайтесь найти оригинал Брубека, там вообще жесть, которую я никогда в жизни не сыграю.) Но я и не претендую; а так вроде прогресс какой-то есть, и это хорошо.
#music #lifestyle
Так что решусь показать:
Jamschool — 2026.03.27 — Waltz Limp
Даже преподаватель мой сказал, что первые четыре страницы я сыграл хорошо.) Дальше, конечно, пошла аккордовая техника, с которой проблемы. И ни в коем случае не пытайтесь найти оригинал Брубека, там вообще жесть, которую я никогда в жизни не сыграю.) Но я и не претендую; а так вроде прогресс какой-то есть, и это хорошо.
#music #lifestyle
YouTube
Jamschool -- 2026.03.27 -- Waltz Limp
Dave Brubeck, "Waltz Limp". Джем в Jamschool 27 марта 2026 года.
🔥21❤16👍8🥱1🐳1
А вот и второй мой доклад из Сириуса двухнедельной давности:
AI Safety в начале 2026 года
(слайды на странице "Выступления")
Про AI safety тоже, конечно, одно удовольствие рассказывать: с пессимистической стороны это несомненно важнейшее, что происходит сейчас с человечеством, а с оптимистической — набор крутых сюжетов, которые всегда вызывают живую реакцию аудитории.
Тем более что, как я уже писал, школьники в Сириусе были замечательные, всё понимали и нервно смеялись в нужных местах. А мест таких всё больше: вот в этот раз, например, я закончил примером январской новости от OpenAI, которые ничтоже сумняшеся... подключили GPT-5 самостоятельно управлять полностью автоматизированной биолабораторией. На 40% быстрее новые белки разрабатывались, говорят, ага.
#talks #events #lectures
AI Safety в начале 2026 года
(слайды на странице "Выступления")
Про AI safety тоже, конечно, одно удовольствие рассказывать: с пессимистической стороны это несомненно важнейшее, что происходит сейчас с человечеством, а с оптимистической — набор крутых сюжетов, которые всегда вызывают живую реакцию аудитории.
Тем более что, как я уже писал, школьники в Сириусе были замечательные, всё понимали и нервно смеялись в нужных местах. А мест таких всё больше: вот в этот раз, например, я закончил примером январской новости от OpenAI, которые ничтоже сумняшеся... подключили GPT-5 самостоятельно управлять полностью автоматизированной биолабораторией. На 40% быстрее новые белки разрабатывались, говорят, ага.
#talks #events #lectures
❤10👍3
Следующий доклад на семинаре лаборатории Маркова будет опять удалённый, но на этот раз из Москвы. Это, кстати, ещё один хороший источник докладчиков на семинарах — я сейчас у Дмитрия в комитете по защите диссертации, так что вот заодно позвал его о своей диссертации рассказать у нас. Язык анонса сегодня особенно шершав, потому что это буквально абстракт диссертации:
Устойчивость моделей глубокого обучения
Ссылка на трансляцию (пятница 3 апреля, 14:00)
Дмитрий Корж (Сколковский институт науки и технологий)
В последнее время модели глубокого обучения получили повсеместное применение. Однако уязвимость к малозаметным состязательным атакам, чувствительность к естественным шумам и семантическим возмущениям и рост рисков подделки голоса являются актуальной проблемой, особенно для таких высокорисковых приложений, как медицина или биометрия. Целью исследования является разработка новых сертифицируемых (доказуемых) и эмпирических методов, обеспечивающих устойчивость, доверенность и приватность моделей без существенных ограничений для их применения.
Методологическая основа включает в себя развитие сертификации классификаторов изображений к композициям семантических возмущений и прототипических векторных моделей к аддитивным возмущениям на основе случайного сглаживания и статистических методов, а также проектирование универсальных состязательных возмущений для приватности (анонимизации) диктора и развитие моделей голосового антиспуфинга. По результатам работы предложен новый вычислительно-аналитический метод сертификации устойчивости классификаторов изображений к широкому классу композиционных преобразований на основе анализа липшицевости модели относительно параметров возмущения. Получены улучшенные гарантии сертификации прототипических моделей, в том числе впервые для задачи идентификации диктора. Также представлен способ анонимизации речи с использованием экспоненциальной функции потерь полной вариации. Более того, предложены новые архитектуры детекции синтетической речи на основе сетей Колмогорова-Арнольда.
Научная новизна работы заключается в улучшении и расширении возможностей сертификации классификаторов изображений для новых композиционных возмущений, улучшении сертификации прототипических моделей, создании метода приватности диктора с улучшенным балансом анонимизации, качества аудио и распознавания речи, а также в разработке более устойчивой архитектуры детекции синтетической речи. Практическая значимость состоит в применении предложенных решений для анализа устойчивости моделей перед внедрением, обеспечении их более устойчивой и доверенной работы, а также защиты приватности личности в задачах голосовой биометрии и антиспуфинга.
#markovlab #seminar #spsu
Устойчивость моделей глубокого обучения
Ссылка на трансляцию (пятница 3 апреля, 14:00)
Дмитрий Корж (Сколковский институт науки и технологий)
В последнее время модели глубокого обучения получили повсеместное применение. Однако уязвимость к малозаметным состязательным атакам, чувствительность к естественным шумам и семантическим возмущениям и рост рисков подделки голоса являются актуальной проблемой, особенно для таких высокорисковых приложений, как медицина или биометрия. Целью исследования является разработка новых сертифицируемых (доказуемых) и эмпирических методов, обеспечивающих устойчивость, доверенность и приватность моделей без существенных ограничений для их применения.
Методологическая основа включает в себя развитие сертификации классификаторов изображений к композициям семантических возмущений и прототипических векторных моделей к аддитивным возмущениям на основе случайного сглаживания и статистических методов, а также проектирование универсальных состязательных возмущений для приватности (анонимизации) диктора и развитие моделей голосового антиспуфинга. По результатам работы предложен новый вычислительно-аналитический метод сертификации устойчивости классификаторов изображений к широкому классу композиционных преобразований на основе анализа липшицевости модели относительно параметров возмущения. Получены улучшенные гарантии сертификации прототипических моделей, в том числе впервые для задачи идентификации диктора. Также представлен способ анонимизации речи с использованием экспоненциальной функции потерь полной вариации. Более того, предложены новые архитектуры детекции синтетической речи на основе сетей Колмогорова-Арнольда.
Научная новизна работы заключается в улучшении и расширении возможностей сертификации классификаторов изображений для новых композиционных возмущений, улучшении сертификации прототипических моделей, создании метода приватности диктора с улучшенным балансом анонимизации, качества аудио и распознавания речи, а также в разработке более устойчивой архитектуры детекции синтетической речи. Практическая значимость состоит в применении предложенных решений для анализа устойчивости моделей перед внедрением, обеспечении их более устойчивой и доверенной работы, а также защиты приватности личности в задачах голосовой биометрии и антиспуфинга.
#markovlab #seminar #spsu
❤9✍7👍1
В курсе "Графические вероятностные модели" в пятницу начали говорить о приближённом выводе, а точнее, о сэмплировании:
СПбГУ — 2026.03.27 — Сэмплирование
(слайды и доска, как всегда, на странице курса)
При чём оно в курсе машинного обучения? Да при том, что в ML постоянно надо считать какие-то сложные математические ожидания; собственно, предсказательное распределение модели — это ожидание по апостериорному распределению. И это распределение обычно даже не дано само по себе в виде плотности, а дано нам в ощущениях как произведение правдоподобия на априорное; то есть мы не умеем даже считать p(x), а умеем считать только что-то пропорциональное p(x).
А ещё ведь проклятие размерности! В размерности 2-3 всегда можно и посэмплировать, и ожидания посчитать, просто накрыв распределение чем-нибудь или приблизив по сеточке. Но в больших размерностях (которые в ML и нужны) не пройдут ни такие трюки, ни более разумные выборку с отклонением (rejection sampling) и выборку с весами значимости (importance sampling), которые мы тоже изучили.
И тем не менее, даже при таких вводных вполне можно что-то сделать! Для этого нужны методы Markov chain Monte Carlo (MCMC): алгоритм Метрополиса-Гастингса и его важный частный случай, сэмплирование по Гиббсу. Их мы тоже подробно обсудили.
А в следующий раз мы будем изучать мой любимый пример в этом курсе: SIR-модели из эпидемиологии.
#spsu #lectures #pgm2026
СПбГУ — 2026.03.27 — Сэмплирование
(слайды и доска, как всегда, на странице курса)
При чём оно в курсе машинного обучения? Да при том, что в ML постоянно надо считать какие-то сложные математические ожидания; собственно, предсказательное распределение модели — это ожидание по апостериорному распределению. И это распределение обычно даже не дано само по себе в виде плотности, а дано нам в ощущениях как произведение правдоподобия на априорное; то есть мы не умеем даже считать p(x), а умеем считать только что-то пропорциональное p(x).
А ещё ведь проклятие размерности! В размерности 2-3 всегда можно и посэмплировать, и ожидания посчитать, просто накрыв распределение чем-нибудь или приблизив по сеточке. Но в больших размерностях (которые в ML и нужны) не пройдут ни такие трюки, ни более разумные выборку с отклонением (rejection sampling) и выборку с весами значимости (importance sampling), которые мы тоже изучили.
И тем не менее, даже при таких вводных вполне можно что-то сделать! Для этого нужны методы Markov chain Monte Carlo (MCMC): алгоритм Метрополиса-Гастингса и его важный частный случай, сэмплирование по Гиббсу. Их мы тоже подробно обсудили.
А в следующий раз мы будем изучать мой любимый пример в этом курсе: SIR-модели из эпидемиологии.
#spsu #lectures #pgm2026
1❤14👍2🔥1
Пропустил день дураков вчера, а сегодня у меня для вас уже без дураков большой содержательный пост.
Статья "TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate" сейчас завирусилась после того, как попала на ICLR 2026; вот и Google Research выпустил блогпост про неё только сейчас. Акции производителей памяти — Samsung, SK Hynix, Micron — упали на 3–6% за один день, и маркетинговые заголовки зазвучали в духе "$450B Wiped Out - Google TurboQuant Just Crashed RAM Prices 30% Overnight".
На это ужасно смешно смотреть, потому что на самом деле статья висит на arXiv с апреля 2025 года, ей уже год. А математика, на которой она стоит, — теория кодирования Шеннона, алгоритм Ллойда-Макса, лемма Джонсона-Линденштраусса — и вовсе вечна.
В сегодняшнем посте разберёмся, почему эта работа действительно красивая и важная, несмотря на несвоевременный хайп:
Вечная математика TurboQuant: как сжать KV-кэш до предела Шеннона
Пост длинный, я постарался объяснить всё подробно от самого начала (но без особенных доказательств), так что здесь напишу только подробную структуру и сокращённое заключение.
1. Зачем нужна квантизация: контекст проблемы
— Числа с плавающей точкой — это дорого
— Идея квантизации
— Типы квантизации
— Проблема нормализации
2. Нижняя граница Шеннона: почему лучше почти невозможно
— Теорема Шеннона о кодировании с искажением
— Применение к единичной сфере
— От MSE к скалярным произведениям
— Минимакс Яо
3. PolarQuant: полярные координаты убирают overhead
— Проблема: выбросы и нормализация
— Идея PolarQuant
— Почему это работает
— Результаты PolarQuant
4. TurboQuant: ключевые идеи
— Шаг 0: нормализация
— Шаг 1: случайный поворот
— Шаг 2: оптимальная скалярная квантизация (Lloyd-Max)
— Теорема 1 (MSE-гарантия TurboQuant)
5. Проблема смещения: зачем нужен второй этап
— QJL: однобитовый метод
— Собственно TurboQuant
— Теорема 2 (качество квантизации для скалярных произведений)
6. Эксперименты: что на практике
— KV-кэш
— Поиск ближайших соседей
7. Что сделало сообщество
8. Другой подход: KVTC от Nvidia
9. Заключение
Мимо истории TurboQuant пройти было невозможно.
Во-первых, это тот самый пример, когда вечная математика — в данном случае теория информации и довольно глубокие результаты из теории вероятностей — напрямую приводит к state-of-the-art результатам в задаче, которая имеет очень большое практическое значение. Для TurboQuant не нужно обучать мета-модель, не нужен reinforcement learning, не нужны архитектурные или инженерные трюки. Только случайный поворот, оптимальный скалярный квантизатор шестидесятилетней давности и однобитовая добавка на невязку, и всё.
Во-вторых, результат доказуемо близок к оптимальному. Это тоже редко бывает в машинном обучении, и это всегда приятно и интересно видеть.
В-третьих, это data-oblivious алгоритм, работающий онлайн. Его codebooks зависят только от размерности и числа бит, и один и тот же квантизатор работает для любой модели.
В-четвёртых, опять подтвердилась восходящая по крайней мере к 1880-м цитата: “In theory, there is no difference between theory and practice; in practice, there is”. Практические реализации тут же показали, что QJL-этап, который теоретически необходим для несмещённости, на практике может вредить, или что ключи и значения нужно квантизовать асимметрично.
Ну и наконец, сам по себе факт того, что сжатие KV-кэша подходит к пределу Шеннона, означает, что гонка за сжатие в этом конкретном направлении приближается к завершению. В рамках data-oblivious подхода выжать сильно больше уже невозможно, так что дальнейший прогресс будет за счёт data-dependent методов (как KVTC) или гибридных подходов; а может, появятся какие-то совершенно другие парадигмы.
А математика и правда вечна. В этом посте мы упоминали работы Шеннона (1948, 1959), Ллойда (1957) и Макса (1960), Джонсона и Линденштраусса (1986) — и именно они оказались ключевыми для самой громкой инженерной новости марта 2026 года. Занимайтесь математикой, не прогадаете!
#blog #ai #longreads
Статья "TurboQuant: Online Vector Quantization with Near-optimal Distortion Rate" сейчас завирусилась после того, как попала на ICLR 2026; вот и Google Research выпустил блогпост про неё только сейчас. Акции производителей памяти — Samsung, SK Hynix, Micron — упали на 3–6% за один день, и маркетинговые заголовки зазвучали в духе "$450B Wiped Out - Google TurboQuant Just Crashed RAM Prices 30% Overnight".
На это ужасно смешно смотреть, потому что на самом деле статья висит на arXiv с апреля 2025 года, ей уже год. А математика, на которой она стоит, — теория кодирования Шеннона, алгоритм Ллойда-Макса, лемма Джонсона-Линденштраусса — и вовсе вечна.
В сегодняшнем посте разберёмся, почему эта работа действительно красивая и важная, несмотря на несвоевременный хайп:
Вечная математика TurboQuant: как сжать KV-кэш до предела Шеннона
Пост длинный, я постарался объяснить всё подробно от самого начала (но без особенных доказательств), так что здесь напишу только подробную структуру и сокращённое заключение.
1. Зачем нужна квантизация: контекст проблемы
— Числа с плавающей точкой — это дорого
— Идея квантизации
— Типы квантизации
— Проблема нормализации
2. Нижняя граница Шеннона: почему лучше почти невозможно
— Теорема Шеннона о кодировании с искажением
— Применение к единичной сфере
— От MSE к скалярным произведениям
— Минимакс Яо
3. PolarQuant: полярные координаты убирают overhead
— Проблема: выбросы и нормализация
— Идея PolarQuant
— Почему это работает
— Результаты PolarQuant
4. TurboQuant: ключевые идеи
— Шаг 0: нормализация
— Шаг 1: случайный поворот
— Шаг 2: оптимальная скалярная квантизация (Lloyd-Max)
— Теорема 1 (MSE-гарантия TurboQuant)
5. Проблема смещения: зачем нужен второй этап
— QJL: однобитовый метод
— Собственно TurboQuant
— Теорема 2 (качество квантизации для скалярных произведений)
6. Эксперименты: что на практике
— KV-кэш
— Поиск ближайших соседей
7. Что сделало сообщество
8. Другой подход: KVTC от Nvidia
9. Заключение
Мимо истории TurboQuant пройти было невозможно.
Во-первых, это тот самый пример, когда вечная математика — в данном случае теория информации и довольно глубокие результаты из теории вероятностей — напрямую приводит к state-of-the-art результатам в задаче, которая имеет очень большое практическое значение. Для TurboQuant не нужно обучать мета-модель, не нужен reinforcement learning, не нужны архитектурные или инженерные трюки. Только случайный поворот, оптимальный скалярный квантизатор шестидесятилетней давности и однобитовая добавка на невязку, и всё.
Во-вторых, результат доказуемо близок к оптимальному. Это тоже редко бывает в машинном обучении, и это всегда приятно и интересно видеть.
В-третьих, это data-oblivious алгоритм, работающий онлайн. Его codebooks зависят только от размерности и числа бит, и один и тот же квантизатор работает для любой модели.
В-четвёртых, опять подтвердилась восходящая по крайней мере к 1880-м цитата: “In theory, there is no difference between theory and practice; in practice, there is”. Практические реализации тут же показали, что QJL-этап, который теоретически необходим для несмещённости, на практике может вредить, или что ключи и значения нужно квантизовать асимметрично.
Ну и наконец, сам по себе факт того, что сжатие KV-кэша подходит к пределу Шеннона, означает, что гонка за сжатие в этом конкретном направлении приближается к завершению. В рамках data-oblivious подхода выжать сильно больше уже невозможно, так что дальнейший прогресс будет за счёт data-dependent методов (как KVTC) или гибридных подходов; а может, появятся какие-то совершенно другие парадигмы.
А математика и правда вечна. В этом посте мы упоминали работы Шеннона (1948, 1959), Ллойда (1957) и Макса (1960), Джонсона и Линденштраусса (1986) — и именно они оказались ключевыми для самой громкой инженерной новости марта 2026 года. Занимайтесь математикой, не прогадаете!
#blog #ai #longreads
1🔥20👍9❤6
В пятничном посте сегодня поговорим про ужасно ностальгический плод российской разработки. Поигрывал в эту игру некоторое время понемножку, и вот закончил:
Lessaria
С этой пятницы поменяю формат выкладывания. Кажется, всё-таки аудитории здесь обзоры игр не очень интересны, многие говорят, что их пролистывают. Прятать под спойлер был бы рад, но вроде как нет такого функционала в телеграме. Прекратить писать обзоры — не дождётесь!
Так что попробую поискать для обзоров игр другую аудиторию, более целевую. Буду выкладывать на DTF, так что там тоже подписывайтесь и ставьте лайки, если не лень:
Обзор Lessaria на DTF
А здесь оставлю только оглавление и заключение:
1. От Majesty к Lessaria
2. Суть игры
3. Что хорошо
4. Что не очень
5. Заключение
Lessaria — это игра, которую я рекомендую с оговорками, но рекомендую. Если вы играли в Majesty и помните это ощущение непрямого контроля, необычного для стратегического жанра, то Lessaria это чувство вернёт. Девять человек из Краснодара сделали то, что не смогли (или не захотели) ни Paradox, ни 1C, ни кто-либо ещё за четверть века: воскресили жанр и обращаются с ним с любовью и уважением.
Но это именно начало, а не законченный продукт. Контента пока мало, баланс не слишком интересный (кампанию ты просто берёшь и проходишь насквозь, я, кажется, один раз за всё время проиграл), героям не хватает индивидуальности.
Но если разработчики продолжат обновлять игру или сделают вторую часть — это может стать тем самым "Majesty 3", о котором фанаты мечтали. Надежда есть!
#tgif #games
Lessaria
С этой пятницы поменяю формат выкладывания. Кажется, всё-таки аудитории здесь обзоры игр не очень интересны, многие говорят, что их пролистывают. Прятать под спойлер был бы рад, но вроде как нет такого функционала в телеграме. Прекратить писать обзоры — не дождётесь!
Так что попробую поискать для обзоров игр другую аудиторию, более целевую. Буду выкладывать на DTF, так что там тоже подписывайтесь и ставьте лайки, если не лень:
Обзор Lessaria на DTF
А здесь оставлю только оглавление и заключение:
1. От Majesty к Lessaria
2. Суть игры
3. Что хорошо
4. Что не очень
5. Заключение
Lessaria — это игра, которую я рекомендую с оговорками, но рекомендую. Если вы играли в Majesty и помните это ощущение непрямого контроля, необычного для стратегического жанра, то Lessaria это чувство вернёт. Девять человек из Краснодара сделали то, что не смогли (или не захотели) ни Paradox, ни 1C, ни кто-либо ещё за четверть века: воскресили жанр и обращаются с ним с любовью и уважением.
Но это именно начало, а не законченный продукт. Контента пока мало, баланс не слишком интересный (кампанию ты просто берёшь и проходишь насквозь, я, кажется, один раз за всё время проиграл), героям не хватает индивидуальности.
Но если разработчики продолжат обновлять игру или сделают вторую часть — это может стать тем самым "Majesty 3", о котором фанаты мечтали. Надежда есть!
#tgif #games
❤15👍1