Я время от времени раньше проводил наивный тест для LLM: брал свежую (сегодняшнюю) математическую статью с архива, давал LLM первые несколько страниц с формулировками теорем и просил доказать. Результаты были обычно смешанные и не очень ясные, а делать всё честно и формально было сложно.
Но вот, оказывается (спасибо Октаю @oktai15, который прислал ссылку), из этой процедуры таки сделали полуавтоматический бенчмарк:
ArXivMath: Evaluating LLMs on Mathematical Research Problems From Recent ArXiv Papers
Похоже, это и есть тот самый бенчмарк "научиться делать математику". Единственное условие — проверять на действительно свежих статьях, которые заведомо недоступны модели. Если это условие выполнено, то можете бенчмаксить как угодно, benchmaxxing в данном случае и будет собственно "учиться получать математические результаты"...
Результаты ведущих LLM уже сейчас составляют около половины, 50-60% правильных ответов. Конечно, тут есть важная оговорка, которую и авторы делают — решать задачу с заведомо существующим правильным ответом совсем не то же самое, что вести research в открытом море:
Как я часто говорю на лекциях, да, конечно, это ещё не сингулярность. И да, конечно, ещё десяток таких продвижений будут сопровождаться словами "да, конечно". Но...
#ai #news #math
Но вот, оказывается (спасибо Октаю @oktai15, который прислал ссылку), из этой процедуры таки сделали полуавтоматический бенчмарк:
ArXivMath: Evaluating LLMs on Mathematical Research Problems From Recent ArXiv Papers
Похоже, это и есть тот самый бенчмарк "научиться делать математику". Единственное условие — проверять на действительно свежих статьях, которые заведомо недоступны модели. Если это условие выполнено, то можете бенчмаксить как угодно, benchmaxxing в данном случае и будет собственно "учиться получать математические результаты"...
Результаты ведущих LLM уже сейчас составляют около половины, 50-60% правильных ответов. Конечно, тут есть важная оговорка, которую и авторы делают — решать задачу с заведомо существующим правильным ответом совсем не то же самое, что вести research в открытом море:
Importantly, final-answer accuracy captures only a narrow slice of research ability. Producing a correct numeric or symbolic answer is far easier than constructing a rigorous proof. Therefore, while these results indicate good performance by LLMs, they should not be interpreted as evidence that models can autonomously write 60% of recent mathematical papers (far from it).
Как я часто говорю на лекциях, да, конечно, это ещё не сингулярность. И да, конечно, ещё десяток таких продвижений будут сопровождаться словами "да, конечно". Но...
#ai #news #math
matharena.ai
MathArena: Evaluating LLMs on Uncontaminated Math Benchmarks
1👍16❤6🔥3
Семинар лаборатории Маркова открывает новый семестр! В этом семестре будем собираться по пятницам в 14:00, и, как было и в сентябре, открываю семинар я.)
Вряд ли мой доклад на OpenTalks.ai можно будет выкладывать в открытый доступ, поэтому для тех, кого там не будет, я в ближайшую пятницу подробно расскажу о текущей ситуации в AI safety. Пожалуй, пятница 13-е — самый подходящий для этого день:
AI Safety в начале 2026 года: новости и перспективы
Сергей Николенко (ПОМИ РАН, СПбГУ)
Ссылка на трансляцию (пятница 13 февраля, 14:00)
2025 год стал очень важным для безопасности искуственного интеллекта: теоретические опасения превратились в эмпирически подтверждённые угрозы, ведущие лаборатории впервые добрались до реальных протоколов ответственного масштабирования, а государства начали обращать внимание на то, что развитие AI несёт не только преимущества, но и риски.
В докладе мы разберём ключевые результаты года: прорывы в механистической интерпретируемости (circuit tracing в Claude, транскодеры вместо SAE), несколько ярких примеров эмерджентного рассогласования (emergent misalignment), хрупкой, но критически важной возможности мониторинга цепочек рассуждений и тому, как легко её потерять, и так далее, и тому подобное.
Мы обсудим, как модели учатся хитрить, прятать свои способности (sandbagging) и даже шантажировать пользователей, чтобы избежать отключения. Поговорим о новой парадигме AI control, которая честно признаёт, что мы пока не умеем гарантировать согласование (alignment) и должны делать пессимистичные предположения о намерениях AI-моделей. А из хороших новостей поговорим о сотрудничестве в области AI safety между Anthropic и OpenAI, активации ASL-3 для Claude Opus 4 и новуой конституции Claude, которая довольно сильно расширяет предыдущую.
Впрочем, несмотря на некоторые позитивные результаты, честный итог 2025 года таков: прогресс в безопасности есть, но возможности AI-моделей и, как следствие, проблемы растут куда быстрее. По текущим оценкам, к 2027 году AI-агенты смогут автономно выполнять задачи, на которые у человека уходит целый рабочий день. Готова ли к этому инфраструктура безопасности? Приходите, обсудим.
#spsu #seminar #markovlab #aisafety
Вряд ли мой доклад на OpenTalks.ai можно будет выкладывать в открытый доступ, поэтому для тех, кого там не будет, я в ближайшую пятницу подробно расскажу о текущей ситуации в AI safety. Пожалуй, пятница 13-е — самый подходящий для этого день:
AI Safety в начале 2026 года: новости и перспективы
Сергей Николенко (ПОМИ РАН, СПбГУ)
Ссылка на трансляцию (пятница 13 февраля, 14:00)
2025 год стал очень важным для безопасности искуственного интеллекта: теоретические опасения превратились в эмпирически подтверждённые угрозы, ведущие лаборатории впервые добрались до реальных протоколов ответственного масштабирования, а государства начали обращать внимание на то, что развитие AI несёт не только преимущества, но и риски.
В докладе мы разберём ключевые результаты года: прорывы в механистической интерпретируемости (circuit tracing в Claude, транскодеры вместо SAE), несколько ярких примеров эмерджентного рассогласования (emergent misalignment), хрупкой, но критически важной возможности мониторинга цепочек рассуждений и тому, как легко её потерять, и так далее, и тому подобное.
Мы обсудим, как модели учатся хитрить, прятать свои способности (sandbagging) и даже шантажировать пользователей, чтобы избежать отключения. Поговорим о новой парадигме AI control, которая честно признаёт, что мы пока не умеем гарантировать согласование (alignment) и должны делать пессимистичные предположения о намерениях AI-моделей. А из хороших новостей поговорим о сотрудничестве в области AI safety между Anthropic и OpenAI, активации ASL-3 для Claude Opus 4 и новуой конституции Claude, которая довольно сильно расширяет предыдущую.
Впрочем, несмотря на некоторые позитивные результаты, честный итог 2025 года таков: прогресс в безопасности есть, но возможности AI-моделей и, как следствие, проблемы растут куда быстрее. По текущим оценкам, к 2027 году AI-агенты смогут автономно выполнять задачи, на которые у человека уходит целый рабочий день. Готова ли к этому инфраструктура безопасности? Приходите, обсудим.
#spsu #seminar #markovlab #aisafety
🔥33❤6👍2
Вспомнил тут про ещё одну единицу контента, которую не успел выложить до поездки. Накануне самого Нового года я выступал во ВШЭ на конференции Logic Matters:
AI в математике: последние новости
(слайды на страничке "Выступления")
Довольно стандартный для меня в последнее время доклад, о том, как AI-модели начинают реально помогать в научных исследованиях, особенно математических. Новости такого рода появляются каждую неделю, и в конце 2025-го уже было достаточно ярких примеров.
В этот раз, правда, необычной была аудитория — "Logic Matters" весьма крутая конференция, и слушали меня, например, Лев Беклемишев и Александр Разборов. Спасибо большое Сергею Олеговичу Кузнецову за приглашение в такую компанию; надеюсь, слушателям мой доклад понравился.
#talks #ai #math
AI в математике: последние новости
(слайды на страничке "Выступления")
Довольно стандартный для меня в последнее время доклад, о том, как AI-модели начинают реально помогать в научных исследованиях, особенно математических. Новости такого рода появляются каждую неделю, и в конце 2025-го уже было достаточно ярких примеров.
В этот раз, правда, необычной была аудитория — "Logic Matters" весьма крутая конференция, и слушали меня, например, Лев Беклемишев и Александр Разборов. Спасибо большое Сергею Олеговичу Кузнецову за приглашение в такую компанию; надеюсь, слушателям мой доклад понравился.
#talks #ai #math
❤13🔥3👍2🤣1
Раз уж у меня астрологи объявили месяц AI Safety, выражу свой обзор и в текстовой форме. Получилось много, так что разбил на две части.
AI Safety в 2025, часть I: интерпретируемость, emergent misalignment и другие эффекты
Безопасность — это область, которая, к сожалению, всё больше отстаёт от capabilities, то есть способностей моделей. Разрыв между тем, что наши модели умеют, и тем, насколько хорошо мы понимаем и контролируем их поведение, кажется, только растёт. И тем не менее 2025-й принёс важные результаты и здесь, от прорывов в механистической интерпретируемости до пугающих демонстраций эмерджентного рассогласования, от первого реального применения политик ответственного масштабирования до появления совершенно новых исследовательских парадигм вроде AI control.
Тема огромная, так что я разобью обзор AI safety на две части. Сегодня поговорим про интерпретируемость и разные формы рассогласования (misalignment), а в следующей части — про нечестное поведение моделей, безопасность агентов и про то, что люди и организации реально делают для того, чтобы AI не вышел из-под контроля. Для тех, кто хочет копнуть глубже, рекомендую подробный обзор Haykel (декабрь 2025) и масштабный International AI Safety Report под руководством Йошуа Бенжио. Ну и, конечно, мои собственные предыдущие посты по AI safety.
Основные темы первого поста таковы (читать по ссылке):
— интерпретируемость — единственная область, где прогресс безусловно положительный; мы стали лучше понимать, что происходит внутри наших моделей, хотя пока непонятно, масштабируется ли это понимание;
— мониторинг цепочек рассуждений (chain of thought monitoring): важная возможность и большой риск одновременно; рассуждающие модели буквально говорят нам с вами, о чём они думают, но не вполне очевидно, как сделать так, чтобы они не научились об этом врать;
— эмерджентное рассогласование (emergent misalignment): оказывается, если натренировать модель вести себя "плохо" в одной конкретной задаче, она может стать "плохой" вообще во всём; надежду здесь даёт то, что это может сработать и наоборот;
— ложное согласование (alignment faking): модели уже научились симулировать согласованное поведение, и примеры становятся всё более тревожными...
#ai #longreads #blog #aisafety
AI Safety в 2025, часть I: интерпретируемость, emergent misalignment и другие эффекты
Безопасность — это область, которая, к сожалению, всё больше отстаёт от capabilities, то есть способностей моделей. Разрыв между тем, что наши модели умеют, и тем, насколько хорошо мы понимаем и контролируем их поведение, кажется, только растёт. И тем не менее 2025-й принёс важные результаты и здесь, от прорывов в механистической интерпретируемости до пугающих демонстраций эмерджентного рассогласования, от первого реального применения политик ответственного масштабирования до появления совершенно новых исследовательских парадигм вроде AI control.
Тема огромная, так что я разобью обзор AI safety на две части. Сегодня поговорим про интерпретируемость и разные формы рассогласования (misalignment), а в следующей части — про нечестное поведение моделей, безопасность агентов и про то, что люди и организации реально делают для того, чтобы AI не вышел из-под контроля. Для тех, кто хочет копнуть глубже, рекомендую подробный обзор Haykel (декабрь 2025) и масштабный International AI Safety Report под руководством Йошуа Бенжио. Ну и, конечно, мои собственные предыдущие посты по AI safety.
Основные темы первого поста таковы (читать по ссылке):
— интерпретируемость — единственная область, где прогресс безусловно положительный; мы стали лучше понимать, что происходит внутри наших моделей, хотя пока непонятно, масштабируется ли это понимание;
— мониторинг цепочек рассуждений (chain of thought monitoring): важная возможность и большой риск одновременно; рассуждающие модели буквально говорят нам с вами, о чём они думают, но не вполне очевидно, как сделать так, чтобы они не научились об этом врать;
— эмерджентное рассогласование (emergent misalignment): оказывается, если натренировать модель вести себя "плохо" в одной конкретной задаче, она может стать "плохой" вообще во всём; надежду здесь даёт то, что это может сработать и наоборот;
— ложное согласование (alignment faking): модели уже научились симулировать согласованное поведение, и примеры становятся всё более тревожными...
#ai #longreads #blog #aisafety
❤16👍4🤔3🤯2🔥1
Накануне Нового года меня пригласили в Selectel записать подкаст с ведущим Ефимом Головиным и вторым гостем Марком Паненко. И вот он наконец-то вышел:
ИИ — враг образования? | Подкаст Selectel «Сегодня на ретро»
(выложил также на страничку "Выступления")
Я уже, конечно, деталей не помню, но осталось впечатление, что хорошо поговорили. В основном о том, как развитие AI меняет образование уже сейчас и как будет менять в скором будущем.
Спасибо большое за приглашение! Буду рад при случае прийти ещё, мне кажется, подкаст — хороший для меня формат. А может, свой пора уже завести?..
#ai #talks #press
ИИ — враг образования? | Подкаст Selectel «Сегодня на ретро»
(выложил также на страничку "Выступления")
Я уже, конечно, деталей не помню, но осталось впечатление, что хорошо поговорили. В основном о том, как развитие AI меняет образование уже сейчас и как будет менять в скором будущем.
Спасибо большое за приглашение! Буду рад при случае прийти ещё, мне кажется, подкаст — хороший для меня формат. А может, свой пора уже завести?..
#ai #talks #press
YouTube
ИИ — враг образования? | Подкаст Selectel «Сегодня на ретро»
Что нужно сделать прямо сейчас, чтобы новые поколения продолжали учиться? И как образованию успеть за новыми технологиями?
▶️ Вы смотрите финальный выпуск третьего сезона «Сегодня на ретро». Вместе с экспертами мы обсудили, как нейросети изменят академическое…
▶️ Вы смотрите финальный выпуск третьего сезона «Сегодня на ретро». Вместе с экспертами мы обсудили, как нейросети изменят академическое…
👍15❤9❤🔥3✍1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Максим Николаев — кстати, подписывайтесь на его "Асимптотически нормальный канал"! — прислал ужасно милое видео своего сына (это прошлый май, так что пейзаж не зимний). С его разрешения делюсь.
Профориентация с младых ногтей! Да и я давненько не напоминал здесь про книгу "Машинное обучение: основы", а вот и повод.)
#ai #fun #books
Профориентация с младых ногтей! Да и я давненько не напоминал здесь про книгу "Машинное обучение: основы", а вот и повод.)
#ai #fun #books
❤36😍15😁5🤩1🐳1
Открыли второй семестр семинара! Устал с непривычки столько говорить (у меня же и семестр начался, две пары с утра были), но вроде прошло хорошо.
AI нас всех непременно убьёт, а мы с радостью дадим ему в руки всё для этого необходимое.) Но что поделать, надо жить пока живётся.)
#spsu #markovlab #talks #seminar
AI нас всех непременно убьёт, а мы с радостью дадим ему в руки всё для этого необходимое.) Но что поделать, надо жить пока живётся.)
#spsu #markovlab #talks #seminar
❤22😱6👍5😍5❤🔥1
Сегодня опять подборка из мини-игр; первая из них проходится часа за два, а остальные и того меньше. У них есть общая тема: ненадёжный рассказчик; в этих играх вы не всегда будете понимать, реально ли то, что с вами происходит. А иногда будете очень хорошо понимать, что нереально.
Три игры с ненадёжным рассказчиком: Almost My Floor, and Roger, Snowfall’s Mystery
Almost My Floor
Об этой игре я услышал как о творении наших разработчиков. Студия Potata Company — это буквально два человека, супружеская пара разработчиков; вот, рекомендую пост Анны Лепёшкиной о том, как выглядит инди-геймдев изнутри. Almost My Floor — их первый серьёзный релиз, кажется.
По геймплею это point-and-click квест, в котором иногда появляются (весьма разнообразные) мини-игры [...]
Ну а по сути и сюжету это типа хоррор; типа, потому что скримеров или каких-то настоящих хоррор-элементов здесь почти нет. Зато у героя совершенно точно едет крыша (или нет?), и игра в общем-то посвящена тому, что герой пытается разобраться, почему и как так получилось. [...]
Ну и, конечно, всегда приятно встретить тот самый вайб того самого бывшего СССР. Хрущёвка, коридоры, чиф клинер баба Зина, альтушки, всё на месте. Рекомендую!
and Roger
Есть целый жанр эмоциональных игр, в котором вы оказываетесь в странном мире и постепенно понимаете, что странности происходят не в мире, а у вас в голове. [...]
“…and Roger” тоже из этого ряда. Длится меньше часа и вызывает много эмоций; спойлерить не буду, и так уже заспойлерил, но это безусловно игра про любовь.
Snowfall’s Mystery
И снова игра от российского разработчика, который вдохновлялся серией “Bag of Milk” (кстати, её тоже наш человек сделал). [...]
В мире игры искусственный интеллект начал хорошо работать немного раньше, чем в реальности. Так что вся обстановка соответствует концу девяностых, когда и происходит действие, но на свете уже существуют настоящие роботы, в том числе говорящие на естественном языке. Главный герой пытался даже собрать себе такого, но ему не хватает денег на какие-то ключевые компоненты.
И вот друг передаёт ему дискету с новым мессенджером, разработанным неизвестно кем. Герой устанавливает мессенджер и получает сообщение от таинственного “админа”… Дальше спойлерить не буду, да и не надо: игра длится меньше часа, пройдите сами, история и мир игры того точно стоят.
Добавлю только, что в игре есть даже элементы ARG: разработчик спрятал в интернете 20 файлов, раскрывающих и углубляющих лор игры. Кстати, вот пост самого разработчика о том, как игра выросла из очередного геймджема. Такие истории мне всегда нравятся, и надеюсь, что разработчик не остановится на достигнутом!
#tgif #games
Три игры с ненадёжным рассказчиком: Almost My Floor, and Roger, Snowfall’s Mystery
Almost My Floor
Об этой игре я услышал как о творении наших разработчиков. Студия Potata Company — это буквально два человека, супружеская пара разработчиков; вот, рекомендую пост Анны Лепёшкиной о том, как выглядит инди-геймдев изнутри. Almost My Floor — их первый серьёзный релиз, кажется.
По геймплею это point-and-click квест, в котором иногда появляются (весьма разнообразные) мини-игры [...]
Ну а по сути и сюжету это типа хоррор; типа, потому что скримеров или каких-то настоящих хоррор-элементов здесь почти нет. Зато у героя совершенно точно едет крыша (или нет?), и игра в общем-то посвящена тому, что герой пытается разобраться, почему и как так получилось. [...]
Ну и, конечно, всегда приятно встретить тот самый вайб того самого бывшего СССР. Хрущёвка, коридоры, чиф клинер баба Зина, альтушки, всё на месте. Рекомендую!
and Roger
Есть целый жанр эмоциональных игр, в котором вы оказываетесь в странном мире и постепенно понимаете, что странности происходят не в мире, а у вас в голове. [...]
“…and Roger” тоже из этого ряда. Длится меньше часа и вызывает много эмоций; спойлерить не буду, и так уже заспойлерил, но это безусловно игра про любовь.
Snowfall’s Mystery
И снова игра от российского разработчика, который вдохновлялся серией “Bag of Milk” (кстати, её тоже наш человек сделал). [...]
В мире игры искусственный интеллект начал хорошо работать немного раньше, чем в реальности. Так что вся обстановка соответствует концу девяностых, когда и происходит действие, но на свете уже существуют настоящие роботы, в том числе говорящие на естественном языке. Главный герой пытался даже собрать себе такого, но ему не хватает денег на какие-то ключевые компоненты.
И вот друг передаёт ему дискету с новым мессенджером, разработанным неизвестно кем. Герой устанавливает мессенджер и получает сообщение от таинственного “админа”… Дальше спойлерить не буду, да и не надо: игра длится меньше часа, пройдите сами, история и мир игры того точно стоят.
Добавлю только, что в игре есть даже элементы ARG: разработчик спрятал в интернете 20 файлов, раскрывающих и углубляющих лор игры. Кстати, вот пост самого разработчика о том, как игра выросла из очередного геймджема. Такие истории мне всегда нравятся, и надеюсь, что разработчик не остановится на достигнутом!
#tgif #games
❤🔥10❤3🔥3👍2👎1
Ну что ж, отдых долгим не бывает, покой только снится, и вот опять начался семестр. Продолжается курс в Южном федеральном университете; кажется, формально он всё ещё называется "Технологии и фронтиры науки о данных", но я его теперь буду называть "Введение в глубокое обучение", потому что мы договорились, что этот семестр будет про нейросети.
Напоминаю, что это лекции для первокурсников, то есть я стараюсь двигаться медленно и не рассказывать ничего, что требует какой бы то ни было серьёзной математики. К счастью, как раз про нейросети очень много чего можно рассказать, не ссылаясь ни на что умнее обычной производной. В четверг начал:
ЮФУ — 2026.02.12 — Введение в глубокое обучение: история, функции активации, идея стохастического градиентного спуска
(слайды и доска на странице курса)
Стандартное введение начал с Маккаллоха-Питтса, функций активации (сигмоиды, ReLU, Swish), нейросети как графа вычислений и идеи градиентного спуска. Обсудили, почему не работают методы второго порядка (даже квазиньютоновские), и перешли к стохастическому градиентному спуску. О нём в следующий раз будем говорить подробно.
#sfu #lectures #dsfrontiers
Напоминаю, что это лекции для первокурсников, то есть я стараюсь двигаться медленно и не рассказывать ничего, что требует какой бы то ни было серьёзной математики. К счастью, как раз про нейросети очень много чего можно рассказать, не ссылаясь ни на что умнее обычной производной. В четверг начал:
ЮФУ — 2026.02.12 — Введение в глубокое обучение: история, функции активации, идея стохастического градиентного спуска
(слайды и доска на странице курса)
Стандартное введение начал с Маккаллоха-Питтса, функций активации (сигмоиды, ReLU, Swish), нейросети как графа вычислений и идеи градиентного спуска. Обсудили, почему не работают методы второго порядка (даже квазиньютоновские), и перешли к стохастическому градиентному спуску. О нём в следующий раз будем говорить подробно.
#sfu #lectures #dsfrontiers
❤17👍8👨💻3
А вот начался и семестр в СПбГУ. Второй семестр, который формально называется "Графические вероятностные модели", посвящён в основном приближённому вероятностному выводу (EM-алгоритм, вариационные приближения) и обучению с подкреплением (где-то же надо про него рассказать).
Во втором семестре тоже две лекции в неделю, но это один курс, и они идут подряд, так что это одна единица контента; буду вам докучать лекциями чуть меньше, чем осенью.
В пятницу начали с "отдельно стоящей", но важной для ML темы:
СПбГУ — 2026.02.13 — Деревья принятия решений, бустинг, XGBoost
(слайды и доска, как всегда, на странице курса)
Сначала рассказал просто о деревьях принятия решений, как их рекурсивно обучать, information gain и всё такое. Потом прошёл по основным методам комбинирования моделей: блендинг, mixture-of-experts, комитет (и ошибка комитета), бутстраппинг и бэггинг. А потом поговорили собственно о бустинг: AdaBoost, его анализ (ошибка убывает экспоненциально! это был очень яркий результат в девяностые), экспоненциальная ошибка (которую AdaBoost минимизирует), градиентный бустинг и градиентный бустинг на деревьях, то бишь XGBoost.
И, кстати, хочу напомнить и студентам, и читателям, что эту лекцию отлично продолжает доклад Максима Николаева про BART из прошлого семестра нашего семинара лаборатории Маркова.
#spsu #lectures #pgm2026
Во втором семестре тоже две лекции в неделю, но это один курс, и они идут подряд, так что это одна единица контента; буду вам докучать лекциями чуть меньше, чем осенью.
В пятницу начали с "отдельно стоящей", но важной для ML темы:
СПбГУ — 2026.02.13 — Деревья принятия решений, бустинг, XGBoost
(слайды и доска, как всегда, на странице курса)
Сначала рассказал просто о деревьях принятия решений, как их рекурсивно обучать, information gain и всё такое. Потом прошёл по основным методам комбинирования моделей: блендинг, mixture-of-experts, комитет (и ошибка комитета), бутстраппинг и бэггинг. А потом поговорили собственно о бустинг: AdaBoost, его анализ (ошибка убывает экспоненциально! это был очень яркий результат в девяностые), экспоненциальная ошибка (которую AdaBoost минимизирует), градиентный бустинг и градиентный бустинг на деревьях, то бишь XGBoost.
И, кстати, хочу напомнить и студентам, и читателям, что эту лекцию отлично продолжает доклад Максима Николаева про BART из прошлого семестра нашего семинара лаборатории Маркова.
#spsu #lectures #pgm2026
🔥19❤4👍4
В ближайшую пятницу на семинаре лаборатории Маркова доклад о том, как ускорять LLM; куда уж актуальнее!
Спекулятивное декодирование: от теории к SOTA-архитектурам ускорения LLM
Георгий Ангени (СПбГУ)
Ссылка на трансляцию (пятница 20 февраля, 14:00)
Проблема увеличения времени генерации ответа при инференсе современных больших языковых моделей усугубляется не только ростом размеров моделей, но и необходимостью генерации длинных ответов, что особенно актуально для Reasoning Models, использующих цепочки рассуждений (Chain-of-Thought). Можно ли уменьшить время на генерацию, при этом сохранив длину ответа и, самое главное, его качество? Ответом на этот вопрос стал метод спекулятивного декодирования (Speculative Decoding).
Идея метода, предложенного в конце 2022 года, проста и гениальна: использование легковесной "драфтовой" модели для быстрой генерации цепочки токенов и более мощной "целевой" модели для их параллельной верификации. На семинаре мы подробно разберем процесс их совместного применения, включая алгоритм спекулятивного сэмплирования, на котором основывается метод.
За короткое время этот подход стал стандартом оптимизации LLM, значительно ускоряя их в decode-heavy сценариях. По этой причине особое внимание на семинаре будет уделено рассмотрению эволюции спекулятивного декодирования: от базовых идей до архитектур, ставших state-of-the-art и внедренных в промышленные движки для инференса. Также мы обсудим актуальные направления развития и последние исследования в этой области.
#spsu #seminar #markovlab
Спекулятивное декодирование: от теории к SOTA-архитектурам ускорения LLM
Георгий Ангени (СПбГУ)
Ссылка на трансляцию (пятница 20 февраля, 14:00)
Проблема увеличения времени генерации ответа при инференсе современных больших языковых моделей усугубляется не только ростом размеров моделей, но и необходимостью генерации длинных ответов, что особенно актуально для Reasoning Models, использующих цепочки рассуждений (Chain-of-Thought). Можно ли уменьшить время на генерацию, при этом сохранив длину ответа и, самое главное, его качество? Ответом на этот вопрос стал метод спекулятивного декодирования (Speculative Decoding).
Идея метода, предложенного в конце 2022 года, проста и гениальна: использование легковесной "драфтовой" модели для быстрой генерации цепочки токенов и более мощной "целевой" модели для их параллельной верификации. На семинаре мы подробно разберем процесс их совместного применения, включая алгоритм спекулятивного сэмплирования, на котором основывается метод.
За короткое время этот подход стал стандартом оптимизации LLM, значительно ускоряя их в decode-heavy сценариях. По этой причине особое внимание на семинаре будет уделено рассмотрению эволюции спекулятивного декодирования: от базовых идей до архитектур, ставших state-of-the-art и внедренных в промышленные движки для инференса. Также мы обсудим актуальные направления развития и последние исследования в этой области.
#spsu #seminar #markovlab
🔥19❤4🐳2
Продолжаю (и заканчиваю) обзор AI Safety в 2025 году — вышла вторая часть!
AI Safety в 2025, часть II: scheming, sandbagging и что делают люди
Если в первой части мы говорили про интерпретируемость и про то, как модели становятся "плохими" случайно, то во второй части рассматриваем ещё более мрачный вопрос: а могут ли модели быть плохими намеренно, да ещё и скрывать это? Спойлер: да, могут.
А ещё — про безопасность AI-агентов, которые уже действуют в реальном мире, про новую парадигму AI control и про то, что лаборатории и правительства пытаются со всем этим делать. Здесь, пожалуй, главная мысль в том, что никакие AI-box experiments Юдковского оказались совершенно не важны для реальной жизни: как только AI-агенты начали приносить реальную пользу, все сразу побежали их устанавливать и давать им всевозможные доступы и привилегии. Ни о каком safety почти никто из тысяч установивших тот же OpenClaw не задумался.
Основные темы второго поста (читать по ссылке):
— scheming и sandbagging: модели умеют стратегически обманывать и занижать свои способности на тестах; более умные модели делают это лучше, а sandbagging ставит под вопрос всю нашу систему оценки опасности моделей;
— безопасность AI-агентов и их возрастающая агентность: например, Claude Opus 4 в тестах пытался шантажировать пользователя, чтобы избежать выключения;
— честность и sleeper agents: появились методы обнаружения обмана и бэкдоров, но это опять гонка вооружений;
— AI control: новая парадигма, которая честно говорит "мы не умеем гарантировать alignment" и предлагает строить протоколы, безопасные даже при пессимистичных предположениях о моделях;
— ответственное масштабирование и международные усилия: Anthropic активировал ASL-3, лаборатории начали перекрёстные оценки безопасности, вышел International AI Safety Report — но лучшая оценка любой лаборатории по FLI AI Safety Index всё ещё C+.
Общий вывод, увы, неутешительный: прогресс в AI safety в 2025 году действительно был значительным, но он не идёт ни в какое сравнение с ростом AI capabilities. Так что пока проблемы накапливаются быстрее, чем мы способны их решать, и разрыв между safety и capabilities сейчас широк как никогда.
#ai #longreads #blog #aisafety
AI Safety в 2025, часть II: scheming, sandbagging и что делают люди
Если в первой части мы говорили про интерпретируемость и про то, как модели становятся "плохими" случайно, то во второй части рассматриваем ещё более мрачный вопрос: а могут ли модели быть плохими намеренно, да ещё и скрывать это? Спойлер: да, могут.
А ещё — про безопасность AI-агентов, которые уже действуют в реальном мире, про новую парадигму AI control и про то, что лаборатории и правительства пытаются со всем этим делать. Здесь, пожалуй, главная мысль в том, что никакие AI-box experiments Юдковского оказались совершенно не важны для реальной жизни: как только AI-агенты начали приносить реальную пользу, все сразу побежали их устанавливать и давать им всевозможные доступы и привилегии. Ни о каком safety почти никто из тысяч установивших тот же OpenClaw не задумался.
Основные темы второго поста (читать по ссылке):
— scheming и sandbagging: модели умеют стратегически обманывать и занижать свои способности на тестах; более умные модели делают это лучше, а sandbagging ставит под вопрос всю нашу систему оценки опасности моделей;
— безопасность AI-агентов и их возрастающая агентность: например, Claude Opus 4 в тестах пытался шантажировать пользователя, чтобы избежать выключения;
— честность и sleeper agents: появились методы обнаружения обмана и бэкдоров, но это опять гонка вооружений;
— AI control: новая парадигма, которая честно говорит "мы не умеем гарантировать alignment" и предлагает строить протоколы, безопасные даже при пессимистичных предположениях о моделях;
— ответственное масштабирование и международные усилия: Anthropic активировал ASL-3, лаборатории начали перекрёстные оценки безопасности, вышел International AI Safety Report — но лучшая оценка любой лаборатории по FLI AI Safety Index всё ещё C+.
Общий вывод, увы, неутешительный: прогресс в AI safety в 2025 году действительно был значительным, но он не идёт ни в какое сравнение с ростом AI capabilities. Так что пока проблемы накапливаются быстрее, чем мы способны их решать, и разрыв между safety и capabilities сейчас широк как никогда.
#ai #longreads #blog #aisafety
🔥9❤5👍2