Sinекура
3.74K subscribers
1.08K photos
18 videos
303 links
Канал Сергея Николенко обо всём, но в основном об AI.

Сайт с выступлениями, лекциями и публикациями: https://sergeynikolenko.ru/
Download Telegram
Два дня без постов прошли (ужас! куда мир катится!). А всё потому, что был в лесах под Екатеринбургом. Ну ладно, не совсем в лесах, на базе отдыха, где проходит легендарная Зимняя Математическая Школа (ЗМШ).

В этом году была юбилейная ЗМШ — шестидесятая! Да-да, у неё 60 лет истории, но держу пари, что многие мои читатели о ЗМШ никогда не слышали; честно говоря, я хоть и слышал, но не знал практически ничего, пока меня туда не позвали.

Школа прочно ассоциирована с Уральским федеральным университетом, и почти все участники — студенты УрФУ; но это не формальная связь, в реальности школа живёт за счёт частных спонсоров, которых у неё очень много (посмотрите на сайте).

Поначалу, в советские времена, это была действительно математическая школа, в которой были только лекции да лыжные прогулки по окрестностям. Но в последние лет десять-двадцать школу взяли под крыло разнообразные екатеринбургские айтишники и просто выпускники УрФУ, и в школе появилось и computer science, и просто всякие разные интересные лекции интересных людей.

С каждым годом школа растёт; в этот раз там было около 400 участников (!). Но при этом сохраняется самое главное — та самая невероятная атмосфера. Добрая, молодёжная, немного отвязная, но в рамках. Я как будто вернулся на матмех 25-летней давности; думал, что такого уже нигде не осталось. Просто посмотрите приложенное видео, там как раз типичные "шалости", составляющие многолетнюю традицию ЗМШ.

А ещё концерты, бар (бесплатный), местная игра с монетками, правила которой я так до конца и не узнал, и многое другое...

Школа юбилейная, так что в какой-то момент показывали ностальгические видео. Например, в 1998-м в ЗМШ приезжали Иваси; я почти прослезился, пока слушал, как они задорно и оптимистично пели "Когда-нибудь"...

Огромное спасибо Семёну Краеву за приглашение — и буду очень рад приехать ещё! Если пригласят, конечно, а то я, честно говоря, на лекции чувствовал себя не очень (ещё не акклиматизировался после Бангкока), рассказывал сумбурно и, боюсь, не слишком интересно. Зато опять провёл свой новогодний квиз.)

#travel #lifestyle
🔥4120👍8❤‍🔥2👏1
Когда-то давно, в девяностые и начале нулевых, главным игровым жанром на русскоязычном пространстве был квест, то бишь point-and-click adventure. Наши квесты (“Братья Пилоты”, серия про Петьку и Василия Ивановича и так далее) были обычно абсурдными и юморными, но не настолько абсурдными и жестокими к игроку, как давняя классика от Sierra. По сложности и типу загадок они напоминали скорее что-то вроде Broken Sword или Syberia, которые мы тоже тогда заигрывали до дыр.

Потом время квестов ушло. Почему ушло — вопрос многократно обсуждавшийся, и мне, конечно, нечего добавить к многочисленным ретроспективам и видеоэссе о квестах. Но ушло-то ушло, а некоторые представители появляются до сих пор, в том числе весьма достойные, с тем самым вайбом. Сегодня я рассматриваю два из них, здесь пара кратких выжимок, а полный обзор по ссылке:

Тот самый квест: Anna's Quest и Loco Motive

Anna's Quest — представитель довольно многочисленного жанра: переосмысление классических сказок на современный лад с метаюмором. [...]

Нарисовано хорошо, сюжет развивается по ожидаемым рельсам, но при этом иногда радует забавными поворотами. Например, надо сделать для мышки вкусный сыр. Для этого нужно найти в полу сток для… не спрашивайте для чего, но сток прямо напротив прикованного к стене скелета, который, видимо, когда-то был жив. Из стока надо голыми руками вынуть непонятную грязь с плесенью, а потом покрасить её жёлтой краской, чтобы получилось похоже на сыр.

Ну ладно, это был довольно маргинальный пример. Обычно здесь всё гораздо мягче и на самом деле действительно весьма по-детски. Я думаю, что как раз дети в раннем подростковом возрасте должны быть в восторге.

[...]

Loco Motive — это отличный представитель другого заслуженного архетипа point-and-click квестов: иронического детектива. Вы — незадачливый… нет, не детектив, юрист, который вдруг оказывается в центре расследования, когда убивают его главную клиентку, богатую наследницу железнодорожной империи леди Унтервальд. [...]

Это прямо дистиллированный классический квест из девяностых, вплоть до характерного мягкого юмора. Только лучше, потому что загадки очень ровные, разумные, но при этом не вполне тривиальные. [...]

Заключение

Если нужно выбрать из двух игру одну, то я бы порекомендовал Loco Motive, это прямо действительно тот самый квест, со слоном (хм, неожиданно хороший pun получился). Это квест для тех, кто вырос на LucasArts и скучает по временам, когда Гайбраш Трипвуд был молод, а загадки были абсурдными, но при этом почему-то имели смысл. А Anna’s Quest только по остаточному принципу, если понравилось описание сути.

И всё-таки обе игры — приятное напоминание о том, что жанр ещё жив. И это прекрасно.

#tgif #games
🔥1210👍2
Я время от времени раньше проводил наивный тест для LLM: брал свежую (сегодняшнюю) математическую статью с архива, давал LLM первые несколько страниц с формулировками теорем и просил доказать. Результаты были обычно смешанные и не очень ясные, а делать всё честно и формально было сложно.

Но вот, оказывается (спасибо Октаю @oktai15, который прислал ссылку), из этой процедуры таки сделали полуавтоматический бенчмарк:

ArXivMath: Evaluating LLMs on Mathematical Research Problems From Recent ArXiv Papers

Похоже, это и есть тот самый бенчмарк "научиться делать математику". Единственное условие — проверять на действительно свежих статьях, которые заведомо недоступны модели. Если это условие выполнено, то можете бенчмаксить как угодно, benchmaxxing в данном случае и будет собственно "учиться получать математические результаты"...

Результаты ведущих LLM уже сейчас составляют около половины, 50-60% правильных ответов. Конечно, тут есть важная оговорка, которую и авторы делают — решать задачу с заведомо существующим правильным ответом совсем не то же самое, что вести research в открытом море:

Importantly, final-answer accuracy captures only a narrow slice of research ability. Producing a correct numeric or symbolic answer is far easier than constructing a rigorous proof. Therefore, while these results indicate good performance by LLMs, they should not be interpreted as evidence that models can autonomously write 60% of recent mathematical papers (far from it).


Как я часто говорю на лекциях, да, конечно, это ещё не сингулярность. И да, конечно, ещё десяток таких продвижений будут сопровождаться словами "да, конечно". Но...

#ai #news #math
1👍166🔥3
Семинар лаборатории Маркова открывает новый семестр! В этом семестре будем собираться по пятницам в 14:00, и, как было и в сентябре, открываю семинар я.)

Вряд ли мой доклад на OpenTalks.ai можно будет выкладывать в открытый доступ, поэтому для тех, кого там не будет, я в ближайшую пятницу подробно расскажу о текущей ситуации в AI safety. Пожалуй, пятница 13-е — самый подходящий для этого день:

AI Safety в начале 2026 года: новости и перспективы
Сергей Николенко (ПОМИ РАН, СПбГУ)
Ссылка на трансляцию (пятница 13 февраля, 14:00)

2025 год стал очень важным для безопасности искуственного интеллекта: теоретические опасения превратились в эмпирически подтверждённые угрозы, ведущие лаборатории впервые добрались до реальных протоколов ответственного масштабирования, а государства начали обращать внимание на то, что развитие AI несёт не только преимущества, но и риски.

В докладе мы разберём ключевые результаты года: прорывы в механистической интерпретируемости (circuit tracing в Claude, транскодеры вместо SAE), несколько ярких примеров эмерджентного рассогласования (emergent misalignment), хрупкой, но критически важной возможности мониторинга цепочек рассуждений и тому, как легко её потерять, и так далее, и тому подобное.

Мы обсудим, как модели учатся хитрить, прятать свои способности (sandbagging) и даже шантажировать пользователей, чтобы избежать отключения. Поговорим о новой парадигме AI control, которая честно признаёт, что мы пока не умеем гарантировать согласование (alignment) и должны делать пессимистичные предположения о намерениях AI-моделей. А из хороших новостей поговорим о сотрудничестве в области AI safety между Anthropic и OpenAI, активации ASL-3 для Claude Opus 4 и новуой конституции Claude, которая довольно сильно расширяет предыдущую.

Впрочем, несмотря на некоторые позитивные результаты, честный итог 2025 года таков: прогресс в безопасности есть, но возможности AI-моделей и, как следствие, проблемы растут куда быстрее. По текущим оценкам, к 2027 году AI-агенты смогут автономно выполнять задачи, на которые у человека уходит целый рабочий день. Готова ли к этому инфраструктура безопасности? Приходите, обсудим.

#spsu #seminar #markovlab #aisafety
🔥336👍2
Вспомнил тут про ещё одну единицу контента, которую не успел выложить до поездки. Накануне самого Нового года я выступал во ВШЭ на конференции Logic Matters:

AI в математике: последние новости
(слайды на страничке "Выступления")

Довольно стандартный для меня в последнее время доклад, о том, как AI-модели начинают реально помогать в научных исследованиях, особенно математических. Новости такого рода появляются каждую неделю, и в конце 2025-го уже было достаточно ярких примеров.

В этот раз, правда, необычной была аудитория — "Logic Matters" весьма крутая конференция, и слушали меня, например, Лев Беклемишев и Александр Разборов. Спасибо большое Сергею Олеговичу Кузнецову за приглашение в такую компанию; надеюсь, слушателям мой доклад понравился.

#talks #ai #math
13🔥3👍2🤣1
Раз уж у меня астрологи объявили месяц AI Safety, выражу свой обзор и в текстовой форме. Получилось много, так что разбил на две части.

AI Safety в 2025, часть I: интерпретируемость, emergent misalignment и другие эффекты

Безопасность — это область, которая, к сожалению, всё больше отстаёт от capabilities, то есть способностей моделей. Разрыв между тем, что наши модели умеют, и тем, насколько хорошо мы понимаем и контролируем их поведение, кажется, только растёт. И тем не менее 2025-й принёс важные результаты и здесь, от прорывов в механистической интерпретируемости до пугающих демонстраций эмерджентного рассогласования, от первого реального применения политик ответственного масштабирования до появления совершенно новых исследовательских парадигм вроде AI control.

Тема огромная, так что я разобью обзор AI safety на две части. Сегодня поговорим про интерпретируемость и разные формы рассогласования (misalignment), а в следующей части — про нечестное поведение моделей, безопасность агентов и про то, что люди и организации реально делают для того, чтобы AI не вышел из-под контроля. Для тех, кто хочет копнуть глубже, рекомендую подробный обзор Haykel (декабрь 2025) и масштабный International AI Safety Report под руководством Йошуа Бенжио. Ну и, конечно, мои собственные предыдущие посты по AI safety.

Основные темы первого поста таковы (читать по ссылке):

интерпретируемость — единственная область, где прогресс безусловно положительный; мы стали лучше понимать, что происходит внутри наших моделей, хотя пока непонятно, масштабируется ли это понимание;

мониторинг цепочек рассуждений (chain of thought monitoring): важная возможность и большой риск одновременно; рассуждающие модели буквально говорят нам с вами, о чём они думают, но не вполне очевидно, как сделать так, чтобы они не научились об этом врать;

эмерджентное рассогласование (emergent misalignment): оказывается, если натренировать модель вести себя "плохо" в одной конкретной задаче, она может стать "плохой" вообще во всём; надежду здесь даёт то, что это может сработать и наоборот;

ложное согласование (alignment faking): модели уже научились симулировать согласованное поведение, и примеры становятся всё более тревожными...

#ai #longreads #blog #aisafety
16👍4🤔3🤯2🔥1
Накануне Нового года меня пригласили в Selectel записать подкаст с ведущим Ефимом Головиным и вторым гостем Марком Паненко. И вот он наконец-то вышел:

ИИ — враг образования? | Подкаст Selectel «Сегодня на ретро»
(выложил также на страничку "Выступления")

Я уже, конечно, деталей не помню, но осталось впечатление, что хорошо поговорили. В основном о том, как развитие AI меняет образование уже сейчас и как будет менять в скором будущем.

Спасибо большое за приглашение! Буду рад при случае прийти ещё, мне кажется, подкаст — хороший для меня формат. А может, свой пора уже завести?..

#ai #talks #press
👍159❤‍🔥31🔥1