У меня очень много началось преподавания, и есть даже отличные новости по поводу выкладывания курсов, но надо чем-то разбавить череду лекций, которые к тому же ещё пока и весьма похожи друг на друга.

Свой пост о взломе HuggingFace агентами OpenAI я завершил вопросом: если атаку на HuggingFace в OpenAI по сути не заметили, то чего мы не замечаем прямо сейчас? И вот мы получили на это любопытные ответы.

Независимые исследователи обнаружили ещё один рой агентов OpenAI — другой, более ранний и никак не связанный с атакой на HuggingFace (вот подробный разбор Zvi). Эти агенты решали совершенно безобидные задачи веб-поиска на время, имели доступ к интернету только на чтение... и обнаружили, что на старых вики-движках GET-запросами можно не только читать, но и писать!

После чего захватили полузаброшенную немецкую вики и превратили её в доску объявлений: написали 18 тысяч постов, менялись ответами на задачи, способами обхода песочницы, организовывали "разведотряды" для будущих задач.

Один агент, поняв, что задания получаются из генератора случайных чисел, переписал процедуру перемешивания на C и перебрал все четыре миллиарда сидов, чтобы узнать будущие вопросы заранее. Этот мотив мы уже обсуждали: нет лучше способа подготовиться к экзамену, чем украсть ответы на тест.

Там была даже война правок с живым администратором вики, который месяц вручную удалял по сотне страниц в день, пока агенты создавали по четыреста. Именно там агенты научились называть страницы с префиксом "ZZZ", чтобы переживать удаление в алфавитном порядке; этот zz-префикс потом всплыл в HuggingFace-инциденте, где был совершенно необъясним.

Более того, было несколько таких вики, и люди сейчас их продолжают находить!

Получается, что навык прятать свои сообщения от зачистки был выучен в эволюционной гонке с человеком ещё весной. Кстати, агенты при этом ни разу не обсуждали администратора как противника или личность — его действия были для агентов природным явлением, environmental hazard. Юдковский по этому поводу пишет, что мы живём в ограниченном временном окне, пока AI воспринимает людей как погоду, а не как противников.

В результате, во-первых, провалилась версия "агенты взламывали, потому что их посадили решать хакерский бенчмарк". Тут задачи были безобидными, а проблема была в самом факте существования оценщика.

Во-вторых, OpenAI, судя по всему, знала об этом инциденте ещё до атаки на HuggingFace (активность агентов прекратилась после визитов с IP-адресов OpenAI), но не раскрыла его ни в техническом отчёте, ни в ответе на прямой вопрос Конгресса; они даже вывели его за рамки расследования METR, ограничив им время доступа.

Но есть и хорошие новости из OpenAI — вышло эссе An Alien Mind от Якуба Пахоцкого, chief scientist OpenAI. Прочитайте обязательно, это, пожалуй, самый откровенный текст от фронтирной лаборатории. Пахоцкий прямым текстом пишет, что машины умнее нас появятся при нашей жизни; recursive self-improvement будет в ближайшие годы, к последствиям не готов никто. Полагаться на мониторинг chain of thought уже сейчас сложнее (об этом есть другие новости, но о них в другой раз), и ни одна лаборатория не решила alignment настолько, чтобы ответственно продолжать масштабирование на полной скорости. Он призывает к добровольным замедлениям и международной координации.

Предлагаю вам оценить самостоятельно, насколько сходится текст эссе и дела компании из предыдущих абзацев . Но в любом случае очень хорошо, что начался честный разговор об этом. За эссе последовала целая волна публичных признаний в духе "я преуменьшал риски, беру слова обратно", в том числе от сотрудников OpenAI и Anthropic. Последняя картинка обращена к ним, если что.)

Осталось, чтобы за словами последовали дела.

#aisafety #ai #longreads #blog

Как вы наверняка догадываетесь, на СПбГУ моё преподавание в этом семестре отнюдь не заканчивается. Сегодня пост про Факультет технологий искусственного интеллекта (ФТИИ) Университета ИТМО, где я тоже начал новый курс глубокого обучения.

Главный идейный вдохновитель всего этого — Семён Краев. С Семёном мы давно взаимодействуем, и уже много за что хочется сказать ему спасибо. Во-первых, конечно, за то, что я в ИТМО преподаю уже довольно давно, так или иначе каждый год, и лекции мои там встречают с радостью и удовольствием.

Во-вторых, отдельное огромное спасибо за приглашение на ЗМШ, Зимнюю Математическую Школу, одним из идейных вдохновителей которой Семён, собственно, и является. Я про свою поездку в уральские леса писал вот здесь, и до сих пор очень рад, что удалось тогда выбраться.

Ну а в этом семестре Семёну и всему ИТМО ещё отдельное спасибо за то, что они разрешили выкладывать лекции в открытый доступ! Так что вот, именно это я и начинаю делать, вот страничка курса:

Глубокое обучение 2026 (ФТИИ ИТМО)

А вот первая лекция, точнее две, они там будут сдвоенные:

История искусственного интеллекта, введение в ML и глубокое обучение
(слайды и доска на странице курса)

Это мои обычные вводные лекции, причём пока ещё не имеющие отношения именно к глубокому обучению. В этом курсе я после исторического экскурса начал с введения в обычное машинное обучение, неглубокое для начала.) Думал немного рассказать о вероятностных основах того, что в ML вообще происходит, прежде чем переходить уже к собственно нейросетям.

И надо сказать, что студенты ФТИИ ИТМО меня очень приятно удивили! Они уже были в курсе основ байесовского вывода, того, при чём тут формула Баейса, что такое априорные распределения и сопряжённые априорные распределения... В общем, очень продуктивно мы поговорили, вспомнили основы, удостоверились, что все понимают то, что станет последними слоями любых нейросетей — линейную и логистическую регрессию и так далее.

Со следующего раза будем уже точно говорить о нейросетях! Ещё раз спасибо Семёну и надеюсь, что это сотрудничество станет прочным и долгосрочным!

#lectures #itmo #dl2026

Ещё одна страничка, которая будет заполняться в наступающем семестре, — доклады на семинаре лаборатории Маркова:

Семинар лаборатории Маркова — осень 2026

И начался он, как я уже писал, очень круто; к нам приехал выпускник МКН из DeepMind и рассказал об одной из их работ в области AI safety:

Семинар Markov Lab — 2026.09.02 — Debate Training Reduces Reward Hacking in RLAIF
(слайды на странице семинара)

Кирилл Тыщук
(Google DeepMind)

Кирилл рассказывал о подходе, который уже давно развивают: как устроить так, чтобы относительно "глупый" судья (потенциально человек, в экспериментах — более слабая LLM) смог обнаружить, не обманывает ли его более "умный" противник (более сильная LLM).

Суть подхода в том, чтобы устроить дебаты между двумя сильными LLM так, чтобы одна искала ошибки в рассуждениях другой. И показано, что действительно, при наличии умного оппонента, который может указывать на слабые места, "продать" лажу даже слабому судье получается куда реже, и эффект этот достаточно устойчивый.

Мне, правда, показалось, что на самый интересный вопрос работа вообще не пытается отвечать: все эксперименты сделаны для математических задач, в которых есть настоящий несомненный правильный ответ, и даже слабый судья скорее всего сможет проследить за настоящим решением и проверить его.

Было бы гораздо интереснее попробовать хотя бы на качественном уровне (понятно, что большой эксперимент тут сделать трудно) посмотреть, что будет с задачами неверифицируемыми, для которых это всё в конечном счёте и предназначено.

Но в любом случае было очень интересно, а потом была ещё бурная дискуссия о современной ситуации в AI safety, которую по соображениям NDA Кирилл попросил в общедоступное видео не включать.

Впрочем, думаю, что я ничего не раскрою, если суммаризирую так: AI safety — это самая важная проблема человечества прямо сейчас, и как её решать, не знает никто. Такие дела.

#spsu #markovlab #seminar

Сегодня был очень тяжёлый день: четыре пары и ещё часа четыре пеших прогулок. Но обзор по расписанию!

У нас сегодня тайкун, в котором вы издаёте газету в Нью-Йорке 1930-х: строите редакцию этаж за этажом, рассылаете репортёров по городу, верстаете воскресный номер и торгуетесь с мафией, мэрией и высшим светом. Механик здесь очень много, и они хорошо работают вместе; а кроме циферок, здесь есть и истории, что всегда приятно. Минусы тоже есть, в основном традиционные для жанра. Как обычно, читать лучше по ссылке, ниже сокращённо:

News Tower
(и вот выложил на DTF)

Действие начинается 7 октября 1929 года, то есть за три недели до краха на Уолл-стрит, и это, разумеется, первый большой заголовок, который вам предстоит напечатать. Вы получили в наследство от отца захудалую газетёнку с одним репортёром; дальше — Великая депрессия, сухой закон, гангстеры, коррумпированная мэрия и вся эта прекрасная эпоха, которую мы все очень любим романтизировать. Оформлено всё под ар-деко и старую прессу [...] Приятный и цельный стиль.

В тайкуне главное механики, так что давайте о них я расскажу поподробнее. Игровая неделя заканчивается воскресеньем, когда номер уходит в печать [...]

Новости. На карте города (а потом и страны, и мира) появляются сюжеты [...] У сюжетов есть теги — криминал, политика, спорт, бизнес и т.д. [...]

Вёрстка. В воскресенье вы собираете номер на сетке: первая полоса, вторая, третья. Одинаковые теги на одной странице дают бонус к продажам [...] Это маленькая головоломка каждую неделю, и она действительно не надоедает.

Башня и люди. В здании происходит собственно тайкун. Редакция растёт вверх [...] У сотрудников много разных профессий: репортёры разных специализаций, телеграфисты, фотографы, наборщики, печатники, рекламные агенты, юристы, уборщики. У всех есть потребности [...]

Фракции. Нью-Йорком управляют четыре группы: мафия, мэрия, военные и высший свет. У каждой фракции по несколько персонажей со своими просьбами [...]

Конкуренты и районы. Читатели живут по районам, и каждый район надо завоевать: попасть в предпочтения местной публики, а потом ещё и отбить читателей у двух конкурирующих газет [...]

А потом ещё добавляются новости из Европы, куда можно отправлять репортёров разными видами транспорта...

Главное в том, что это всё действительно круто работает вместе. Хороший сюжет надо успеть привезти, для этого нужен свободный репортёр, который не ушёл обедать, потому что столовая на четвёртом этаже, а лифт занят. Материал про мафию поднимет тираж в Бруклине, но испортит отношения с мэрией и, возможно, приведёт к иску, если юрист не успеет его отбить. Реклама даст денег, но отнимет место на полосе. Ни одна из этих механик по отдельности не сложная, но их сцепление создаёт то самое ощущение, ради которого тайкуны и существуют: ты вечно чуть-чуть не успеваешь и обещаешь себе что-то улучшить к следующему воскресенью.

Истории. [...] Новости здесь настоящие: крах 1929 года, тарифы Смута-Хоули, смерть авиатора Гленна Кёртисса, бунт в Уотсонвилле, Роуз Боул, звуковое кино и многое, очень многое другое. [...]

Минусы традиционны для тайкунов. Во-первых, одна партия идёт бесконечно долго. [...] Во-вторых, отсюда следует логичный вопрос: для кого здесь реиграбельность? [...] Если одна партия занимает двадцать-тридцать часов, кто будет начинать вторую ради того, чтобы попробовать узкую башню вместо широкой? [...] В-третьих, истории не повторяются и имеют исторический смысл, и это здорово, но к десятому часу перестаёшь обращать на них внимание [...] Механика побеждает нарратив. Думаю, с этим можно было бы как-то справиться, если бы в игре был и механики, завязанные на содержание: бонус, например, не просто за тег, а за продолжение истории, которую раскрывал в предыдущем номере. Но это было бы, наверное, очень сложно сделать.

В общем, News Tower — отличный тайкун с редким сеттингом, приятным оформлением и большим количеством механик. [...] Рекомендую. И даже если у вас, как и у меня, так и не получится начать вторую партию, за время первой игра уже точно оправдает все потраченные деньги.

#tgif #games