Видео из CS Space цветокорректировали, и оно стало гораздо лучше. Меня всё ещё подмывает всё переделать и вставить слайды картинками, но на это надо потратить несколько часов, а прорекламировать канал CS Space всё равно хорошо и правильно, так что вот вам ссылка пока что на него.

А почему у меня нет на это сейчас нескольких часов? Потому что я готовлюсь к лекциям в воскресенье! В отличие от первой части, стандартного доклада "State of AI", который у меня просто обновляется последними новостями (и всё равно такое обновление занимает день-два перед каждой итерацией), подробные лекции об AI Safety мне приходится делать почти с нуля. Сейчас у меня около двухсот слайдов, и конца пока не видно.)

Поэтому в анонсе доклада я не мог пообещать ничего, кроме общих слов — а теперь уже могу! Мы поговорим не только о том, как AGI выбирается из ящика, заменяет всех программистов и покрывает мир канцелярскими скрепками, хотя и об этом тоже. Но главное — я постараюсь обсудить основные разделы и результаты сегодняшнего AI Safety:

— основные определения (там много интересного, определять такие вещи трудно);
— goodharting (термин от "Goodhart's Law", покрывающий specification gaming, reward hacking и тому подобные вещи);
— интерпретируемость (в основном mechanistic interpretability по Крису Ола);
— то, что я назвал "sparks of misalignment": интересные примеры поведения LLM и других AI-агентов, в том числе очень свежие.

В начале года, кстати, вышел большой отчёт о рисках и состоянии AI safety, первым автором в котором был не кто-нибудь, а Йошуа Бенджи; мысли оттуда мы тоже обсудим.

Регистрируйтесь и приходите! Сейчас, когда все темы и основные идеи новых лекций у меня уже определились, я искренне считаю, что этот доклад будет интереснее первого.

https://www.youtube.com/watch?v=fCOr8qX0sG0&ab_channel=ComputerScienceSpace

Сегодняшние лекции начались с MCMC-сэмплирования (Markov chain Monte Carlo); это один из главных инструментов приближённого вывода в сложных вероятностных моделях, очень красивая идея, которая известна как алгоритм Метрополиса-Гастингса. В детали вдаваться не буду, но любопытно, что придумали его физики ещё в 1953 году, в статье "Equation of State Calculations by Fast Computing Machines"; первым автором был действительно Николас Метрополис, а вот последним — Эдвард Теллер, тот самый, участник Манхэттенского проекта и отец водородной бомбы. Так что Метрополису (и позже обобщившему алгоритм Гастингсу) сильно повезло, что это не алгоритм "Теллера и каких-то ещё непонятных чуваков".

А во второй части показывал свой любимый пример из этой части курса: SIR-модели в эпидемиологии. Я сам узнал об этих моделях как раз когда ковид шагал по планете, и до сих пор в восторге от того, как там всё вместе сходится: глобальная EM-схема для обучения, стохастический алгоритм Витерби в скрытых марковских моделях для E-шага этой схемы, сэмплирование по Гиббсу для M-шага, а потом ещё как вишенка на торте при обучении появляется мини-EM в точности как в моём рейтинге спортивного ЧГК. И это я ещё рассказываю модель в упрощённом виде, с дискретными переходами, а так там по умолчанию всё в непрерывном времени происходит.

Полный восторг, в общем. Правда, к концу лекции компьютер мой не выдержал неизвестно чего, и в записи появились статтеры и целые небольшие участки в 5fps. Но вроде ничего страшного.

https://youtu.be/xOuUiPkXmw8

Выложили мой доклад про AI Safety, который был в CS Space в воскресенье. Спасибо организаторам, что не прерывали, я, конечно, многие части прошёл в ускоренном темпе, но прошёл все, а видео в итоге получилось на 4 часа 12 минут чистого времени.

https://www.youtube.com/watch?v=PkYDScQg5PU&ab_channel=ComputerScienceSpace

Цель была в том, чтобы рассказать не только о том, почему AGI имеет все шансы уничтожить человечество, но и по существу о том, как человечество пытается сделать так, чтобы эти шансы не реализовались.

По порядку в докладе:
— введение, Хинтон и Бенджи беспокоятся
— таймлайны, slow vs. fast takeoff
— mundane risks: как LLM можно использовать в неблаговидных целях
— возможные экономические трансформации
— история AI safety от Чапека и Тьюринга
— аргументы об экзистенциальном риске
— разбор стандартных возражений
— основные определения: emergence, mesa-optimization, alignment, corrigibility
— пример конкретного направления: подхалимство (sycophancy) и как его уменьшить
— интроспекция / situational awareness: понимают ли модели свою ситуацию
— goodharting (закон Гудхарта), его частные случаи и яркие примеры reward hacking
— механистическая интерпретируемость: схемы, поиск признаков автокодировщиками
— sparks of misalignment (примеры): sleeper agents, alignment faking, emergent misalignment...
— заключение: что сейчас делают государства, учёные и компании, как LLM-агенты играют в википедию

Это было нелегко, потому что это был на 80% новый доклад с новыми слайдами и новыми идеями, которые я слышал раньше, конечно, но никогда сам не рассказывал. Пара накладок действительно случилась, но в основном, кажется, справился и результатом доволен.

А если вы хотите услышать одну cool story из доклада, отправляйтесь на таймкод 3:48:20 и послушайте буквально 5-7 минут про emergent misalignment. Эта работа вышла месяц назад (Betley et al., Feb 24, 2025), и это просто офигенно; не буду спойлерить, посмотрите сами.

Сегодняшние лекции — об одной из центральных тем и этого семестра, и машинного обучения в целом: о вариационных приближениях. Это классическая идея, изначально пришедшая из теоретической физики, но в итоге именно в машинном обучении оказалось всё время нужно приближать очень сложные распределения в пространствах высокой размерности — как правило, апостериорные распределения в сложных вероятностных моделях.

Такая идея, конечно, не потерялась и в эпоху глубокого обучения. Например, оба главных инструмента современных порождающих моделей для изображений и видео основаны на вариационных приближениях. Вы наверняка слышали о вариационных автокодировщиках, в чьём латентном пространстве до сих пор обычно порождают коды text-to-image модели (за GPT-4o, правда, уже не ручаюсь). Главный "секретный соус" VAE — правильная форма регуляризации, которая как раз из вариационной нижней оценки и получается. См. хотя бы мой давний пост в блоге Synthesis AI на эту тему.

Но и диффузионные модели тоже насквозь пронизаны вариационными приближениями: распределения, появляющиеся в процессе обратной диффузии (тот самый denoising), конечно, точно не посчитаешь, там на каждом шаге происходит аппроксимация. Об этом у меня тоже был пост в блоге Synthesis AI.

А вот ещё пара случайных примеров (абсолютно первых попавшихся) недавних интересных статей о вариационных приближениях:
— Piriyakulkij et al. (2024) используют диффузионные модели как выразительные приближённые апостериорные распределения в вероятностных моделях со скрытыми переменными;
— Sordoni et al. (2023) рассматривают стек из языковых моделей: их Deep Language Network — это два слоя, каждый из которых представляет собой LLM, и выход первой — скрытая переменная, которая как раз вариационным выводом и оптимизируется;
— Gong et al. (2025) строят модель со скрытыми переменными для моделирования человеческих предпочтений, которые потом можно использовать для alignment; эти скрытые переменные кодируют факторы, из которых складываются предпочтения, и обучаются они тоже, как обычно со смесями, через вариационную нижнюю оценку.

А в лекциях мы обсудили основную идею и несколько относительно простых примеров. Ну как простых — вариационное приближение для смеси гауссианов уже не так просто построить, но вроде мы по модулю некоторых вычислений справились. Главное — увидели основную магию вариационных приближений: как из предположения о независимости q(Z_1), ..., q(Z_M) сразу получаются и формы распределений в оптимальной аппроксимации, причём оптимальные они не по отдельности, а все вместе, как произведение q(Z) = q(Z_1)...q(Z_M).

https://www.youtube.com/watch?v=848vDVNAnAM