На lesswrong.com анонсировали онлайн-курс по математике, связанной с вопросами согласования ИИ (AI Alignment). Примерное содержание курса авторы описывают как "roughly, classical learning theory up to embedded agency and infra-Bayesianism, though this course will cover just an initial portion of this". Как я понял, требуется владение математикой примерно на уровне бакалавра со специализацией в математике.

Многочисленные подробности: https://www.lesswrong.com/posts/sPAA9X6basAXsWhau/announcement-learning-theory-online-course

Новый перевод на сайте - эссе (на основе треда из X/Twitter'а) Элиезера Юдковского "ИИ и Чернобыль".

В очень саркастической форме Элиезер Юдковский рассуждает о том, что стандарты безопасности в области ИИ сейчас значительно ниже, чем стандарты безопасности, действующие на Чернобыльской АЭС перед катастрофой.

https://lesswrong.ru/4525

Для жителей Москвы и тех, кто иногда в Москве бывает.

Я ранее иногда писал про некоторые мероприятия, проходящие в ЦДО "Моноид". Теперь они наконец завели свой телеграм-канал с анонсами: https://t.me/monoid_center

Первый анонс в новом канале посвящён открытой дискуссии на тему «Безопасность ИИ: вызовы, риски и поиск решений».

AI Safety, Ethics and Society Course

Онлайн курс, который проводит Center for AI Safety (CAIS). Подходит для разных бэкграундов, технический опыт (AI/ML) не нужен. Основан на недавно вышедшей книге.

Почитать подробнее и подать заявку можно тут: https://www.aisafetybook.com/virtual-course
Дедлайн 31 января

Выложены записи докладов с конференции "Первые шаги в AI Safety": https://www.youtube.com/playlist?list=PL7r5bEe-6DaCsSWc7KZl0vr57Xktnn25F

Короткие описания докладов со ссылками на материалы, которые предлагали авторы, можно посмотреть в презентации: https://docs.google.com/presentation/d/1PF3qtDKSWGF5VBkAIfbOJ_8oapM7VoR26qxuHVu-Z4o/edit#slide=id.g32300538c4d_0_12

Можем ли мы отказаться от авторитетов? Как определить, какому эксперту можно доверять, а какому нет?

Телеграм-канал "Байесятина" опубликовал статью "Кто твой авторитет?", где обсуждаются эти вопросы.

Видео-версия: https://www.youtube.com/watch?v=Cg3Ad8StogY

В телеграм-канале "Байесятина" опубликована новая статья "На ком лежит бремя доказательств?"

В статье обсуждается тезис "Бремя доказательств лежит на том, кто что-то утверждает". Всегда ли его уместно применять? Когда с ним могут быть проблемы? Что можно делать в таких случаях?

Попутно затрагивается более широкий вопрос: как мы вообще можем определить, каких аргументов будет достаточно для обсуждения некоего вопроса.

В статье также есть ссылка на видеоверсию.

14 марта 2015 года Элиезер Юдковский опубликовал последнюю главу "Гарри Поттера и методов рационального мышления". В этот день многие поклонники книги по всему миру собирались вместе, чтобы прочитать её и обсудить. Прошло 10 лет.

С 14 по 16 марта 2025 года в разных городах и странах вновь будут проходить встречи поклонников ГПиМРМ.

В таблице по ссылке вы можете проверить, планируется ли подобная встреча неподалёку от вас.

В частности, такая встреча планируется в Москве. Если вы хотите поучаствовать в ней, нужно зарегистрироваться по ссылке.

Для желающих самостоятельно организовать встречу на lesswrong.com написали руководство (на английском), которое может оказаться полезным.

Также напоминаем, что если вы — победитель олимпиад и хотите себе экземпляр ГПиМРМ бесплатно, форма получения книг для олимпиадников всё ещё работает!

Набор групп в рамках AI Safety Collab 2025

Для желающих пройти вводный курс по AI safety, появилась возможность присоединиться к набору AI Safety Collab 2025.

Программа: AI Alignment от AI Safety Atlas. Как пишут создатели, курс создан в сотрудничестве с экспертами из OpenAI, Кембриджа и CeSIA.

Даты: 31 марта – 23 июня 2025 (8 недель основного курса + 4 недели дополнительной проектной фазы)

Формат: онлайн или очно (если будет такой фасилитатор)
Языки: будет минимум одна группа на русском, вообще в проекте есть и англоязычные группы, можно присоединиться к одной из них (напишите это в анкете в примечаниях)

Стоимость: Бесплатно

Преимущества: сертификат LinkedIn по завершении

А если вы уже не новичок в вопросах AI safety и хотите стать фасилитатором:
1) вам вот в эту форму,
2) можете написать мне в ЛС если у вас есть вопросы.

Возможно будет фасилитатор только на одну русскоязычную группу, так что не затягивайте с подачей заявки.

Подробности программы описаны в самой форме заявки.
Дедлайн: 23 марта 2025
Подать заявку!

Научный метод — гарантия истины? А что, если он может доказать даже чушь? Разбираем, как сдвигаются границы доказательности, почему статистика может сыграть злую шутку и как это всё связано с кризисом воспроизводимости. А заодно поговорим об "аргументе доказывающем слишком многое", софистах и их роли в научном прогрессе.

Примерно 10 лет назад Элиезер Юдковский и ещё несколько людей запустили сайт Арбитал, который предполагался как энциклопедия о согласовании ИИ (AI Alignment) с сильным уклоном в сторону математической стороны задачи.

Идея не сработала, сайт не стал хоть сколько-то популярным. Однако команда организаторов Lesswrong'а решила, что там есть много статей, написанных очень качественно, и перенесла их на сам Lesswrong:

https://www.lesswrong.com/posts/mpMWWKzkzWqf57Yap/eliezer-s-lost-alignment-articles-the-arbital-sequence

Каждую весну по всему миру проходят встречи поклонников творчества Скотта Александера.

Посмотреть, будет ли этой весной такая встреча недалеко от вас, и если да, то когда и где именно, можно по ссылке: https://www.astralcodexten.com/p/meetups-everywhere-spring-2025-times

Группа людей с LW и не только, в которую в том числе входят Даниэль Кокотайло (исследователь ИИ, бывший сотрудник OpenAI) и Скотт Александер, опубликовали большой текст под названием AI 2027. В этом тексте авторы дают свой прогноз о том, как, возможно, в ближайшее время будет развиваться искусственный интеллект и к чему это может привести.

Понятно, что точно предсказать будущее невозможно. Наверняка в реальности всё пойдёт по-другому и авторы это понимают (и пишут прямым текстом). Но поскольку люди склонны думать нарративами, авторы на основании текущих тенденций (в тексте есть ссылки) строят повествование, которое, возможно, кому-то лучше позволит понять, о каких вероятных проблемах идёт речь и откуда эти проблемы могут появиться.

В самом начале, в блоке, что это за текст, кто его авторы и почему он написан, также упомянуто, что самый цитируемый в настоящее время учёный в области Computer Science - Йошуа Бенджио - также считает этот текст очень полезным и рекомендует его прочитать.

Правило и пример

Правила могут генерировать примеры. Например: DALLE-3 - правило, по которому генерируются разные картинки-примеры.

Из примеров можно выводить правила. Например: имея достаточный датасет картинок и их названий, можно натренировать модель DALLE-3.

В computer science есть понятие - Колмогоровская сложность данных. Определяется она (примерно) как длина минимальной программы, способная вывести эти данные.

Некоторые данные простые, и их можно сжать, некоторые сложные, их сжать тяжелее. В каком-то смысле задача ML - это подобрать программу заданного размера, которая является "сжатием" датасета.

В реальном мире, хоть и знать подлежащее правило зачастую очень полезно, иногда полезнее пользоваться giant look-up table (GLUT). Иногда нужно зазубрить материал, вместо того, чтобы пытаться его "понять".

Иногда бывают примеры, которые сложнее породившего его правила. Например, в отрезке [0;1] (который описать довольно легко, правило: все числа не больше 1 и не меньше 0) есть число, содержащее все труды Шекспира (которые сжать до описания сравнимого с описанием отрезка [0;1] точно не получится).

Из правил вытекают свойства. Не обязательно знать про каждый экземпляр правила, чтобы иметь какую-то информацию про них всех сразу. Даже более того, все экземпляры в совокупности могут иметь меньшую информацию (или Колмогоровскую сложность), чем каждый из них по отдельности.

В раздел "The Best of LessWrong" на lesswrong.com , где собираются лучшие эссе за каждый год, добавлены эссе, признанные лучшими в 2023 году.

Подробные результаты голосования можно посмотреть здесь: https://www.lesswrong.com/posts/sHvByGZRCsFuxtTKr/voting-results-for-the-2023-review

Группа энтузиастов начинает очередной цикл онлайн-встреч для обсуждения книги Элиезера Юдковского "Рациональность: от ИИ до зомби". Встречи будут проходить по субботам (начало в 19:00 по московскому времени - UTC+3).

Первая встреча состоится 26 апреля.

Подробности: https://t.me/aitozombies

Новый перевод на сайте - художественная миниатюра Ричарда Нго "Муравьи и кузнечик".

В своей миниатюре автор обыгрывает известный сюжет (более известный русскоязычному читателю как "Стрекоза и муравей"), демонстрируя с его помощью разные теоретико-игровые ситуации и не только.

Авторы нашумевшей статьи "AI 2027", о которой я писал некоторое время назад, не планируют на этом останавливать свою деятельность в области прогнозирования будущего развития ИИ. Тех, кого и дальше интересуют модели и прогнозы авторов, могут следить за их блогом: https://blog.ai-futures.org/

В частности, в их блоге недавно вышла статья, где Скотт Александер разбирает некоторую критику исходной статьи: https://blog.ai-futures.org/p/ai-2027-media-reactions-criticism