😠 OpenAI блин 😠 где исследования?

Когда ваши работы по социальному импакту будем разбирать уже? А?

😢

(а может они просто laser-focused на доработке и оценке GPT-5...и её импакте на мир? 😳👀)

Завсегдатаи lesswrong и борцы за alignment в шоке — самая важная команда OpenAI потеряла двух сотрудников.

Причина увольнения: утечка информации (какой - не сообщается). Кому сказали, что сказали — 🤷‍♂️

Если источники The Information верны, то Pavel Izmailov и Leopold Aschenbrenner были уволены. Они оба были частью команды Superalignment (возглавляемую Sutskever'ом), целью которой был (и есть?) контроль и управление сильным искусственным интеллектом (сверхинтеллектом), который, к примеру, мог бы двигать научный прогресс человечества.

Вероятно, было проведено какое-то внутреннее расследование, которое закончилось совсем недавно (или же само событие произошло вот только-только), ибо Pavel буквально месяц назад презентовал свою статью на OpenAI Forum (я смотрел live-трансляцию) и был полноценным сотрудником (не сидел в сторонке, как Ilya сейчас).

Статус Sutskever'а пока не ясен. С одной стороны его не уволили в этот же заход, с другой — от него всё ещё нуль новостей, и надежды на возвращение меньше с каждым днём 🙁 моя, к сожалению, пессимистичная ставка — возвращения не будет 😅

В целом очень жалко — людей, которые хотели бы делать Alignment, очень мало, а тех, кто мог бы — ещё меньше. На момент последней статьи от Superalignment Team в авторах числилось 12 авторов, включая Ilya 🫡 а Jan Leike, второй руководитель команды, часто в подкастах сокрушался, что людей мало, и он готов хайрить почти всех (если скиллсет подходит).

---

Могло ли быть так, что эти двое были источниками The Information, и больше надёжных сливов мы не увидим? 😰(но кто тогда слил новости про увольнение сливальщиков? кек)

Свежий подкаст Dario Amodei (CEO Anthropic, один из главных конкурентов OpenAI) для NYT
(подкаст)(транскрипт)

Название подкаста было многообещающим («What if Dario Amodei Is Right About A.I.?»), но в топик, к сожалению, не так глубоко ушли. Выписал для себя несколько интересных тезисов, плюс, добавил свои мысли:

— На обучение моделей текущего поколения тратится $100M, мб +- 2 раза. Уже сейчас тренируются модели, обучение которых будет стоить $1B. Из этой информации выходит, что 1) скорее всего Claude 3 Opus — не миллиардная моделька 2) в конце 24-го — начале 25-го ждём бенгеров. А ещё это описание полностью бьётся с тем, что он говорил полгода назад. Всё по графику, короче.
— при этом прогноз на будущее он поправил: теперь в 2025-2026м году он предвидит обучение моделей стоимостью $5-10B — и это всё ещё до запуска суперкомпьютера OpenAI x Microsoft за 100 миллиардов!
— пока что на этот и следующий год, по его оценке, вычислительных мощностей его компании хватит, а вот после этого уже не ясно, и главное тут - сможет ли адаптироваться индустрия полупроводников.
— с точки зрения навыков модели, Dario предвидит наибольший рост метрик в тех задачах, где легко и быстро получить обратную связь. Программирование и математика под это определение попадают — в обоих можно быстро удостовериться, что ответ правильный, а заодно покритиковать решение. Взаимодействие с реальным миром - куда сложнее (вероятно, самое сложное).
— на сложении двадцатизначных чисел у Claude 3 качество примерно 99.9% (без внешних инструментов типа калькулятора или кода). Но если проверить данные, на которых обучается модель, то там качество сильно меньше. Это как будто бы играет на руку гипотезе, что модели уже могут производить более качественные данные, чем те, на которых они были обучены. Я к сожалению потерял ссылку, но видел статью с экспериментом, где модель учат на 100% неправильных примерах, и тем не менее её качество на новых примерах отлично от нуля. То есть по полностью неправильному она смогла начать хоть что-то решать
— соответственно, эти два тезиса объединяются в гармоничную картинку мира «давайте модели будут тренировать другие модели», особенно в задачках, где понятно, как оценивать ответ.
— Про то, как модель достигает хорошего качества в сложении чисел: Dario спекулирует, что все «правды» связаны в одну большую паутину мира, и держатся друг за друга. А каждая ложь, ошибка и неправда — она своя, особенная, и выбиается из этого. Согласно исследованиям, мы знаем, что модели знают, когда они врут/пишут неправду (это не означает, что они обманывают нас намеренно). Им пришлось научиться в этом разбираться во время обучения, чтобы понимать, делать ли предсказания с ошибкой или контекст требует чёткости. Это напомнило мне о недавней статье, где показывали, что если модели во время обучения показывать домен сайта, откуда взят текст, то качество работы повысится — потому что она, видимо, разбирается, что хрень а что полезно, и меньше обращает внимания на мусор. Вывод: каждый делает сам для себя 🤷‍♂️

Дальше обсуждается тема рисков AI в контексте дальнейшего развития, ждите следующий пост!

Начинается обсуждение с RSP, Responsible Scaling Policy. Краткое напоминание: RSP определяет «Уровни безопасности искусственного интеллекта» (AI Safety Levels, ASL) для работы с потенциальными катастрофическиим рисками, которые по формату аналогичны стандартам уровней биобезопасности (BSL) правительства США для обращения с опасными биологическими материалами.

Сейчас модели находятся на уровне ASL 2. Они не несут какого-то риска и почти не предоставляют информации, которую нельзя было бы найти, вооружившись поисковиком.

ASL 3 завязан на увеличение риска от биологического и кибер-оружия. Такой риск должен быть существенно (без численной оценки) больше, чем до появления такой модели. Сейчас Anthropic работают с бывшими сотрудниками правительственной программы по биозащите для проработки точных критериев. Например, это может быть «использование модели увеличивает риск на 20%» (оценка через безопасное тестирование — как в их предыдущем исследовании, разбор тут).

Уровень ASL 4 пока слабо проработан, но:
— с точки зрения злоупотреблений такая система позволит расширить свои возможности уже на уровне целого государства (что значительно сложнее, чем помочь одному гуглящему человеку)
— с точки зрения автономности, такие системы должны быть крайне близки к способности воспроизводиться и выживать в дикой среде. Говоря иначе, если модели дать доступ в интерент — она сама себя скопирует на десятки носителей и будет зарабатывать деньги для своего поддержания. Звучит страшно, хорошо, что модели пока так не могут (вот целое исследование)

И самое интересное. Давайте разыграем сценку.
Ведущий: и какая у вас оценка появления ASL3/4?
Dario Amodei: я думаю, что ASL 3 может легко случиться уже в этом или следующем году. Я думаю, что ASL 4...
Ведущий: Господи...
Dario: не-не, я говорю тебе. Я верю в экспоненциальное развитие текущих моделей. Я думаю, ASL 4 может случиться хоть где от 2025-го до 2028-го.
Ведущий: это очень быстро...
Dario: да-да, я говорю об очень ближайшем будущем. Это не про историю на 50 лет вперёд.

Смешно? нет? а ровно это произошло на подкасте (вот ссылка).

Политика Anthropic утверждает набор тестов и критерии их прохождения для того, чтобы определить уровень системы. Схожие политики есть у OpenAI и Google. В случае достижения нового уровня компании обязуются: a) остановить разработку для обсуждения дальнейшего развития, оценки уровня угрозы б) публично анонсировать это.

У ведущего, как и у многих читателей, возникает вопрос - а остановить это вот как? Как же классический аргумент «А что Китай?». Dario говорит:
— Если, например, нам надо будет остановиться на год в 2027 году, я думаю, что это осуществимо. Если это похоже на то, что нам нужно остановить всю индустрию на 10 лет, это будет очень сложно, потому что модели будут создаваться и в других странах. Люди будем нарушать законы. Экономическое давление станет огромным.
(под «остановиться» здесь подразумевается остановка исследований по увеличению набора навыков модели для того, чтобы запустить исследования по контролю и безопасности)

Кажется, что это очень сложно, нужно будет вмешиваться государству, а компании каким-то образом должны будут начать делиться моделями и деталями обучения. Нужна кооперация. Dario считает, что такой процесс возможен, как только будут продемонстрированы реальные риски уровня ASL 4 (или некоторые отдельные с ASL 3). Это заставит всех встрепенуться и начать действовать. Интересно, какие примеры из прошлого приводятся для описания ситуации:
«Если вы посмотрите на исторические периоды, такие как Первая или Вторая мировые войны, воля промышленности может быть направлена в сторону работы на государство. Бизнесы и предпринимателей можно заставить делать вещи, которые не обязательно принесут прибыль в краткосрочной перспективе, потому что они понимают, что возникла чрезвычайная ситуация. Сейчас у нас нет чрезвычайной ситуации.»

😨😳 и чего тогда ждать нам? (Amodei спойлерит, что хочет бескровной демонстарции, когда просто в рамках безопасного эксперимента показывается, на что способна модель)

И вот если мир будет таким, и модели будут а) очень агентными и автономными б) начать заменять части экономики, то как нам готовить к такому миру своих детей? Чему учить? Что вообще будет актуальным хотя бы через 10 лет?

«Очевидная рекомендация — просто знакомиться с технологией самому и знакомить с ней ребёнка. Научите своих детей адаптироваться, быть готовыми к миру, который меняется очень быстро. Мне хотелось бы дать ответы получше, но я думаю, что это лучшее, на что я способен» — говорит Dario. «Есть ситуации, когда в креативных задачах AI создаёт черновую версию, а затем человек её изменят и финализирует. Но для этого самому человеку нужно неплохо разбираться в предмете. Нужно ли сейчас всех заставлять использовать инстурменты по максимум или наоборот ограничить, чтобы выработать навыки самостоятельного мышления, и уже затем показать технологию? Мне ответ не очевиден» — отвечает ведущий.

Ну и раз уж мы заговорили про образование, то Dario Amodei рекомендует три книги! Сначала я обрадовался и подумал «ха-ха ну хоть какой-то позитив», а затем я услышал описания книг от него и 😨

Итак, список ✍️:
1️⃣The Making of the Atomic Bomb (😳) «Просто посмотрите на персонажей и то, как они на реагировали на разработку. Как люди, которые по сути были учеными, постепенно осознали невероятные последствия своей технологии, а также то, как она приведет их в мир, который сильно отличается привычному им миру»

2️⃣Серия книг «The Expanse»: «Мир в этой вселенной очень продвинут. Люди уже осваивают космос. Но они по-прежнему сталкиваются с некоторыми из тех же геополитических вопросов, вопросов неравенства и эксплуатации, которые существуют в нашем мире сейчас. Вот такой фон истории. И суть в том, что в этот мир привносится какой-то принципиально новый технологический объект и как все на него реагируют, как на него реагируют правительства, как на него реагируют отдельные люди и как на него реагируют политические идеологии. Когда я прочитал это несколько лет назад, я увидел много параллелей» 👀

3️⃣«The Guns of August» (😳): «Это, по сути, история Первой мировой войны. Основная идея заключается в том, что кризисы происходят очень быстро, почти никто не знает, что происходит. Просчетов много, потому что в центре всех процессов находятся люди»

===
Вот такие книги рекомендует человек, который каждый день думает, как модели из лаборатории вписать в реальный мир и экономику... Всего доброго 👋

Есть что-то завораживающее в наблюдении за машиной, которая сама автономно выполняет задачи — нужно просто задать цель. Сейчас это 12%, через полгода — 30%, а с выходом GPT-5 75%....
👍