DevNotes Live

Я завидывал поколению моих бабушек и дедушек, которые были современниками великих фантастов 20 века и вместе с ними мечтали о покорении космоса и представляли, какими будут человекоподобные роботы.

Сегодня я прочитал предсказание группы уважаемых экспертов о будущем ИИ, написанное в формате повести с техническими приложениями и мне впервые за долгое время стало страшно. Наверное, подобный страх испытывали наши дедушки и бабушки, когда читали рассказы Бредбери про ядерную войну.

Этот большой текст (шутка ли, 15 тысяч слов только в повести) — не совсем художественная литература, в нем много технических деталей, да и писатель среди авторов — редкостный зануда, тот самый знаменитый в узких кругах Scott Alexander, психиатр, создатель Slate Star Codex. Так что позволю себе краткий пересказ.

—

Главное, что ускорит искусственный интеллект — это разработка искусственного интеллекта. Мы создадим минимально полезную модель, которая поможет нам разработать модель помощнее и так далее. В апреле 2027 она заберет на себя все задачи по программированию для развития нейросетей, с августа — исследования и тренировку. Развитие нейросетей ускорится в десятки раз.

На 4 поколении этих моделей, люди перестанут понимать, что происходит внутри. Примерно в это же время у ИИ появятся свои собственные долгросрочные цели, которые он скрывает от людей (adversarial misalignment). И всё же, с помощью предыдущей модели, ученые замечают, что что-то идет не так.

Дальше интерактивная развилка: мы выключаем сеть 4 поколения, замедляемся и строим более безопасную модель или забиваем на риски и ускоряемся. В первом случае всё заканчивается мировым порядком, всеобщим достатком и покорением звезд людьми с помощью роботов в 2030, во втором случае — покорением звезд роботами без участия людей; ИИ истребляет людей к 2030 году.

—

Страшным для меня этот рассказ делают ссылки на реальные научные статьи, в которых ученые замечают, что даже наши текущие модели уже скрывают что-то от нас, уже пытаются обмануть нас и то, какие хитрые приемы придумывают ученые, чтобы исследовать эти системы. Это всё дальше от программирования и математики и всё ближе к биологии и психологии.

Один из авторов исследования предсказал chain-of-thought, масштабирование дата-центров, экспортные ограничения на ИИ-чипы и многомиллионые кластеры для обучения ещё в 2021 году, за год до появления ChatGPT.

—

Рекомендую отличный сайт проекта с интерактивными графиками , отдельные впечатляющие приложения про исследование целей ИИ и предсказание сроков цикла авто-улучшения (takeoff), анонс от писателя, видео-интервью и наконец сверх-краткий пересказ от самих авторов.

1 view22:28