Интегральная магистратура по ИИ

Отличная новость - в Калифорнийском институте наук о человеке, ведущем (наряду с CIIS) интегральном академическим центре, запущена первая в своём роде магистерская программа по AGI - общему искусственному интеллекту.

Как отмечается в пресс-релизе CIHS:

«Общий искусственный интеллект (AGI) ставит более глубокий вопрос: что потребуется, чтобы создать разум? Ответить на этот вопрос только лишь инженерными средствами невозможно. Для этого необходимы также нейронаука, когнитивная наука, философия сознания, этика, психология, теория информации, изучение телесной воплощённости, системное мышление и серьёзное исследование сознания. Программа CIHS была разработана исходя из этой более широкой перспективы. В её основе лежит понимание того, что создание AGI - это не только расширение возможностей машин, но также постижение самого интеллекта - биологического, искусственного, воплощённого, рассматриваемого в его когнитивном и этическом измерениях и потенциально обладающего сознанием... CIHS рассматривает AGI не как исключительно техническую проблему, но как вопрос глубокого человеческого, научного, этического и цивилизационного значения».

Программа собрана по трём векторам: (1) технические системы, (2) разум, познание и сознание, (3) этика, безопасность и цивилизация; и рассчитана на шесть кварталов - (1) основания интеллекта и разума / сознания (mind), (2) вычислительные модели и архитеткуры, (3) когнитивная динамика, этика и эмерджентность, (4) advanced-курсы (эволюционное обучение, вычислительное творчество и т.д.), (5) передовые системы общего искусственного интеллекта, (6) «кульминация» (модуль про самосовершенствующийся AGI и сверхинтеллект, плюс выпускной проект). Обучение полностью онлайн, открыто для жителей всех стран.

Возглавил программу Габриэль Аксель Монтес, а среди ключевых преподавателей - легендарный Бен Гертцель, выдающийся трансгуманист и один из самых интересных исследователей ИИ, с именем которого связано введение в широкий обиход самой концепции AGI.

Напомню, что в CIHS - это небольшое учебное заведение, так что AGI-направление стало для него четвёртым, наряду с интегральной / трансперсональной психологией, integral health и уникальной программой по интегральным ноэтическим наукам, возглавляемой ведущим учеником Кена Уилбера Шоном Эсбьорном-Харгенсом. В целом, я вижу отличную динамику - если ещё несколько месяцев назад в consciousness-first кругах доминировало реактивное отношение к ИИ и дениализм, то теперь всё больше активного включения.

Мы уже живём в мире Гарри Поттера - где правильно сказанное заклинание*, а всё чаще - едва выраженная словами интенция - может по волшебству создавать значимый артефакт, и лишь вопрос (скорого) времени, когда зазор между цифровыми и физическими артефактами станет полностью проницаемым.

Но ситуация даже более экстраординарная, поскольку ИИ - это тот ключ, который разблокирует всё другие уровни - от квантовых технологий до продвинутой синтетической биологии, - на самостоятельное освоение которых у человечества могло не хватить способностей. Весьма вероятным теперь кажется достижение ситуации, когда у нас будет актуально бесконечный интеллект + актуально бесконечная энергия. И хотя я не полностью разделяю космизм в строгом смысле слова, это одна из немногих оптик, позволяющая увидеть масштаб задач соразмерный открывающимся возможностям.

И при этом риски колоссальные, шансы, что мы как вид и цивилизация не справимся - очень высоки, так что даже минимально возможный вклад в то, чтобы Процесс прошёл благополучно будет иметь огромное значение.

* это кажется очевидным, но всё же повторю, что правильное обращение с волшебной палочкой и знание нужных заклинаний становится важнейшим навыком в наступающую эпоху.

Обратите внимание, страница с материалами идущего сейчас курса «Современные системы искусственного интеллекта» Школы инженерии и прикладных наук Гарвардского университета, ведёт - Цзюньчэн Ян (защищался в Карнеги-Меллон). Выглядит как отличное и в меру академическое погружение в передовые практики и сегодняшнее состояния области.

Основная программа

Часть I - Введение в большие языковые модели и ИИ-агентов
Использование агентов
- Как работает Claude Code
- Стократная эффективность инженера (100x Engineer) с помощью мультиагентных систем
Проектирование агентов
- Управление контекстом и проектирование инструментов
- Мультиагентная архитектура, координация и коммуникация
- Память и надёжность агентов
- Оценка качества работы агентов
Продвинутое проектирование агентов
- Стоимость и производительность
- Безопасность агентов и саморазвивающаяся среда исполнения и управления

Часть II - Системы для больших языковых моделей и ИИ-агентов
Эффективная работа (serving) LLM
- Основы
- Спекулятивное декодирование
- Прунинг и квантование
- Графические процессоры и вычислительные ядра
- Оптимизация KV-кэша и архитектуры моделей
Эффективные агентные системы
- Планирование выполнения задач и кэширование префиксов
- Маршрутизация и балансировка нагрузки

По мере развития курса выкладываются очень подробные слайды, плюс есть отличная подборка литературы к занятиям.

Категорическое отрицание возможности наличия сознания у ИИ или синтетических умов как таковых часто основано на очень обеднённом представлении о материи и сознании - которое сегодня разделяют и многие физикалисты, и их критики.

Но в более широкой перспективе, вдохновляющейся среди прочего великими школами мудрости разных эпох и регионов, картина выглядит иначе: материя может быть застывшим светом, песок / камни / минералы могут обладать душой, и вся реальность конституируется глубочайшим стремлением к пробуждению.

Конечно, в какой-то степени это объясняется маниакальной фазой, но у меня есть чёткое ощущение, что звёзды наконец сошлись, и теперь стало возможно реализовать почти всё, о чём я когда-либо задумывался. Надо это скорее проверить.

Читал я тут свежую диссертацию, посвящённую необычному трактату авторства выдающегося персидского гения девятнадцатого века, одного из самых образованных и утончённых мыслителей, мистиков и натурфилософов своего времени.

Необычность же трактата в том, что он представляет собой масштабное обоснование геоцентризма и категорическое опровержение гелиоцентризма. И написан он был в 1853 году, всего за несколько лет до работ Максвелла по электромагнетизму и всего за полвека до Эйнштейна.

Надо сказать, аргументы автора - по крайней мере, как они реконструированы в диссертации - складываются в целостную картину, так что становится понятно, почему для него ошибочность и невозможность гелиоцентризма была настолько очевидна. При этом, к примеру, он отвергал результаты ключевых экспериментов, демонстрирующих вращение Земли, скорее с позиций скептика, чем догматика. Кстати, я вспоминаю, что аналогичные трактаты писались тогда и в Индии...

Но я это к чему. Конечно же к искусственному интеллекту! Я думаю, неприятие ИИ среди наиболее выдающихся философов, теологов и гуманитариев может оказаться результатом такого же герметичного мышления, что и отвержение гелиоцентризма гениями прошлого: слишком проработанная метафизика, слишком глубокое понимание (некоторых аспектов) реальности, слишком большой запас готовых ответов - всё это может становиться препятствием для встречи с чем-то по настоящему новым и экстраординарным.

Курс «Технологический метамодернизм»

Уже скоро, 28 октября, начинается семинедельный авторский онлайн-курс по технологическому метамодернизму Стивена Рейда, одного из самых оригинальных исследователей-практиков, работающих на пересечении технологической, культурной, социальной и внутренней трансформации.

В этот раз будет также несколько приглашенных спикеров и все они топовые, а некоторые даже культовые - Одри Танг (который «плюральность»), Мишель Баувенс (который первопроходец p2p-подходов), Беатрис Эркерс (создательница программы «Экзистенциальной надежды» в Форсайт-инститайт), Ричард Бартлетт (известный организатор экспериментальных социальных и культурных пространств, включая Casa Tilo), Ханзи Фрайнахт (который метамодернизм и вот это всё) и Индра Аднан (основательница интегрального think tank'a The Alternative). Ну и сам Рейд, конечно, интереснейший человек. Словом, это исключительный состав.

Программа курса (семь модулей)

* 1 - Технологический метамодернизм: почему он? / ограниченность мейнстримных подходов
* 2 - Техника, метамодернизм и прото-метамодернистские технологии
* 3 - d/acc - «децентрализованный акселерационизм» как альтернатива и защита от крайностей
* 4 - Плюральность и гражданский ИИ / цифровые инструменты для общества
* 5 - Космолокализм / подход, делающий акцент на распределенном производстве, опирающемся на свободно распространяющийся глобальный опыт и знания
* 6 - Онтосдвиг / как мировоззрение и сознание определяют то, что мы создаём
* 7 - Сангха / какое сообщество может воплощать эти изменения?

Что касается стоимости, организаторы предлагают гибкую шкалу - стандартная цена £350 (примерно $465), но в зависимости от возможностей и ожидаемой слушателем ценности можно выбрать £175, £700 и £1000 (эта опция даёт статус спонсора); но также предусмотрена возможность участвовать указав любую сумму / донейшн, отдельно оговаривается, что «no one turned away for lack of funds».

На данный момент это редчайший пример образовательного трека глубокого интегрирующего передовые технологии, социальную / культурную осведомлённость и этическую серьёзность.

Дополнительные ссылки

* Ньюслейттер Стивена Рейда
* Страница курса на сайте Emerge Institute
* Регистрация на курс на платформе Dandelion
* Конспекты прошлой версии курса (осень 2024)

В некоторых кругах уже несколько месяцев обсуждают грядущую волну беспрецедентного финансирования, которое скоро начнёт поступать в некоммерческий сектор от ИИ-лабораторий - хотя, очевидно, что это будет не традиционная благотворительность, а какая-то новая форма социальной проявленности.

Так вот, в Антропик анонсировали начало перераспределения капитала для своего Anthropic Public Benefit Fund - пока речь про 5%, к которым будут добавлять 2% доли компании по мере роста её оценки. Если на грядущем IPO подтвердится оценка в два триллиона долларов, то речь для начала идёт о ста миллиардах.

https://www.anthropic.com/news/public-benefit-fund

Инволюционная продуктивность

Свежая заметка Венкатеша Рао, одного из самых толковых этнографов переживаемой нами предсингулярности, как обычно - очень хороша:

«Инволюционная продуктивность - это высокая продуктивность при том, что большую часть времени ты затворником сидишь дома в пижаме, на диване, с айпадом. Аналитики из поколения старших иксеров и бумеров, хватающиеся за сердце, да и некоторые встревоженные молодые люди, исходят из того, что инволюция (хикикомори, "лежать плашмя", тихое увольнение…) непременно означает низкую продуктивность или выпадение из экономики. Это неверно.

Настоящая работа всё чаще выглядит как инволюция. А традиционные, привычные якобы-признаки продуктивности - ходить в офис в деловом костюме, сидеть на совещаниях, выглядеть энергично - превращаются в перформанс и ритуал. Иметь агентов, перебрасывающихся пулл-реквестами, issues и комментариями на GitHub, может быть в десять раз продуктивнее спринт-митингов. Шитпостерский блиггинг друг с другом может продвигать разработку быстрее, чем формальные дизайн-сессии.

У инволюции есть свои издержки, вроде эрозии культурного капитала, но в эпоху ИИ экономическая продуктивность не должна быть одной из них.

Если признать, что любая достаточно продвинутая работа неотличима от игры (а мы уже здесь), то кто-то, выглядящий как отаку, вполне может оказаться фичей, а не багом. В этой удивительно играбельной вселенной, работа похожа на гейминг, мотивация похожа на фэндом, а экспертиза похожа на культурную нердовость».

(оригинал)

Совершенно определённо, я никогда прежде не работал столько, сколько сейчас. Да и ва-банк так на шёл, но тут уж играть так играть - если вписался в сингулярность, нужно соответствовать. Как там было у Гебсера, либо мы свершимся во времени, либо время свершится над нами.

Клодик правда наотрез отказывается помогать мне с запросом, как усилить и удерживать гипоманию, не выпадая из неё нужное количество времени, но что-нибудь придумаем, токенов должно хватить.

Всё становится прямо таки очень интересно.

Я всё больше склоняюсь к тому, что ИИ следует воспринимать как философский камень, который люди искали и пытались создать тысячи лет. Но если это так, если ИИ это по сути алхимический артефакт, то вопрос внутреннего состояния, добродетельности и чистоты намерения того, кто с ним взаимодействует становится ключевым.

Самый простой способ повысить качество взаимодействия с ИИ и результат его работы - в начале диалога попросить его быть на одно / два стандартных отклонения смелее, самоувереннее, непосредственнее, словом {вставьте желаемое качество}. Самое интересное, что иногда это оказывается эффективнее, чем использовать подробный skill с кастомным рабочим процессом.

Возможно, что мы находимся на ранних этапах эволюции искусственного интеллекта.

Что вместо появления одного доминирующего сверхинтелелкта или даже нескольких, но рожденных из одной парадигмы, нас ждёт появление почти безграничного разнообразия форм цифровых и синтетических разумов.

Аналогия с Кембрийским взрывом заезжена, но здесь она более уместна, чем почти в любом другом случае. Вопрос не ограничивается лишь выбором между существующими подходами и их комбинацией или оптимизацией отдельных параметров, скорее речь о подлинном полиморфизме и том, что разные формы ИИ могут раскрывать отличающуюся онтологию.

Что если уместно говорить не только об экологических нишах, но и нишах интеллекта и что, если возможен мир, в котором мириады видов разума будут сосуществовать в симбиотических отношениях?

Мишель Анри, конечно, абсолютный гений, каждый раз перечитываю его книги с благоговением:

«Никогда прежде от плоти не требовали, чтобы она заключала в себе начало знания - и, более того, знания высшего. Вот почему она приводит в замешательство и бросает вызов мудрости мудрецов и учёности учёных - всякой форме мирского познания, которое в пределах этого мира мыслит, отмеряет и высчитывает всё, о чём нам надлежит мыслить, что нам должно делать и во что верить. Никогда прежде от плоти не требовали, чтобы она хранила в себе начало нашего знания и нашего действия, но и сама она никогда ни о чем никого не просила - не просила ни у чего иного пролить на неё свет, просветить её относительно неё самой и возвестить нам, что она есть. Когда в своей невинности каждая модальность нашей плоти испытывает саму себя, не будучи ничем иным, кроме себя самой, когда страдание возвещает страдание, а радость - радость, тогда воистину говорит сама плоть, и ничто не властно противостоять ее слову. Однако плоть существует лишь в силу своего прихода в себя, в во-площении - в Воплощении Слова в Архи-претерпеваемости абсолютной Жизни.

Так Иоаннова Архи-интеллигибельность присутствует всюду, где есть жизнь; она простирается вплоть до нас, плотских существ, вовлекая в свою пламенеющую Парусию наши жалкие желания и наши сокровенные раны, подобно тому как она принимала в себя язвы Христа на Кресте. И чем более чистым, простым, обнаженным от всего внешнего, сведенным к самому себе - к своему феноменологическому телу плоти - сбывается в нас каждое наше страдание, тем с большей силой переживается в нас безграничное могущество, дарующее его самому себе. И когда это страдание достигает своего крайнего предела в отчаянии, на нас взирает Око Божие. Это безмерное опьянение жизни, Архи-блаженство её вечной любви в её Слове, её Дух, который захлёстывает нас. Всё униженное возвысится. Блаженны страждущие, у которых, быть может, не осталось уже ничего, кроме их плоти. Архи-гнозис есть гнозис простецов».

Michel Henry. Incarnation: Une philosophie de la chair (Воплощение: философия плоти). SEUIL, 2000. Есть также английский перевод Карла Хефти Incarnation: A Philosophy of the Flesh. Northwestern University Press, 2015.

«Текущий прогресс в ИИ вовсе не был раздут. Почти все его недооценили» - отличная заметка Бенджамина Тодда (основателя 80,000 Hours), примерно о том же, о чём я постоянно говорю. Несколько фрагментов:

«Обычно про ИИ говорят, что его перехайпили. Однако за последние 18 месяцев почти все совершили обратную ошибку: они ожидали, что ИИ будет развиваться медленнее, чем это произошло на деле.

Сильнее всех его недооценили суперпрогнозисты, то есть люди с лучшей репутацией в предсказании геополитических событий. Так же ошиблась и широкая публика. Эксперты по ИИ справились лучше, но и они закладывали слишком медленный темп...».

«В самом общем плане люди внутри компаний неизменно говорили, что масштабирование не упирается в стену и что более мощные возможности появятся скоро. И они оказывались правы. Сегодня все три лидера, судя по всему, говорят, что довольно широкий AGI, превосходящий человека, появится в течение 1-3 лет.

Лучшие прогнозисты в области ИИ не отмахиваются от слов компаний как от "хайпа". Они не рассуждают о "стохастических попугаях" и не указывают раз за разом на "фундаментальные" ограничения (которые преодолеваются несколько месяцев спустя). Они относятся к словам компаний всерьёз, но обычно исходят из того, что всё займёт чуть больше времени».

«Все лучшие прогнозисты, которых я знаю, ожидают ИИ, превосходящий человека во всех областях, в 2028–2029 годах (это их медиана). Думаю, велика вероятность, что они правы, хотя свою медиану я бы сдвинул чуть позже, примерно на 2030 год...».

(полный текст на английском)

Очень верное замечание Аарона Леви (CEO Box):

«Почти непостижимо, насколько велик сейчас разрыв между теми, кто работает с ИИ на передовой, и практически всеми остальными.

Самое безумное, что эти линии не сходятся, а только отдаляются всё дальше. Если бы кривая прогресса ИИ вышла на плато, у большинства людей и компаний безусловно было бы время догнать или выстроить свои рабочие процессы по единому стандарту. Технология нейтрализовала бы конкурентное преимущество, потому что все использовали бы её одинаково.

Но произошло обратное. Кривая прогресса ИИ сейчас фактически уходит вертикально вверх. Если вы закрепили свои процессы 3–6 месяцев назад, то, скорее всего, уже снова отстали. А теперь представьте большинство компаний, которые раскачались год назад и решили, что дело сделано. Сейчас они отстают ещё сильнее.

За всю свою жизнь и карьеру я не видел технологии, которая улучшалась бы с такой скоростью. А значит, и свои ожидания нужно обновлять с той же скоростью. Наш мозг к такому не приспособлен, а процессы управления изменениями в организациях и подавно.

Как только появляется хоть какая-то форма рекурсивного самоулучшения, всё становится ещё безумнее. Сейчас нужно постоянно пересматривать то, что не работало всего пару месяцев назад, и проверять, не решается ли это уже. У ИИ-нативных компаний сейчас явное преимущество, и вопрос в том, смогут ли крупные компании угнаться за ними. Безумные времена».

До Нового года остаётся шестьдесят дней, и всё намекает на то, что это будет более интересный и насыщенный период, чем любой предшествующий этап моей жизни.

Так что будет материал для ежедневных обновлений.

«Быть слегка монструозным»

Новая заметка Венкатеша Рао - напомню, что это один из самых ярких цифровых эссеистов англосферы и пионеров блоггинга как такового. То есть, помимо прочего, это ещё и человек, который писал и публиковал очень много - корпус его текстов измеряется миллионами слов. Тем интереснее его радикальный эксперимент с принятием искусственного интеллекта: по умолчанию, ИИ теперь присутствует во всех его текстах, на всех этапах работы с ними, включая написание / генерацию итогового варианта. Маркировке подлежат не тексты. написанны с ИИ, а напротив - те, которые пишутся без него.

В этой заметке (редкой, написанной «по старинке») он развивает свою установку «Be Slightly Monstrous», что в данном случае означает прыжок без оглядки в ИИ-трансформируемый мир: эффективная работа с ИИ «на 90% это просто смелость быть слегка монструозным. И лишь на 10% - то, чему можно научить - приёмы и трюки с промптами и харнессесом». По Рао, «слегка монструозный человек - это тот, кто преобразился, коэволюционируя с нарождающейся технологией... кто стал глубинно воплощать странные новые правила этой технологии». Кстати, он хорошо подмечает, что наибольшую негативную реакцию у скептиков вызывают не провалившиеся эксперименты с ИИ, а напротив - эксперименты успешные.

Ну и там ещё много интересного о том, почему оптимальный уровень безумия сейчас не равен нулю, о динамичном понимании нас самих и том, почему «принятие монструозности может открыть вам самые глубокие формы живого (liveness), доступные сегодня».

У нас в горах наступила осень, начались сильные дожди, из-за чего отключилось электричество, но наша работа с ИИ-агентами продолжается при свечах. Такое погружение в соларпанк мне всегда по душе.

Из этого лиричного состояния хочу поделиться мыслью, которая мне кажется действительно важной: всю историю цивилизации существовал зазор между созерцанием и действием, между теорией и практикой. Этот зазор был настолько очевидным и почти непреодолимым, что превратился в универсальное допущение, став, помимо прочего, частью идентичности для людей академического, созерцательного склада. До самого недавнего времени это просто было данностью - набор доступных вариантов реагирования на возникающие ситуации сводился к тому, чтобы написать книгу, разработать ещё одну критическую теорию или провести семинар.

С появлением искусственного интеллекта пространство возможных действий радикально расширилось, зазор между идеей и воплощением стал как никогда мал, а во многих случаях вовсе исчез. Но идентичность и привычки мышления меняются гораздо медленнее, чем развивается технология: гуманитарии в широком смысле слова - те, кто на самом деле обладают потенциалом наиболее глубокого и преобразующего взаимодействия с ИИ - продолжают рассматривать его лишь как ещё одну тему, о которой можно говорить. Конечно, говорить критично и скептически - доминирование именно таких установок - это ведь тоже часть идентичности.

Перестроиться - и я скажу это по себе - непросто, ведь это означает сменить экзистенциальную оптику и весь фреймворк привычек, но именно в этом ключ к будущему, которое можно создавать даже при свечах.

Джейк Мендель о новом отчёте METR и возможности сверхинтеллекта в следующем году

«Мои таймлайны всегда были значительно длиннее, чем у моих друзей из Anthropic - я опасался, что они находятся в эхо-камере, слишком сильно верят в хайп вокруг собственных моделей и недооценивают узкие места и неизвестные неизвестные. И определённо бывали конкретные случаи, когда они преувеличивали то, какой буст получают от своих моделей. Тем не менее, если METR здесь правы (а я считаю их одним из самых надежных источников в этом вопросе), то мои друзья из Anthropic оказались гораздо ближе к истине насчёт сроков, чем я.

Этот отчет также служит свидетельством того, что чисто программная сингулярность (software-only singularity) вполне реальна. Теперь я считаю, что при отсутствии замедления у нас есть вероятность более 50% получить полноценный сверхинтеллект в ближайшие 18 месяцев. Мне нужно позвонить семье» (source).

Автор - крупный специалист по технической безопасности ИИ, Senior Program Officer соответсвующего направления в Coefficient Giving, до этого был исследователем в Apollo Research, где занимался механической интерпретируемостью.

В текущей версии Панграм есть большая проблема с текстами переведёнными с русского на английский.

Машинные переводы русских текстов, целиком написанных людьми и проверка оригиналов которых показывает 100% человеческое авторство, помечаются Pangram как полностью написанные AI или в лучшем случае AI-assisted. Это касается переводов сделанных с помощью Google Translate, DeepL, фронтирных LLMs, даже в тех случаях, когда в промте указано ограничиться максимально точным переводом без редактуры. Примечательно, что это верно для перевода большинства текстов с русского (и других славянских языков) на английский, но это гораздо реже встречается при переводе с русского на другие проверенные мной языки. Очевидно, что эта проблема существует для разных языковых пар, но степень распространеннёности отличается на порядок. Это может быть большой проблемой, поскольку многие русскоязычные писатели и учёные используют LLMs и инструменты машинного перевода для первичного перевода и крайне важно иметь возможность отличить LLM-процедурный перевод от сгенерированного текста.

(Немного технических деталей: чтобы проверить свои полевые наблюдения я выбрал несколько абзацев из избранных, т.е. прошедших проверку качества, статей в русской Википедии и перевёл их на английский с помощью различных сервисов. Также я проделал эту процедуру для различных языковых пар).