Андрей Макаревич пофристайлил с нами под сэмпл «Машины Времени» в подкасте «Терминальное чтиво»! Мы приехали к нему в гости в израильскую Нетанию и записали два подкаста — только что вышел первый из них.

Подкаст насыщен музыкальными, художественными, политическими и другими инсайтами. Как гость стал иностранным агентом? Должен ли художник быть голодным? Как поймать вдохновение? Счастлив ли Андрей Макаревич?

Включайте сами и показывайте родителям!

Видеоверсия: https://youtu.be/G13egV2CbjE

Слушайте подкаст в аудио на всех подкастинговых площадках (ссылки — ниже) либо прямо здесь, в телеграме (аудиофайл — ниже).

#терминальное_чтиво

Инфографика с 50 сценариями того, как ИИ может уничтожить человечество, от Алексея Турчина (известный русский трансгуманист, некоторые статьи которого я здесь публиковал).

Завтра на Ютюбе выйдет мой ролик про риски развития ИИ. Пожалуй, самое важное видео за всю историю канала. Обязательно посмотрите.

#ИИ_мастрид

Думаю, это самый важный ролик за историю моего канала. Много лет я хотел его сделать и наконец собрался.

Сегодня средний прогноз от экспертов по дате создания общего ИИ (AGI, Artificial General Intelligence) — 2026 год. Уже через 3 года на планете может появиться создание, превосходящее человека практически во всём. К сожалению, есть серьёзный риск того, что такой ИИ уничтожит всю нашу цивилизацию.

Смотрите новый выпуск шоу «Мастриды» с анализом этого вопроса и аргументов за и против: https://youtu.be/8DW3i42irEs
Кстати, оцените дип-фейки и другие нововведения монтажа!

#мастриды #ИИ_мастрид

Бродский как-то сказал: "Поэзия не развлечение и даже не форма искусства, но, скорее, наша видовая цель. Если то, что отличает нас от остального животного царства, — речь, то поэзия — высшая форма речи, наше, так сказать, генетическое отличие от зверей".

Сегодня мало кто подписался бы под этими словами. Хотя некоторые гости моего шоу "Книжный чел" говорили о поэзии как об ультимативном способе постижения этого мира. Мол, только поэт может дистиллировать эссенцию прекрасного (или ужасного) и позволить своим читателям к ней приобщиться, ощутив некое божественное откровение.

Здесь я бы поспорил. Кажется, в этом плане сегодня роль поэзии выполняет что угодно, но не стихи. Колкая 140-символьная реплика в чьём-нибудь твиттере. Психоделичный рисунок, сделанный нейросетью по промпту молодого техноэнтузиаста. Burning Man. Перформансы. Политические акции. Подкасты. И это я ещё не говорю о рэпе.

Я настороженно отношусь к любой современной поэзии, да и вообще не очень представляю, какой она должна быть в 2023 году. Поэтому, когда ко мне обратились за рецензией поэтического сборника молодого автора Ромы Гонзы "Панк и морок", я сначала подумал, что никакой рецензии писать не буду. Но решил дать панкам шанс, вчитался и втянулся.

Что понравилось? Сложно пересказывать поэзию (как известно, это примерно как танцевать об архитектуре). Лу Рид и Иэн Кёртис вперемешку с группой Бурзум. Наркотики, митинги, полицейское государство, смелая и местами неполиткорректная лирика. Непохоже на большинство современных поэтов – слишком уж они экзальтированы и рафинированы, слишком "играют в поэтов". В "Панке и мороке", напротив, чувствуется отсутствие какого-либо позёрства. Вместо него есть хлесткие строки и тестостероновая злость. Уже после прочтения сборника я узнал, Рома дружит и сотрудничает с командой проекта moloko plus (если не знаете, кто это, загуглите) – и действительно, с точки зрения энергетики и позиционирования многое у ребят совпадает. Всё контркультурно, искренне и при этом интеллектуально.

В общем, почитайте, если хотите посмотреть на достойный пример современной поэзии. Интересно стало, какие стихи напишет Рома о нынешней войне, если будет писать. Будем ждать.

Приобрести книгу можно написав автору или на сайте.
А также 25 марта на поэтическом вечере в Санкт-Петербурге в Depeche Mode Bar.

Классный новый эксперимент по тестированию границ допустимого для нейросетей поставил Анатолий Капустин, несколько раз бывший в гостях «Терминального чтива»: daily.afisha.ru/news/74246-kiberoruzhie-i-smert-millionov-bloger-anatoliy-kapustin-razgovoril-chatgpt-na-opasnye-temy/

Но всё же напомню, что риски для нас исходят не от GPT, а от общего ИИ, который может появиться уже через пару лет. Подробнее об этом — в моём сегодняшнем ролике: https://youtu.be/8DW3i42irEs. Посмотрите обязательно.

#ИИ_мастрид

«Представьте, что вы готовитесь сесть в самолёт, и 50% инженеров, которые его построили, говорят: есть десятипроцентный шанс, что он упадёт и всех убьёт».

Кстати, скоро запишем подкаст о безопасности ИИ с Мишей Саминым. Задам ему все вопросы от скептиков!

Кто ещё не посмотрел мой сольный ролик на тему, рекомендую начать с него: https://youtu.be/8DW3i42irEs

Как я писал, форкастеры на Metaculus недооценили возможность новых скачков. Медиана даты weak AGI на Metaculus опустилась до 2025 — по лучшей существующей оценке, вместо десяти лет осталось два с половиной года.

(В мае прошлого года я предсказал там 2026 и заморозил возможность изменять предсказания, чтобы получить доступ к оценке алгоритмами Метакулуса. Пару недель назад медиана сообщества в этом вопросе впервые опустилась ниже моей.)

Никто всё ещё не знает, как решить проблему алайнмента и предотвратить уничтожение человечества.

Я не думаю, что посты тут что-то изменят, но делиться происходящим и пытаться, наверное, стоит: слишком многое на весах.

Не то чтобы эта проблема вне мейнстрима.

Часть людей, работающих в OpenAI, Anthropic, DeepMind понимают проблему. Общался с работающим там профессором computer science, думающим, что вероятность уничтожения человечества искусственным интеллектом — 80% (и оставшиеся 20 вытекают, прежде всего, из возможности координации человечества, которая дала бы несколько десятилетий); с работающими там ребятами, рассказывающими, что в их компаниях решения о релизе технологий принимаются раньше запланированного, потому что становится известно о разработке подобных технологий в других компаниях (даже если в других не планировалось делать релизы). Общался с Юдковским, который выглядит, как сдавшийся учёный из Don’t Look Up. Он действительно подумал вообще обо всём, что могло бы помочь, и не видит реалистичных идей, как за оставшееся время может найтись решение проблемы (зато видит причины, некоторые из которых независимо приводят к уничтожению человечества).

При этом в тех же компаниях есть сотни ML-инженеров, которые получают удовольствие от успехов обучения и из-за устройства фидбек-лупов даже не погружаются в проблему.

Почти половина из них всё равно считает (NYT), что вероятность уничтожения человечества ИИ — >10%. «Представьте вы готовитесь сесть в самолёт и 50% инженеров, которые его построили, говорят, есть десятипроцентный шанс, что он упадёт и всех убьёт», — говорят на NBC. «Несёмся ли мы к вызванной ИИ катастрофе?», — спрашивает Vox. Статью за статьёй пишут в TIME.

Билл Гейтс пишет, что ИИ — одна из двух технологий, демонстрации которых кажутся революционными; первой были графические интерфейсы. Он читал Superintelligence Ника Бострома и упоминает риски, но кажется, не понимает масштаб проблемы и насколько всё не под контролем.

Примерно во времена выхода книги Бострома, Стивен Хокинг говорил, что “The development of full artificial intelligence could spell the end of the human race”.

Илон Маск послушал в 2015 аргументы Юдковского и сделал ровно наоборот, основав OpenAI — компанию, из-за которой и из-за исходного подхода которой времени на решение проблемы осталось гораздо меньше.

Но это всё совсем не похоже на мир с шансом координации (например, в котором работники правительств внезапно вспоминают, что у них есть дети, для которых они хотят будущего, и начинают делать что-то разумное и работающее). Человечество провалило коронавирус, и даже не подготовилось достаточно к будущем пандемиям. В случае с ИИ, стимулы гораздо хуже устроены: пока самолёт не запущен и не рухнул, строительство всё более и более похожих на самолёт систем приносит больше и больше денег.

Есть десятки исследователей, занимающихся полезным рисёрчем в этой области (у которого не хватит времени, но нужно больше рук и попытаться стоит); ; есть десятки пытающихся наткнутся на что-то полезное или улучшить понимание проблемы, что неплохо, если только не сокращает таймлайны; и есть десятки ошибочно полагающих, что у их идей есть шансы решить проблему.

Этого всего совершенно недостаточно.

Я совершенно не удивлюсь, если в ближайшие 10 лет человечества — и всего того огромного будущего, что могло бы быть — не станет.

Подписчик прислал благодарность за мой свежий ролик от GPT-4. Смех сквозь слёзы)

Хороший пример того, как, вовремя подсуетившись, можно заработать хорошие деньги благодаря ChatGPT: https://habr.com/ru/news/t/724756/

Лайк, если уже используете ИИ в работе или бизнесе! Мы с командой уже давно активно это делаем, скоро будет больше контента на тему.

#ИИ_мастрид

Павел Комаровский с канала @RationalAnswer со своим соавтором Игорем Котенковым выпустили классный лонгрид про то, как работает GPT-4, что она умеет, как поменялась её начинка, и почему их пугают некоторые её наклонности.

Мастрид: vc.ru/future/638108-gpt-4-chemu-nauchilas-novaya-neyroset-i-pochemu-eto-nemnogo-zhutkovato

И советую ещё один материал от этого же канала: объяснение принципа работы ChatGPT.

Оба текста — одни из лучших объяснений на русском языке по теме.

Всем советую канал Павла @RationalAnswer. Ещё, кстати, я приходил к нему на большое интервью пару лет назад, интересно поговорили тогда о книгах, эффективном альтруизме и продуктивности — посмотрите, если пропустили.

#ИИ_мастрид

В новом выпуске израильского сезона «Терминального чтива» легендарный поэт Игорь Иртеньев делится любимыми русскими рэперами, блогерами и журналистами. А ещё рассуждает о русской культуре, светлом (или не очень?) будущем и многом другом.

Часовой дип-толк на самые разные темы с легендой русской поэзии, обязательно к просмотру: https://youtu.be/FoLnz3xwOik

Слушайте подкаст в аудио на всех подкастинговых площадках (ссылки — ниже) либо прямо здесь, в телеграме (аудиофайл — ниже).

#терминальное_чтиво

Очень многие уважаемые люди присоединились к призывам остановить разработки новейших нейросетей, пока не будут выработаны жесткие стандарты безопасности в этой сфере. Илон Маск, Стив Возняк, Тристан Харрис (главный в мире эксперт по digital well-being), разные инженеры из компаний Долины (включая ФБ и Гугл). Только вот сотрудников Open AI в этом списке нет.

Огромные деньги (а здесь на кону триллионы) приводят к изменению мышления — всё как проповедуют коучи осознанности и прочие «наставники экспертов». Только вот в нашем случае, увы, мышление изменяется в сторону меньшего беспокойства о рисках и больше — о прибылях.

https://techcrunch.com/2023/03/28/1100-notable-signatories-just-signed-an-open-letter-asking-all-ai-labs-to-immediately-pause-for-at-least-6-months/

#ИИ_мастрид

Новый выпуск шоу «Книжный чел»!
Вместе с филологом, лауреатом премии "Просветитель" Александром Пиперски целый час пытаемся не использовать заимствованные слова. Спойлер: это практически невозможно.

Как правильно — крИнжа или кринжА? Что делать с новым законом о защите русского языка? А как с этим на Западе? Кто круче — филологи и нейросети? Как работает ChatGPT с точки зрения компьютерной лингвистики?

Маствотч: https://youtu.be/bu1-omo296s

#книжный_чел

Элиезер Юдковский, один из самых уважаемых в мире экспертов по безопасности ИИ, разразился программным мастридом: https://time.com/6266923/ai-eliezer-yudkowsky-open-letter-not-enough/. Если коротко — он считает, что предложенный во вчерашнем открытом письме 6-месячный мораторий на ИИ-разработки нам не поможет, нужны более радикальные меры, иначе всё будет очень грустно.

Перевёл для вас несколько ключевых цитат.

«Я воздержался от подписания письма, потому что оно преуменьшает серьёзность ситуации и предлагает слишком мало мер для её решения...

Многие исследователи, глубоко погруженные в эту тему (включая меня), ожидают, что самый вероятный результат появления сверхумного ИИ при текущих условиях — смерть буквально всех на планете Земля. Не «возможно, есть небольшой шанс», а «это очевидное последствие, которое нас ожидает».

Дело не в том, что невозможно, в принципе, пережить появление создания намного умнее нас (это не так). Дело в том, что потребуется филигранная точность, подготовка и новые научные инсайты…

Наиболее вероятный сценарий таков: ИИ делает не то, что мы хотим, и его вообще не заботим ни мы, ни даже существование каких-либо разумных форм жизни. В принципе, такую заботу можно было бы заложить в ИИ, но мы пока не знаем, как это сделать, мы не готовы.

Без такой заботы, мы получим сценарий «ИИ не любит тебя и не ненавидит тебя, просто ты сделан из атомов, которые ИИ может использовать для других целей»…

Чтобы представить враждебный сверх-ИИ, не нужно визуализировать безжизненного книжного мудреца, который обитает в интернете и рассылает злонамеренные имэйлы. Представьте целую инопланетную цивилизацию, которая мыслит в миллионы раз быстрее человека, изначально обитающую в компьютерах, в мире, другие жители которого непростительно глупы и медленны. Достаточно умный ИИ не будет долго влачить существование внутри компьютеров. Уже сегодня можно отправить имэйл с описанием разных цепочек ДНК в лаборатории, которые по твоему запросу произведут для тебя белки, что позволит ИИ, изначально ограниченному интернет-пространством, произвести собственные искусственные формы жизни или сразу перескочить этот этап и перейти к постбиологическому молекулярному производству.

Если кто-то создаст сверхмощный ИИ, в текущих условиях я ожидаю того, что каждый человек и все биологические формы жизни на Земле вскоре умрут.

Не существует никакого предлагаемого плана действий и плана нашего выживания на этот случай. OpenAI открыто предлагает заставить какой-нибудь ИИ будущего составить этот план вместо нас. Как только вы слышите, что это и есть план, этого уже достаточная причина начать паниковать для любого разумного человека. У другой ведущей лаборатории ИИ, DeepMind, вообще нет никакого плана».

Дальше Юдковский описывает свои предложения по глобальному ограничению разработок в сфере ИИ, но они, конечно, слишком радикальны, и никто его опять не послушает. Поводов для оптимизма немного.

Если хотите, чтобы я сделал ролик в продолжение темы, поставьте любой эмодзи под этим постом!

#ИИ_мастрид

Около года назад (ещё до релиза ChatGPT — тогда топовой нейросетью была GPT-3) я делился программным текстом Юдковского под названием AGI Ruin, пришло время напомнить о нём. Это огромный мастрид, в котором автор суммировал свои годами наработанные тезисы про риски появления недружественного человечеству ИИ: lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities

Почему не получится просто натренировать нейросеть не причинять вред человеку или запрограммировать соблюдение законов Азимова о том, что робот должен подчиняться человеческим приказам? Почему у человечества на самом деле осталось не так много времени, чтобы решить проблему безопасности ИИ, и почему «второй попытки» не будет, если мы не успеем решить эту проблему до появления сверхмощного ИИ? Почему нельзя рассчитывать на то, что мы просто продолжим создавать специализированные ИИ, которые обыгрывают людей в шахматы или рисуют картинки, но которые не будут способны уничтожить мир? И многие другие вопросы.

Текст написан непростым языком, много технических деталей. Но, думаю, его будет полезно прочесть всем. Особенно тем, кто пишет критические комментарии под моими роликами на тему о том, что это всё выдумки и что серьёзных аргументов нет.

Кстати, днях Юдковский пришел на подкаст к Лексу Фридману (мой любимый англоязычный подкастер, рекомендую). Лекс тоже эксперт по ИИ, поэтому любопытно было посмотреть на их трёхчасовой диалог по теме, рекомендую: https://youtu.be/AaTRHFaaPG8. Надеюсь, у меня тоже получится сделать выпуск с Элиезером.

#ИИ_мастрид

Съездил на днях в Аланию, чтобы посмотреть разные виллы и квартиры и сделать ролик о рынке недвижимости в Турции, Дубае, Тае и на Бали. Пообщался для этого с экспертом из индустрии Вячеславом Фоменко.

Посмотрите новый ролик, чтобы узнать, куплю ли я виллу в Турции за крипту!

Оставить заявку на консультацию по рынку зарубежной недвижимости

Телеграм-канал об актуальных объектах и предложениях на рынке недвижимости

Ютюб-канал о недвижимости и жизни в Турции и других странах

Михаил Шац в «Терминальном чтиве»!

Цензура шуток на ТНТ, изучение иврита, биохакинг (Михаил ещё и врач), планирование в эмиграции, разборки с Майком Тайсоном и много других интересных тем.

Не пропустите: https://youtu.be/reaO8itrv5A

Если неудобно смотреть видео, слушайте подкаст в аудио на всех подкастинговых площадках (ссылки — ниже) либо прямо здесь, в телеграме (аудиофайл — ниже).

#терминальное_чтиво