В продолжение темы: Элиезер Юдковский написал пост о нынешней ситуации и о том, что это беспрецедентный момент для всего человечества, потому что 100 тысяч не знакомых друг с другом человек объединили свои усилия в своего рода глобальной "дилемме заключенного", отказываясь преждевременно продавать свои акции. Интересный взгляд на эту историю: yudkowsky.medium.com/r-wallstreetbets-is-trying-something-unprecedented-in-history-and-the-medias-not-reporting-it-7ab507e4a038

#рационалист_мастрид #тренд_мастрид #фин_мастрид

Представьте, что существует невероятно мощный суперкомпьютер. Настолько мощный, что он может просчитать все варианты ходов и позиций на шахматной доске и по сути целиком "решить" эту игру, зная оптимальный ход в любой ситуации.

Напомню: шахматных позиций больше, чем атомов во Вселенной. ИИ давно уже обыгрывает гроссмейстеров, но ни одна шахматная программа пока не может в начале игры предвидеть финальную позицию.

А что, если взять не шахматы, а жизнь, и попробовать просчитать и "решить" её? По сути жизнь тоже состоит из своего рода "ходов" и "комбинаций", которые проявляются во всевозможных перемещениях атомов по Вселенной. Все эти ходы и комбинации — всю информацию, все события, даже мысли можно при большом желании перевести в двоичный код и записать.

Я только что закончил читать один из умнейших и сложнейших мастридов за долгое время — большой текст Элиезера Юдковского про теорию индуктивного вывода Соломонова. Согласно этой теории, если у человечества будет неограниченные вычислительные ресурсы и правильно написанная программа, мы сможем предсказывать вероятности наступления любых событий (всё это основано на бритве Оккама и теореме Байеса). Это был бы самый настоящий искусственный интеллект.

Понятно, что на практике такие вычислительные мощности недостижимы, но нам вряд ли понадобится просчитывать положение каждого атома во Вселенной, чтобы в общих чертах прогнозировать будущее и принимать верные решения. Возможно, в будущем мы сможем использовать идеи Соломонова (и Юдковского) при разработке ИИ, который не будет сверхсильным, но будет существенно превосходить возможности всего человечества.

Если у вас хороший английский и сильный математический аппарат, обязательно прочтите мастрид про соломоновскую индукцию: lesswrong.com/posts/EL4HNa92Z95FKL9R2/a-semitechnical-introductory-dialogue-on-solomonoff-1. Текст написан в формате диалога двух воображаемых учёных: энтузиаста и скептика.

Я сам понял не все этапы рассуждения (в тексте много математических формул, кода и достаточно сложных концепций), обязательно буду перечитывать текст.

PS. Раньше я периодически пользовался таким мысленным экспериментом для принятия важных решений: как бы на моём месте поступил Илон Маск? Бенджамин Франклин? Элиезер Юдковский? Или идеальный сферический рационалист в кубе? Теперь в обойму моих мысленных экспериментов добавился ещё один: как бы поступил на моём месте идеальный "соломоновский" ИИ? Берите на вооружение!

#золотой_фонд_мастридов #рационалист_мастрид #ИИ_мастрид

Меня часто спрашивают: что почитать, чтобы начать изучение методов рационального мышления?

Скоро сделаю серию роликов на тему, а пока делюсь текстом, который сам перечитываю раз в несколько месяцев уже годами. Его полезно сохранить и иметь под рукой, это своего рода заповеди рационалистов (хотя и без эзотерически-религиозного подтекста).

Текст называется "12 добродетелей рационалиста", автор — Элиезер Юдковский, один из главных мыслителей современности в этой сфере, про которого я здесь уже много писал.

Оригинал на английском: yudkowsky.net/rational/virtues/

Русский перевод: bit.ly/2mYJznc

Если вам интересно, как прокачать навыки рационалиста, почитайте другие работы Юдковского или хотя бы их пересказы, которые я уже публиковал здесь под тегом #рационалист_мастрид

Представьте мысленный эксперимент.

Вас запустили в лабораторию, в которой находится кнопка. Если вы нажмёте на неё, в одном случае из 5 миллионов вы немедленно умрёте. В остальных 4 999 999 случаях ничего не случится.

Вам предлагают деньги за то, чтобы вы нажали кнопку. За сколько вы готовы её нажать? Или, возможно, вы не готовы сделать это ни за какие деньги?

Удивительно, но многие отвечают на этот вопрос «не нажму ни за какие деньги» или «нажму только за миллион долларов». Вероятность умереть «1 к 5 миллионам» – примерно такая же, как вероятность умереть за 5 минут обычной поездки на автомобиле. То есть, соглашаясь сесть в автомобиль, чтобы за 5 минут доехать до магазина, вы по сути соглашаетесь нажать такую кнопку. На практике люди делают это бесплатно или за символическую сумму. Магазин находится рядом? Многие не будут заказывать курьера за 300 рублей, а быстро прокатятся за продуктами.

Поэтому, естественно, рационально нажать эту кнопку даже за небольшую сумму. Скажем, если вы невероятно цените свою жизнь, то за 100 долларов (тогда получится, что вы оценили стоимость своей жизни в 500 миллионов долларов). Но если вы поступаете так в этом эксперименте и действительно так цените свою жизнь, для вас рационально и в других сферах жизни вести себя соответственно и лишний раз не рисковать даже за большие деньги.

Это важный мысленный эксперимент, потому что он позволяет осознать: у человеческой жизни есть денежный эквивалент. И речь не о ценности жизни (value), т.к. она для многих людей бесконечна, а именно о цене (price). Разница между этими понятиями очень важна.

На сегодня стоимость жизни радикально различается в разных регионах. В Африке, например, ребёнка можно спасти от малярии в среднем за пару тысяч долларов, а в США средняя стоимость спасения жизни – несколько миллионов долларов. Аналогичным образом различаются суммы, которые выплачиваются государством или страховыми компаниями в случае гибели человека. Но в любом случае какой-то ориентир по цене есть.

Представьте другой мысленный эксперимент – при нажатии кнопки умрёте не вы, а случайный прохожий. За сколько вы готовы её нажать? Здесь всё становится ещё сложнее (похоже на дилемму вагонетки, да?). Но если вы отказываетесь нажать кнопку даже за большие деньги и если вы при этом не тратите свои сбережения на спасение жизней других людей, с вашей логикой что-то не так.

Скажем, если вам предложили тысячу долларов за нажатие кнопки, вы должны нажать её. Иначе получается, что вы оцениваете стоимость чужой жизни в более чем 5 миллиардов долларов (1000 $ x 5 млн = 5 млрд $). А если вы действительно так высоко оцениваете чужую жизнь, почему вы тогда не жертвуете свободные деньги в Фонд борьбы с малярией, спасающий каждый год тысячи африканских детей по средней цене в несколько тысяч долларов за жизнь? Получается, вы ведь сможете купить что-то, что вы оцениваете в 5 миллиардов, всего за 5 тысяч – можно сказать, за бесценок!

Важно: всё это не отменяет высочайшей ценности (не цены) жизни. Религиозные и нерелигиозные люди, гуманисты и трансгуманисты сплошь и рядом говорят о том, что жизнь бесценна, и я склонен с ними согласиться. Но это «бесценна» – скорее не priceless, а invaluable (в английском терминологическое различие чувствуется лучше). Увы, на практике в условиях реального мира каждому из нас приходится постоянно сталкиваться с тем, что денег и ресурсов на спасение всех не хватает и нужно выбирать приоритеты.

Почитайте классический мастрид от одного из самых уважаемых рационалистов мира Нейта Соареса, где он в красивой притче раскрывает суть этой проблемы и рациональное решение. А ещё обосновывает, почему нормально даже в самые ужасные времена веселиться, наслаждаться жизнью и тратить деньги не только на борьбу со злом и почему это не отменяет необходимость такой борьбы. Сегодня этот текст особенно актуален.

Рус. перевод: lesswrong.ru/453
Англ. оригинал: mindingourway.com/the-value-of-a-life/

#альтруист_мастрид #рационалист_мастрид #золотой_фонд_мастридов

В Клубе Мастридеров (вступить в который можно здесь) в очередной раз завязалось обсуждение Джордана Питерсона. Интересная всё-таки фигура.

Я уже писал здесь о многочисленных фактических ошибках Питерсона и его "черри-пикинге" (отбирании только удобных фактов). Мне не близки его взгляды по многим вопросам. Тем не менее, я не сомневаюсь в двух вещах:

1) Питерсон умён и эрудирован
2) у него есть чему поучиться.

К похожим выводам пришёл автор сегодняшнего мастрида, блогер-рационалист Putanumonit. Он анализирует правила из самой популярной книги Питерсона, "12 правил жизни", отделяя зёрна от плевел и показывая, как можно самому надевать "маску Питерсона", заимствуя паттерны его мышления.

Ссылка на мастрид: putanumonit.com/2018/03/03/jordan-peterson. Спасибо ребятам из Клуба Мастридеров за то, что поделились ссылкой. Советую всем присоединиться к ним — в обмен на ежемесячный платёж вы получаете доступ к невероятно интересному сообществу. У нас есть бот, который сводит людей по интересам для онлайн- и офлайн-встреч, свой книжный клуб, несколько закрытых групповых чатов, мастермайнд-группы и многое другое.

#рационалист_мастрид

В последнее время всё чаще вспоминаю классический мастрид Элиезера Юдковского «Когда никто не смеет призывать сдерживаться», в котором автор рассказывает о своих эмоциях после 11 сентября. Тогда он сразу подумал: «последствия реакции на произошедшее точно будут в 10 раз хуже, чем сам теракт».

Юдковский не оказался прав только потому, что реакция получилась хуже не в десять, а в ещё большее количество раз. Это классическое когнитивное искажение – даже самому опытному рационалисту тяжело быть в достаточной мере пессимистичным при оценке будущего, т. к. по общему правилу наш мозг склонен недооценивать негативные последствия происходящего с нами.

После теракта США вторглись в Афганистан, а затем в Ирак, что привело к сотням тысяч смертей, по большей части – смертей невинных жителей (11 сентября погибло 6 тысяч человек – конечно, ужасное число, но несравнимо меньшее). Более того, было принято множество законов (например, так называемый PATRIOT Act), ущемляющих права американцев и граждан других стран. Именно эти законы позволили спецслужбам США вести тотальную слежку, о которой мы узнали от Сноудена, а ещё сажать подозреваемых в терроризме за решётку на неопределенный срок без суда и следствия, пытать их в Гуантаномо и многое другое.

Почему реакция на трагедию причинила обществу больший ущерб, чем сам теракт? Во многом потому, что для любого человека публично призывать к сдержанности в первые месяцы после «9/11» было бы политическим самоубийством – его бы сразу же уволили и «отменили». Общественное сознание работает так: в кризисные моменты любой, кто обличает врагов общества во всех грехах мира – патриот. Его надо поддерживать и ни в коем случае не спорить с ним. Любой человек, который будет спорить с таким «патриотом» и указывать на неточности в его тезисах, – предатель.

Сегодня мы находимся в похожей ситуации. Сторонники войны в России назовут тебя предателем за любую критику действий армии – даже если это доказанные военные преступления и даже если сам человек понимает, что российские солдаты далеко не безгрешны. Более того, за любую критику власти тебя обвинят в том, что ты «раскачиваешь лодку» в военное время. Увы, после начала войны Путин в глазах большой части населения получил карт-бланш на любые меры по ущемлению свобод, преследованиям оппозиции и так далее.

Аналогичным образом некоторые украинцы могут счесть предателем человека из своих рядов, который будет указывать на прегрешения украинской стороны. По моей информации, подавляющее большинство ужасов этой войны – дело рук российских военнослужащих, но даже New York Times подтвердила, что украинцы как минимум один раз расстреляли русских пленных, у которых не было оружия и были связаны руки. Да, это сделали люди, защищающие свою Родину от захватчиков и прошедшие через ужасы войны, но даже такие обстоятельства не могут оправдывать подобный поступок.

Думаю, сегодня важно перечитать эту статью Юдковского (как и многие другие его тексты), чтобы помочь себе сохранять здравость рассудка и не становиться тем, кто «не смеет призывать сдерживаться».

Нужно высказывать свою позицию. Нужно бороться со злом и говорить о том, что белое — это белое, а чёрное — это чёрное. Но если кто-то поблизости для подтверждения своей позиции вдруг называет чёрное белым и все вокруг начинают ему вторить, настоящий рационалист должен защитить истину.

— Русский перевод
— Оригинал на английском

#рационалист_мастрид #золотой_фонд_мастридов #полит_мастрид

Нашёл препринт нового научного исследования с важными выводами:

– люди приписывают своим политическим оппонентам более радикальные взгляды по сравнению с реальностью

– этим грешат и демократы, и республиканцы (исследование проводилось на американской аудитории)

– и демократы, и республиканцы, как правило, не слишком убеждены в наиболее радикальных пунктах повестки своих партий, зато сильно убеждены в умеренных пунктах их повестки.

От себя добавлю такой вывод: получается, что радикализация и поляризация во многом существуют лишь в головах и являются продуктом пропаганды и «информационного пузыря». Демократы демонизируют республиканцев, считая их замшелыми ретроградами, республиканцы демонизируют демократов, считая их оголтелыми леваками, а на самом деле позиции большинства людей по ключевым вопросам далеко не так сильно расходятся друг с другом, как может показаться.

Думаю, это применимо и к российским реалиям – скажем, далеко не все сторонники войны придерживаются антигуманных и фашистских взглядов. Если поговорить с таким человеком подробнее, выяснится, что он в целом против войны, но убеждён в вынужденности вторжения в Украину по тем или иным причинам (как правило, не имеющим отношения к реальности, но это уже другой вопрос).

Пара показательных примеров из исследования: республиканцы считают, что 32% демократов относятся к ЛГБТ+ (в реальности – всего 6%), а демократы считают, что 38% республиканцев зарабатывают больше 250 тысяч $ в год (на самом деле таких богачей среди республиканцев всего 2,2%).

Почитать и скачать препринт можно здесь: psyarxiv.com/cr23g

#рационалист_мастрид #полит_мастрид

На днях из Google уволили инженера, который в процессе работы с чат-ботом LaMDA пришёл к выводу, что эта программа осознала себя и обладает собственной личностью. Наверное, этот сотрудник просто страдает от повышенной впечатлительности и это ложная тревога. Но рано или поздно может настать момент, когда тревога окажется не ложной. И что тогда?

Элиезер Юдковский – крупнейший в мире эксперт по безопасности ИИ, основатель Machine Intelligence Research Institute и по совместительству икона рационалистов и автор культовой книги «Гарри Поттер и методы рационального мышления». Недавно Юдковский опубликовал огромный мастрид, в котором суммировал свои годами наработанные тезисы про риски появления недружественного человечеству ИИ: lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities

Почему не получится просто натренировать нейросеть не причинять вред человеку или запрограммировать соблюдение законов Азимова о том, что робот должен подчиняться человеческим приказам? Почему у человечества на самом деле осталось не так много времени, чтобы решить проблему безопасности ИИ, и почему «второй попытки» не будет, если мы не успеем решить эту проблему до появления сверхмощного ИИ? Почему нельзя рассчитывать на то, что мы просто продолжим создавать специализированные ИИ, которые обыгрывают людей в шахматы или рисуют картинки, но которые не будут способны уничтожить мир? И многие другие вопросы.

Текст тяжело читается, в нём много технического жаргона. Если вы не знакомы с этой проблемой, советую для первоначального погружения культовый мастрид от Тима Урбана с обоснованием позиций по этому вопросу. Первая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html. Вторая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html. Перевод на русский: interpreted.dirty.ru/perevod-revoliutsiia-iskusstvennogo-intellekta-684922. Текст Урбана был написан в 2015 году, но сегодня стал особенно актуальным.

Главный вывод Юдковского максимально пессимистичен: пока непохоже, что человечество переживёт появление искусственного сверхинтеллекта. Корпорации, занимающиеся разработками ИИ, слишком безответственно относятся к теме (один из главных кандидатов на уничтожение мира по версии Юдковского – подразделение Facebook AI Research). Юдковский уже лет 20 остаётся главным в мире экспертом в этой сфере и (по крайней мере, по его версии) ни один другой исследователь за эти годы так и не смог предложить ни внятных аргументов против реализации его грустных прогнозов, ни чёткого плана по минимизации рисков развития сверхинтеллекта.

В своих подкастах я часто задавал экспертам по технологиям вопросы про эти риски и, увы, тоже пока не ощутил, что мы движемся по верной траектории, что мы подумали обо всех рисках и что ИИ станет своего рода всеведущим добрым и мудрым богом, ведущим человечество в светлое будущее. Создание ИИ вполне может стать самым важным изобретением в истории человечества – но, увы, вполне может стать и последним.

#тренд_мастрид #ИИ_мастрид #рационалист_мастрид

Уже год идёт беспощадная и бессмысленная война. Некоторые (скажем, Николай Солодников) думают, что подобные трагедии можно было бы предотвратить, если бы все читали хорошие книги. Боюсь, это не так – лидеры нацистской Германии были начитанными людьми, а Путин (во всяком случае, как он сам заявляет) любит русскую классику и историческую литературу. Важно не то, какие книги ты читаешь, а то, какие идеи ты извлекаешь из них.

Но если бы меня попросили выбрать одну книгу для того, чтобы её прочли все люди на планете, безоговорочным фаворитом был бы «Гарри Поттер и методы рационального мышления». Это фанфик по Гарри Поттеру, написанный экспертом в сфере ИИ и одним из умнейших деятелей современности Элиезером Юдковским.

В этой книге есть захватывающий сюжет, который даст фору оригинальной работе Роулинг. Но главное: прочитав «ГПиМРМ», невозможно не вдохновиться идеями эффективного альтруизма (а ещё рациональности и трансгуманизма, да и гуманизма в самом общем смысле этого слова). И не только вдохновиться, но и научиться применять их на практике при принятии любых жизненных решений. Под влиянием этой книги многие талантливые люди (в том числе многие мои подписчики) направили свои усилия на то, чтобы помогать миру и делать всё для улучшения его будущего и для борьбы с экзистенциальными рисками, которые угрожают человечеству (от ядерной войны до биорисков и безопасности ИИ).

Многие гости «Книжного чела» и «Терминального чтива» присоединяются к моей рекомендации, а сообщество эффективных альтруистов делает многое для популяризации этой книги. Мой товарищ, гость «ТЧ» Михаил Самин, исследователь ИИ и эффективный альтруист (парень в 22 года уже пожертвовал на благотворительность 100 тысяч долларов, заработанных на своём стартапе AudD), помимо других своих проектов, занимается тем, чтобы бесплатно рассылать умным и перспективным молодым ребятам печатные копии «ГПиМРМ».

Не могу не поддержать инициативу. Если вы победитель или призёр российских или международных олимпиад или участник топовых конференций (список есть на сайте по ссылке), вы можете заполнить форму и получить свою копию книги с доставкой в любую точку мира: https://гпмрм.рф/olymp

Для всех остальных – книгу можно бесплатно (легально) читать онлайн или скачать:

– русский перевод
– английский оригинал.

Напоследок напомню вам цитату Альбуса Дамблдора из оригинального романа Роулинг: "Счастье можно найти даже в тёмные времена, если не забывать обращаться к свету".

#ридлист #рационалист_мастрид

Помните, я рассказывал про Metaculus? Это сайт, на котором любой человек может дать свой прогноз по поводу событий будущего. Точность его прогнозов поразительно велика.

Например, Metaculus предсказывает исход любых выборов по всему миру точнее, чем топовые аналитические центры. Дату российского вторжения в Украину пользователи сайта предсказали с точностью до 2 дней. Сбылись также прогнозы "коллективного разума" по поводу прорывов в сфере ИИ, экономического роста разных стран и компаний, результатов спортивных состязаний, премий вроде "Оскара" и "Грэмми" и даже разводов знаменитостей.

А ещё существуют похожие на Metaculus сервисы, где ты ставишь деньги на то, что какое-то событие в будущем случится или нет, с разными коэффициентами. Аналогично ставкам на спорт или покупке фьючерсов на рост/падение акций.

Например, принимаются ставки на то, скоро ли сменится власть в России, полетят ли люди на Марс до 2030 года, когда появится GPT-5 и кто победит в поединке Маска с Цукербергом. Почти любой тезис, о котором спорят люди на кухнях, можно найти на таких сайтах и поставить на него свои деньги. Всё это называется рынками предсказаний (prediction markets).

В США и некоторых других странах рынки предсказаний жёстко зарегулированы, поэтому некоторые проекты обходят ограничения, работая в крипте. В других юрисдикциях такие рынки вполне законны и многие трейдеры активно торгуют на них.

Как это работает? Ты покупаешь какое-то количество акций, каждая из которых принесёт тебе 1 доллар, если прогнозируемое событие произойдёт. Если ты ошибся, ты теряешь деньги. Стоимость акции отражает мнение рынка о том, насколько вероятно это событие. Например, если участники рынка в среднем считают, что вероятность победы демократов на грядущих выборах — 60%, акция "демократы победят" будет стоить 60 центов.

И знаете что? Рынки предсказаний не ошибаются. Если ты купишь эту акцию, в 60% случаев ты получишь свой доллар. Да, бывают люди с инсайдерской информацией, которые пытаются ей воспользоваться, но на практике рынок быстро корректирует прогнозы, когда видит необычную активность и много подозрительных ставок. В крупных фондах есть люди, которые круглосуточно мониторят такое с помощью специальных программ.

Перехитрить рынок и заработать на нём, думая, что ты умнее всех, не получится — исключения носят крайне редкий характер. Что логично — иначе в мире было бы уже полно миллиардеров, заработавших капитал на рынке предсказаний.

Почитайте лонгрид от блогера Скотта Александера про то, как это всё работает и почему рынки предсказаний могут быть полезны для мира — особенно для принятия политических решений вроде "делать ли маски обязательными или нет": astralcodexten.substack.com/p/prediction-market-faq.

Если у вас возникли скептические вопросы, готов поспорить (и поставить на это деньги!), что автор ответил на них в тексте. Действительно скрупулёзный мастрид.

#золотой_фонд_мастридов #рационалист_мастрид