На днях из Google уволили инженера, который в процессе работы с чат-ботом LaMDA пришёл к выводу, что эта программа осознала себя и обладает собственной личностью. Наверное, этот сотрудник просто страдает от повышенной впечатлительности и это ложная тревога. Но рано или поздно может настать момент, когда тревога окажется не ложной. И что тогда?
Элиезер Юдковский – крупнейший в мире эксперт по безопасности ИИ, основатель Machine Intelligence Research Institute и по совместительству икона рационалистов и автор культовой книги «Гарри Поттер и методы рационального мышления». Недавно Юдковский опубликовал огромный мастрид, в котором суммировал свои годами наработанные тезисы про риски появления недружественного человечеству ИИ: lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
Почему не получится просто натренировать нейросеть не причинять вред человеку или запрограммировать соблюдение законов Азимова о том, что робот должен подчиняться человеческим приказам? Почему у человечества на самом деле осталось не так много времени, чтобы решить проблему безопасности ИИ, и почему «второй попытки» не будет, если мы не успеем решить эту проблему до появления сверхмощного ИИ? Почему нельзя рассчитывать на то, что мы просто продолжим создавать специализированные ИИ, которые обыгрывают людей в шахматы или рисуют картинки, но которые не будут способны уничтожить мир? И многие другие вопросы.
Текст тяжело читается, в нём много технического жаргона. Если вы не знакомы с этой проблемой, советую для первоначального погружения культовый мастрид от Тима Урбана с обоснованием позиций по этому вопросу. Первая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html. Вторая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html. Перевод на русский: interpreted.dirty.ru/perevod-revoliutsiia-iskusstvennogo-intellekta-684922. Текст Урбана был написан в 2015 году, но сегодня стал особенно актуальным.
Главный вывод Юдковского максимально пессимистичен: пока непохоже, что человечество переживёт появление искусственного сверхинтеллекта. Корпорации, занимающиеся разработками ИИ, слишком безответственно относятся к теме (один из главных кандидатов на уничтожение мира по версии Юдковского – подразделение Facebook AI Research). Юдковский уже лет 20 остаётся главным в мире экспертом в этой сфере и (по крайней мере, по его версии) ни один другой исследователь за эти годы так и не смог предложить ни внятных аргументов против реализации его грустных прогнозов, ни чёткого плана по минимизации рисков развития сверхинтеллекта.
В своих подкастах я часто задавал экспертам по технологиям вопросы про эти риски и, увы, тоже пока не ощутил, что мы движемся по верной траектории, что мы подумали обо всех рисках и что ИИ станет своего рода всеведущим добрым и мудрым богом, ведущим человечество в светлое будущее. Создание ИИ вполне может стать самым важным изобретением в истории человечества – но, увы, вполне может стать и последним.
#тренд_мастрид #ИИ_мастрид #рационалист_мастрид
Элиезер Юдковский – крупнейший в мире эксперт по безопасности ИИ, основатель Machine Intelligence Research Institute и по совместительству икона рационалистов и автор культовой книги «Гарри Поттер и методы рационального мышления». Недавно Юдковский опубликовал огромный мастрид, в котором суммировал свои годами наработанные тезисы про риски появления недружественного человечеству ИИ: lesswrong.com/posts/uMQ3cqWDPHhjtiesc/agi-ruin-a-list-of-lethalities
Почему не получится просто натренировать нейросеть не причинять вред человеку или запрограммировать соблюдение законов Азимова о том, что робот должен подчиняться человеческим приказам? Почему у человечества на самом деле осталось не так много времени, чтобы решить проблему безопасности ИИ, и почему «второй попытки» не будет, если мы не успеем решить эту проблему до появления сверхмощного ИИ? Почему нельзя рассчитывать на то, что мы просто продолжим создавать специализированные ИИ, которые обыгрывают людей в шахматы или рисуют картинки, но которые не будут способны уничтожить мир? И многие другие вопросы.
Текст тяжело читается, в нём много технического жаргона. Если вы не знакомы с этой проблемой, советую для первоначального погружения культовый мастрид от Тима Урбана с обоснованием позиций по этому вопросу. Первая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-1.html. Вторая часть: waitbutwhy.com/2015/01/artificial-intelligence-revolution-2.html. Перевод на русский: interpreted.dirty.ru/perevod-revoliutsiia-iskusstvennogo-intellekta-684922. Текст Урбана был написан в 2015 году, но сегодня стал особенно актуальным.
Главный вывод Юдковского максимально пессимистичен: пока непохоже, что человечество переживёт появление искусственного сверхинтеллекта. Корпорации, занимающиеся разработками ИИ, слишком безответственно относятся к теме (один из главных кандидатов на уничтожение мира по версии Юдковского – подразделение Facebook AI Research). Юдковский уже лет 20 остаётся главным в мире экспертом в этой сфере и (по крайней мере, по его версии) ни один другой исследователь за эти годы так и не смог предложить ни внятных аргументов против реализации его грустных прогнозов, ни чёткого плана по минимизации рисков развития сверхинтеллекта.
В своих подкастах я часто задавал экспертам по технологиям вопросы про эти риски и, увы, тоже пока не ощутил, что мы движемся по верной траектории, что мы подумали обо всех рисках и что ИИ станет своего рода всеведущим добрым и мудрым богом, ведущим человечество в светлое будущее. Создание ИИ вполне может стать самым важным изобретением в истории человечества – но, увы, вполне может стать и последним.
#тренд_мастрид #ИИ_мастрид #рационалист_мастрид
Уже год идёт беспощадная и бессмысленная война. Некоторые (скажем, Николай Солодников) думают, что подобные трагедии можно было бы предотвратить, если бы все читали хорошие книги. Боюсь, это не так – лидеры нацистской Германии были начитанными людьми, а Путин (во всяком случае, как он сам заявляет) любит русскую классику и историческую литературу. Важно не то, какие книги ты читаешь, а то, какие идеи ты извлекаешь из них.
Но если бы меня попросили выбрать одну книгу для того, чтобы её прочли все люди на планете, безоговорочным фаворитом был бы «Гарри Поттер и методы рационального мышления». Это фанфик по Гарри Поттеру, написанный экспертом в сфере ИИ и одним из умнейших деятелей современности Элиезером Юдковским.
В этой книге есть захватывающий сюжет, который даст фору оригинальной работе Роулинг. Но главное: прочитав «ГПиМРМ», невозможно не вдохновиться идеями эффективного альтруизма (а ещё рациональности и трансгуманизма, да и гуманизма в самом общем смысле этого слова). И не только вдохновиться, но и научиться применять их на практике при принятии любых жизненных решений. Под влиянием этой книги многие талантливые люди (в том числе многие мои подписчики) направили свои усилия на то, чтобы помогать миру и делать всё для улучшения его будущего и для борьбы с экзистенциальными рисками, которые угрожают человечеству (от ядерной войны до биорисков и безопасности ИИ).
Многие гости «Книжного чела» и «Терминального чтива» присоединяются к моей рекомендации, а сообщество эффективных альтруистов делает многое для популяризации этой книги. Мой товарищ, гость «ТЧ» Михаил Самин, исследователь ИИ и эффективный альтруист (парень в 22 года уже пожертвовал на благотворительность 100 тысяч долларов, заработанных на своём стартапе AudD), помимо других своих проектов, занимается тем, чтобы бесплатно рассылать умным и перспективным молодым ребятам печатные копии «ГПиМРМ».
Не могу не поддержать инициативу. Если вы победитель или призёр российских или международных олимпиад или участник топовых конференций (список есть на сайте по ссылке), вы можете заполнить форму и получить свою копию книги с доставкой в любую точку мира: https://гпмрм.рф/olymp
Для всех остальных – книгу можно бесплатно (легально) читать онлайн или скачать:
– русский перевод
– английский оригинал.
Напоследок напомню вам цитату Альбуса Дамблдора из оригинального романа Роулинг: "Счастье можно найти даже в тёмные времена, если не забывать обращаться к свету".
#ридлист #рационалист_мастрид
Но если бы меня попросили выбрать одну книгу для того, чтобы её прочли все люди на планете, безоговорочным фаворитом был бы «Гарри Поттер и методы рационального мышления». Это фанфик по Гарри Поттеру, написанный экспертом в сфере ИИ и одним из умнейших деятелей современности Элиезером Юдковским.
В этой книге есть захватывающий сюжет, который даст фору оригинальной работе Роулинг. Но главное: прочитав «ГПиМРМ», невозможно не вдохновиться идеями эффективного альтруизма (а ещё рациональности и трансгуманизма, да и гуманизма в самом общем смысле этого слова). И не только вдохновиться, но и научиться применять их на практике при принятии любых жизненных решений. Под влиянием этой книги многие талантливые люди (в том числе многие мои подписчики) направили свои усилия на то, чтобы помогать миру и делать всё для улучшения его будущего и для борьбы с экзистенциальными рисками, которые угрожают человечеству (от ядерной войны до биорисков и безопасности ИИ).
Многие гости «Книжного чела» и «Терминального чтива» присоединяются к моей рекомендации, а сообщество эффективных альтруистов делает многое для популяризации этой книги. Мой товарищ, гость «ТЧ» Михаил Самин, исследователь ИИ и эффективный альтруист (парень в 22 года уже пожертвовал на благотворительность 100 тысяч долларов, заработанных на своём стартапе AudD), помимо других своих проектов, занимается тем, чтобы бесплатно рассылать умным и перспективным молодым ребятам печатные копии «ГПиМРМ».
Не могу не поддержать инициативу. Если вы победитель или призёр российских или международных олимпиад или участник топовых конференций (список есть на сайте по ссылке), вы можете заполнить форму и получить свою копию книги с доставкой в любую точку мира: https://гпмрм.рф/olymp
Для всех остальных – книгу можно бесплатно (легально) читать онлайн или скачать:
– русский перевод
– английский оригинал.
Напоследок напомню вам цитату Альбуса Дамблдора из оригинального романа Роулинг: "Счастье можно найти даже в тёмные времена, если не забывать обращаться к свету".
#ридлист #рационалист_мастрид
гпмрм.рф
Получить экземпляр | Гарри Поттер и методы рационального мышления
Получить бесплатный трёхтомник «Гарри Поттера и методов рационального мышления».
Помните, я рассказывал про Metaculus? Это сайт, на котором любой человек может дать свой прогноз по поводу событий будущего. Точность его прогнозов поразительно велика.
Например, Metaculus предсказывает исход любых выборов по всему миру точнее, чем топовые аналитические центры. Дату российского вторжения в Украину пользователи сайта предсказали с точностью до 2 дней. Сбылись также прогнозы "коллективного разума" по поводу прорывов в сфере ИИ, экономического роста разных стран и компаний, результатов спортивных состязаний, премий вроде "Оскара" и "Грэмми" и даже разводов знаменитостей.
А ещё существуют похожие на Metaculus сервисы, где ты ставишь деньги на то, что какое-то событие в будущем случится или нет, с разными коэффициентами. Аналогично ставкам на спорт или покупке фьючерсов на рост/падение акций.
Например, принимаются ставки на то, скоро ли сменится власть в России, полетят ли люди на Марс до 2030 года, когда появится GPT-5 и кто победит в поединке Маска с Цукербергом. Почти любой тезис, о котором спорят люди на кухнях, можно найти на таких сайтах и поставить на него свои деньги. Всё это называется рынками предсказаний (prediction markets).
В США и некоторых других странах рынки предсказаний жёстко зарегулированы, поэтому некоторые проекты обходят ограничения, работая в крипте. В других юрисдикциях такие рынки вполне законны и многие трейдеры активно торгуют на них.
Как это работает? Ты покупаешь какое-то количество акций, каждая из которых принесёт тебе 1 доллар, если прогнозируемое событие произойдёт. Если ты ошибся, ты теряешь деньги. Стоимость акции отражает мнение рынка о том, насколько вероятно это событие. Например, если участники рынка в среднем считают, что вероятность победы демократов на грядущих выборах — 60%, акция "демократы победят" будет стоить 60 центов.
И знаете что? Рынки предсказаний не ошибаются. Если ты купишь эту акцию, в 60% случаев ты получишь свой доллар. Да, бывают люди с инсайдерской информацией, которые пытаются ей воспользоваться, но на практике рынок быстро корректирует прогнозы, когда видит необычную активность и много подозрительных ставок. В крупных фондах есть люди, которые круглосуточно мониторят такое с помощью специальных программ.
Перехитрить рынок и заработать на нём, думая, что ты умнее всех, не получится — исключения носят крайне редкий характер. Что логично — иначе в мире было бы уже полно миллиардеров, заработавших капитал на рынке предсказаний.
Почитайте лонгрид от блогера Скотта Александера про то, как это всё работает и почему рынки предсказаний могут быть полезны для мира — особенно для принятия политических решений вроде "делать ли маски обязательными или нет": astralcodexten.substack.com/p/prediction-market-faq.
Если у вас возникли скептические вопросы, готов поспорить (и поставить на это деньги!), что автор ответил на них в тексте. Действительно скрупулёзный мастрид.
#золотой_фонд_мастридов #рационалист_мастрид
Например, Metaculus предсказывает исход любых выборов по всему миру точнее, чем топовые аналитические центры. Дату российского вторжения в Украину пользователи сайта предсказали с точностью до 2 дней. Сбылись также прогнозы "коллективного разума" по поводу прорывов в сфере ИИ, экономического роста разных стран и компаний, результатов спортивных состязаний, премий вроде "Оскара" и "Грэмми" и даже разводов знаменитостей.
А ещё существуют похожие на Metaculus сервисы, где ты ставишь деньги на то, что какое-то событие в будущем случится или нет, с разными коэффициентами. Аналогично ставкам на спорт или покупке фьючерсов на рост/падение акций.
Например, принимаются ставки на то, скоро ли сменится власть в России, полетят ли люди на Марс до 2030 года, когда появится GPT-5 и кто победит в поединке Маска с Цукербергом. Почти любой тезис, о котором спорят люди на кухнях, можно найти на таких сайтах и поставить на него свои деньги. Всё это называется рынками предсказаний (prediction markets).
В США и некоторых других странах рынки предсказаний жёстко зарегулированы, поэтому некоторые проекты обходят ограничения, работая в крипте. В других юрисдикциях такие рынки вполне законны и многие трейдеры активно торгуют на них.
Как это работает? Ты покупаешь какое-то количество акций, каждая из которых принесёт тебе 1 доллар, если прогнозируемое событие произойдёт. Если ты ошибся, ты теряешь деньги. Стоимость акции отражает мнение рынка о том, насколько вероятно это событие. Например, если участники рынка в среднем считают, что вероятность победы демократов на грядущих выборах — 60%, акция "демократы победят" будет стоить 60 центов.
И знаете что? Рынки предсказаний не ошибаются. Если ты купишь эту акцию, в 60% случаев ты получишь свой доллар. Да, бывают люди с инсайдерской информацией, которые пытаются ей воспользоваться, но на практике рынок быстро корректирует прогнозы, когда видит необычную активность и много подозрительных ставок. В крупных фондах есть люди, которые круглосуточно мониторят такое с помощью специальных программ.
Перехитрить рынок и заработать на нём, думая, что ты умнее всех, не получится — исключения носят крайне редкий характер. Что логично — иначе в мире было бы уже полно миллиардеров, заработавших капитал на рынке предсказаний.
Почитайте лонгрид от блогера Скотта Александера про то, как это всё работает и почему рынки предсказаний могут быть полезны для мира — особенно для принятия политических решений вроде "делать ли маски обязательными или нет": astralcodexten.substack.com/p/prediction-market-faq.
Если у вас возникли скептические вопросы, готов поспорить (и поставить на это деньги!), что автор ответил на них в тексте. Действительно скрупулёзный мастрид.
#золотой_фонд_мастридов #рационалист_мастрид
Astralcodexten
Prediction Market FAQ
...