#в_мире

Кочерга решила выпускать ежемесячный дайджест с обзором, что происходило в "рациосфере" за последний месяц. На прошлой неделе появился дайджест за октябрь:

https://telegra.ph/DAJDZHEST-11-06-4

#видео #встречи #онлайн

31 октября Олег Лариков прочитал доклад на тему «Что именно я знаю, если я знаю, что ничего не знаю». Или по-другому: откуда берутся априорные вероятности? Если наше незнание не позволяет сказать, что одно событие вероятнее другого, то это уже может быть достаточно, чтобы что-то сказать о вероятностях этих событий.

Из анонса: "Предполагается, что слушатели уже знакомы с теоремой Кокса, понятием логарифмических шансов, способны посчитать вещи вроде ∫dx/(x(1-x)) (или готовы в выкладках поверить докладчику на слово) и имеют базовые навыки работы с Excel или эквивалентной ему программой".

https://www.youtube.com/watch?v=wcA721sIx7g

#в_мире

John Wentworth опубликовал на lesswrong.com заметку с рекомендациями для старших школьников и студентов, что им стоит изучать, если они хотят заниматься проблемой соответствия ИИ целям оператора (AI alignment), да и другими научными задачами, которые непонятно, как решать.

https://www.lesswrong.com/posts/bjjbp5i5G8bekJuxv/study-guide

Текст на английском. Впрочем, если вы хотите заниматься серьёзными научными задачами, английский язык тоже входит в перечень того, что нужно изучить.

#встречи #онлайн #цепочки

Продолжаем читать и обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского.

Сегодня, 15 ноября, мы подводим итоги обсуждения цепочки "Количественный гуманизм" и после обсуждения эссе "Двенадцать добродетелей рационалиста" завершаем обсуждение всего тома "Просто доброта".

После этого мы переходим к завершающему тому книги "Стать сильнее" и первой его цепочке "Взросление Юдковского" ("Yudkowsky's Coming of Age"). Поговорим про введение Роба Бенсинджера "Начала: введение"("Beginnings: An Introduction") и первое эссе в цепочке "Смертельная спираль моего детства" ("My Childhood Death Spiral").

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/kdh7nnysbjdtbluzbg7qyz3a6q

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#встречи #онлайн #цепочки

Продолжаем читать и обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского.

Очевидно, искусственный сверхинтеллект не будет настолько глуп, чтобы превратить всю галактику в кучку скрепок. Очевидно, раз он намного умнее человека, то он гораздо лучше человека понимает, что правильно, а что - нет. Верно ведь?

Сегодня, 22 ноября, мы продолжим обсуждать цепочку "Взросление Юдковского" ("Yudkowsky's Coming of Age"). Поговорим про следующие эссе:

- Моя лучшая и худшая ошибки (My Best and Worst Mistake);
- Взращенный в технофилии (Raised in Technophilia);
- Гениальный опровергатель (A Prodigy of Refutation);
- Выдающаяся глупость юности (The Sheer Folly of Callow Youth).

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/r43ins75svagvpjdlf7fqmx44q

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#в_мире #переводы #юдковский

В сентябре этого года состоялась встреча в некотором чате, где Элиезер Юдковский описывал, как он представляет грядущие проблемы, связанные с вероятным появлением сильного искусственного интеллекта. Пару недель назад отредактированную расшифровку этой встрече выложили на AI Alignment Forum, а на днях Максим Выменец выложил свой перевод этой расшифровки.

https://vk.com/@makikoty-obsuzhdenie-agi-s-eliezerom-udkovskim

#статьи_участников

Калибровка уверенности

Автор канала "Небольшой список имени Байеса" написал большую и подробную статью о том, что такое калибровка, зачем она нужна, как оценить собственную калибровку и как её улучшить.

#в_мире

Дункан Сабьен (в прошлом инструктор CFAR и автор их "Participant Handbook") опубликовал на lesswrong.com эссе о технике под названием "Split and commit". Лаконичный перевод названия я пока не придумал, а суть можно описать так: "Подумай о вариантах и определись с действиями".

Как многие из читателей уже знают, мы (люди) довольно часто ошибаемся. И даже если мы очень уверены, что мы правы, это всё равно мало что говорит о том, ошибаемся мы на самом деле или нет.

При этом любое увиденное нами свидетельство может быть свидетельством в пользу нескольких гипотез. Однако очень часто мы держим в голове всего лишь одну гипотезу. Сабьен пишет, что даже люди, которые умеют выражать свою степень уверенности в числах, например, могут сказать, что уверены в такой-то гипотезе на 85%, часто не задумываются о том, а на что приходятся оставшиеся 15%.

В связи с этим Сабьен предлагает следующее возможное решение. Когда мы задумываемся о том, в каком мире совмещается рассматриваемая нами гипотеза Х и увиденное нами свидетельство, следует также подумать, в каком мире было бы верно не-Х и при этом мы могли бы увидеть то же самое свидетельство. Например, задать себе вопрос: "Если вдруг выяснится, что всё устроено не так, как я думал, какой следующий по правдоподобности вариант?"

А после этого рекомендуется подумать, что мы будем делать в каждом из этих возможных миров.

В эссе всё это расписано более подробно и с примерами: https://www.lesswrong.com/posts/t2LGSDwT7zSnAGybG/split-and-commit

#встречи #онлайн

Сегодня, 28 ноября, Вячеслав Матюхин в онлайне будет рассказывать про изменения в деятельности Центра рациональности "Кочерга" и про планы на будущее.

Краткое содержание: "мы перефокусируемся с построения сообщества рационалистов и образовательных мероприятий на более общую миссию по вовлечению новых людей в деятельность, связанную с эффективным альтруизмом, рациональностью и исследованиями безопасного ИИ, и по запуску новых проектов, связанных с этими темами".

Подробности: https://kocherga-club.ru/events/s55v7ewv6nfxfiaur6iuwtnxz4

Начало в 14:00 по московскому времени (UTC+3). Меньше, чем через час.

#встречи #онлайн #цепочки

Продолжаем читать и обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского.

Сегодня, 29 ноября, мы продолжим обсуждать цепочку "Взросление Юдковского" ("Yudkowsky's Coming of Age"). В предыдущих эссе Юдковский рассказывал о своих юношеских убеждениях, согласно которым сильный искусственный интеллект обязательно решит все проблемы человечества. Из-за чего Юдковский поменял свою точку зрения и что помогло ему понять собственные ограничения?

Поговорим про следующие эссе:

- Такая крошечная нестыковка (That Tiny Note of Discord);
- Арьегардные бои против истины (Fighting a Rearguard Action Against the Truth);
- Моё пробуждение (My Naturalistic Awakening);
- Уровень выше моего (The Level Above Mine).

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/pr7ybqrmnre5rdvndcepq6dame

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#переводы #юдковский

Новый перевод на сайте -- полушуточный диалог Элиезера Юдковского "Задача соответствия ракет и цели". Юдковский, используя аналогии из другой области, пытается объяснить, чем именно занимаются в MIRI и почему.

https://lesswrong.ru/755

Кочерга меняется: мы переключаем фокус внимания с организации сообщества рационалистов и курсов по прикладной рациональности на мета-деятельность по привлечению людей к темам эффективного альтруизма и AI Safety, а также организационной и финансовой поддержке новых проектов в этих сферах.

Будем постепенно рассказывать, что именно происходит и как эта деятельность развивается, а пока что можно посмотреть верхнеуровневый обзор этих планов со встречи, которая прошла в воскресенье: https://www.youtube.com/watch?v=oXnJbeCu9hE (текстовую версию выложим немного позже).

#встречи #онлайн #цепочки

Сегодня, 6 декабря, мы на время отвлечёмся от "Рациональности: от ИИ до Зомби" Элиезера Юдковского и будем обсуждать эссе Нейта Соареса. Нейт Соарес - это нынешний исполнительный директор MIRI, автор многих технических работ. Но помимо этого он некоторое время вёл блог "Minding our way", где много писал про работу с эмоциями и настроем.

Поговорим про следующие эссе:

- Забота о большем, чем ты сам;
- Непоследовательным быть можно;
- Ещё не боги;
- Когда происходит выбор?

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/uilp74ngrfel5pg4sh4vvkyjti

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

Одна из наших подписчиц очень интересуется мнениями людей по поводу рационалистского творчества (художественных произведений на тему рациональности и/или с рациональными персонажами) и просит тех, кому близка эта тема, пройти опрос:

https://forms.gle/EMEtAUqayDmrZCKP6

#в_мире

На lesswrong.com началось определение лучших постов за 2020 год. Как и в предыдущие года команда организаторов планирует издать лучшие постов (а также лучшие отзывы) в виде книг.

До 14 декабря будет идти процесс предварительного голосования (номинирование понравившихся постов для будущей оценки), дальше будет стадия написания отзывов, а после 25 января - окончательное голосование.

Подробности: https://www.lesswrong.com/posts/M9kDqF2fn3WH44nrv/the-2020-review-preliminary-voting

#встречи #онлайн #цепочки

Продолжаем читать и обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского.

Сегодня, 13 декабря, мы заканчиваем обсуждать цепочку "Взросление Юдковского" ("Yudkowsky's Coming of Age"). Завершающие эссе этой цепочки посвящены вопросам о том, как сложно признать, что ты ещё мало знаешь в том, чем ты занимаешься, и как Юдковский стал байесианцем.

После этого мы перейдём к цепочке "Бросая вызов сложностям", которая посвящена тому, как делать что-то, считающееся сложным или даже невозможным.

Поговорим про следующие эссе:

- Величина собственного безрассудства (The Magnitude of His Own Folly);
- Вне досягаемости бога (Beyond the Reach of God);
- Моё байесианское просветление (My Bayesian Enlightenment);
- Цуёку наритаи («Хочу стать сильней!»).

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/6s5enyedpvcwrbo2ed5srtz5rm

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#в_мире

Вышел дайджест Кочерги с обзором материалов по рациональности за ноябрь.

#встречи #онлайн #цепочки

Продолжаем читать и обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского.

Чувствуете ли вы дискомфорт, когда пытаетесь достигнуть больших успехов, чем окружающие? Есть ли разница между "я собираюсь создать стартап" и "я собираюсь попробовать создать стартап"? Насколько усердно люди стараются достичь своих целей? Что такое "невозможное"?

Сегодня, 20 декабря, мы продолжим обсуждать цепочку "Бросая вызов сложностям".

Поговорим про следующие эссе:

- Цуёку против уравнительского инстинкта;
- Пытаясь пытаться;
- Используй вторую попытку, Люк;
- Как сделать невозможное (On Doing the Impossible).

Наш клуб чтения Цепочек дошёл до той части книги, где многие эссе не переведены. Ссылка на оригиналы: Challenging the Difficult.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/ra66vnrf2rgv7cmr6eemirrmju

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.

#переводы

Сообщество в ВК "Космос ждал" начало переводить "CFAR Participant Handbook" - методички, раздаваемой участникам воркшопов по рациональности, организуемых CFAR. В этой методичке собраны описания разнообразных техник прикладной рациональности, чтобы участники воркшопа могли не тратить время на записи в процессе, а могли лучше сосредоточиться на самих упражнениях.

У CFAR есть некоторый скепсис на тему, насколько их Handbook полезен без самого воркшопа. Более подробно об этом написано в предисловии, которое в перевод не вошло.

Начало перевода можно найти в записи: https://vk.com/wall-174182021_4520 Далее можно смотреть по тэгу #translations@cosmospolon или просто искать в записях сообщества.

#в_мире #книги

Некоторое время назад я писал, что на lesswrong.com началось определение лучших постов 2020 года. А тем временем команда организаторов издала сборник лучших постов 2019 года под названием "The Engines of Cognition". Сборник уже доступен на Амазоне. Подробности:

https://www.lesswrong.com/posts/mvPfao35Moah8py46/the-engines-of-cognition-book-launch

Если вы хотите просто прочитать эти посты, большую их часть вы можете найти на странице с итогами голосования 2019 года. (Организаторы печати сборников учитывают результаты голосования, но окончательный состав сборника определяют сами, поэтому в сборнике есть работы, в голосовании не участвовавшие. Их можно найти поиском по сайту.)

#видео

На прошлой неделе вышел очередной подкаст Кочерги. Гость выпуска - Андрей Крутиков. Андрей владеет собственной компанией в Токио, которая занимается исследованиями в области ИИ общего назначения. В разговоре обсуждались вопросы продуктивности, буддизм, и, конечно же, перспективы создания сильного ИИ.

Ведущий - Вячеслав Матюхин, сооснователь Кочерги.

https://www.youtube.com/watch?v=ETsR1Tt57xo