Новости сообщества LessWrong
1.32K subscribers
20 photos
1 file
835 links
Новости русскоязычной части сообщества LessWrong. Интересные статьи, новые переводы и встречи.
Download Telegram
Много дней тормозил выкладывать текст на русском, хотя он уже выложен на лессронг на английском, но доколе!

Вот ссылка (её, конечно, логичнее было бы запихнуть в конец поста, но почему-то телеграм не позволяет это сделать), а дальше я расскажу, что всё это такое.

Мы с Сирин потихонечку пишем цепочку текстов, которая должна служить руководством по введению в дискурс безопасности ИИ. Идея в том, что эти тексты должен быть способен прочитать умный школьник старших классов, и они могут вдохновить его податься в эту область. Мы надеемся, что EA LTFF даст нам на это денег и уже подали заявку, но собираемся это делать в любом случае, хотя, наверное, без гранта это будет очень медленно.

Критерии, которым, по идее, должны соответствовать наши тексты:
- они должны соответствовать истине
- они должны не быть скучными
- они должны быть легкочитаемыми
- они должны быть стилистически непохожими на тексты схожего функционала; не быть избыточными
- они должны содержать как можно меньше технических деталей, чтобы школьники старших классов могли их понять
- они должны помогать войти в дискурс безопасности ИИ; помогать преодолеть проблему "я ничерта не понимаю, о чём речь в этих заумных текстах, где каждое второе слово - локальный термин"
- они должны содержать как можно меньше информации, которая с высокими шансами устареет через четыре-пять лет, когда первые прочитавшие это школьники будут иметь шансы начать заниматься настоящими исследованиями

Пока что у нас есть одна тестовая глава - про Тезис Ортогональности, Закон Гудхарта и Инструментальную Конвергенцию. В законченной цепочке она скорее всего будет второй.

Кстати, все картинки сгенерированы Stable Diffusion, в подписях к ним - какой был к нейросети запрос.

Буду рад фидбеку.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 5 февраля, мы заканчиваем обсуждать цепочку "Умение отпускать". Поговорим про следующие эссе:

- Законы рациональности беспристрастны;
- Оставь путь к отступлению;
- Кризис веры;
- Ритуал.

Встреча пройдёт в онлайне, на платформе Zoom. Для участия необходимо зарегистрироваться: https://kocherga-club.ru/events/ticydk74jjdbvp4ay5u6h2rpyi

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн #скотт_александер

Продолжаем читать и обсуждать эссе Скотта Александера, объединённые в подборку "The Codex". Фактически это подборка лучших эссе Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

В понедельник, 6 февраля, мы будем обсуждать следующие эссе из цепочки "Research and Reviews":

- Marijuana: Much More Than You Wanted To Know;
- Wheat: Much More Than You Wanted To Know.

Также обсудим финальную художественную зарисовку из "Studies and Statistics": The Study of Anglophysics.

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences Там же незадолго до начала встречи будет ссылка на Zoom.

Помимо основной встречи для обсуждения участники часто устраивают дополнительную "встречу-читальню", чтобы совместно подготовиться к основной встрече. О времени этой встречи участники договариваются в чате, упомянутом выше.
#встречи #онлайн

В понедельник, 6 февраля, пройдёт онлайн-встреча по структурированию. Структурирование - это общение в парах, в котором один из участников хочет уточнить свою модель чего-нибудь с помощью своего напарника (чуть подробнее о структурировании можно прочитать здесь).

Встреча пройдёт на плафтформе Jitsi. Ссылка: https://meet.jit.si/KochergaClassStructuringEvent

Начало встречи в 20:30 по московскому времени (UTC+3).

Подробности в чате: https://t.me/structuring_kocherga
#в_мире

На lesswrong.com завершилось голосование для определения лучших постов за 2021 год. Как я уже писал, эти подборки представляют собой прекрасную возможность для человека, который не является завсегдатаем LessWrong'а, узнать, какие темы там сейчас обсуждаются и считаются интересными.

Результаты голосования: https://www.lesswrong.com/posts/zajNa9fdr8JYJpxrG/voting-results-for-the-2021-review

Подборки за прошлые года: https://www.lesswrong.com/bestoflesswrong
#переводы #скотт_александер

Новый перевод на сайте - эссе Скотта Александера "Простые правила, которые практически всегда работают".

В какой-то мере мы живём в достаточно предсказуемом мире. У нас есть опыт и данные, накопленные многими людьми, и иногда этот опыт и данные позволяют нам сформулировать правила, которые хотя иногда и дают исключения, но очень-очень редко. Автор приводит примеры таких правил и рассуждает о проистекающей из них проблеме.

https://lesswrong.ru/2736
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 12 февраля, мы переходим к третьему тому книги, который называется "Машина в призраке". Мы обсудим введение, написанное Робом Бенсиджером ("Разум: Введение"), эссе "Сила интеллекта" и начнём обсуждать цепочку "Простая математика эволюции", в рамках которой поговорим про следующие эссе:

- Чуждый Бог;
- Чудо эволюции.

Встреча пройдёт в онлайне, на платформе Zoom. Для участия необходимо зарегистрироваться: https://kocherga-club.ru/events/yax3237rn5aitouvwstutmgnfy

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн #скотт_александер

Продолжаем читать и обсуждать эссе Скотта Александера, объединённые в подборку "The Codex". Фактически это подборка лучших эссе Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

В понедельник, 13 февраля, мы будем обсуждать следующие эссе из цепочки "Research and Reviews":

- SSRIs: Much More Than You Wanted To Know;
- Alcoholics Anonymous: Much More Than You Wanted To Know;
- Prescriptions, Paradoxes, and Perversities.

Также обсудим художественную интерлюдию "A Story With Zombies"/"Роман о зомби".

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences Там же незадолго до начала встречи будет ссылка для участия.
#база_рациональности

В очередной раз зададимся вопросом: что нужно делать, чтобы стать хорошим рационалистом и на самом деле систематически выигрывать в реальной жизни? Сегодня я формулирую ответ так: перво-наперво нужно как следует освоить самую базу. Почему это так, что будет базой рациональности, и как ее осваивать - я пытаюсь описать в этой статье.

https://telegra.ph/Baza-racionalnosti-02-05
Forwarded from Байесятина
Кто рождается в споре?

Право на поиск истины подразумевает и долг, не стоит скрывать ничего из того, что мы распознали как истину. Эйнштейн

Любой другой человек — это чёрный ящик, в который залетает информация, а вылетают из него некоторые выводы. Случается, что его выводы не соответствуют нашим. Давайте погрузимся в анатомию спора и посмотрим, что можно улучшить.

В ряде случаев взаимодействие в таких обстоятельствах вообще не имеет смысла. Иногда проблема не настолько важна, иногда человека вы видите в первый и последний раз, иногда у вас нет времени или внимания для дискуссии и ещё ряд иногда. Но если вы всё же закатали рукава для обсуждения разногласий, то давайте взглянем, как это происходит? Рассмотрим для начала, что может пойти не так.

Первый вариант (агрессивный): Вывод собеседника проявляет в нём врага. Он посмел словами идентифицировать себя с другой социальной группой. Здесь включаем всю мощь своего дебатного мышления, чтобы вступить в опасную и непредсказуемую схватку. Главное — скрывать позицию. Враг затаился и ждёт, когда мы озвучим причины своих убеждений. Как только мы откроемся, он нанесёт гнусный удар по ним. И пока мы ищем брешь для разрушения убогой крепости его выводов, он занят тем же самым. У наших ворот стен уже идёт разведка. Главное оружие - громкое и эмоциональное повторение своих выводов. 

Второй вариант (высокомерный): Мы делаем заключение о том, что ящик сломан. Наш собеседник просто тупой, злой, предвзятый, рассеянный, ненаблюдательный (или всё сразу). Чем ещё можно объяснить возмутительный вывод, который выплюнул в нас его чёрный ящик? Очевидно, спорить с ним бесполезно. Убедившись в асимметрии наших уровней интеллекта (собеседник, вероятно, ответил взаимностью) мы делаем вывод о непродуктивности спора с этим куском камня, неспособным понять даже modus ponens. Если есть зрители, то можно взывать к ним, используя оппонента в качестве фона для демонстрации своих идей.

Третий вариант (миролюбивый): Мы решаем, что сохранение хороших отношений гораздо важнее выяснения, чей вывод правильный. Тем более что правильный, конечно, наш. Но пока мы этого не озвучиваем, а оппонент не делает заявлений о правильности своего вывода, как будто бы сохраняется мир и спокойствие. В ряде случаев, указанных выше (нехватка времени, внимания, важности проблемы или человека в вашей жизни), это социально адекватное решение. 

Четвёртый вариант (псевдомудрый): О, это самое крутое. Когда в споре участвуют несколько участников. Какую бы позицию мы сами ни занимали, лучшая стратегия - сказать, что во всех мнениях есть доля правды. Часто после этого нам позволят стать арбитром и судьей, раздающим баллы за хорошие аргументы. Обе стороны будут заискивать перед нами, ведь в этой ситуации мы однозначно более привлекательны чем враг. Главное, чтобы никто не догадался, что нейтральная позиция — это тоже позиция, и у неё так же должны иметься обоснования. В том смысле, что если мы считаем, что две стороны с противоположными прогнозами о мире одинаково правы (вот прям ровно на 50%), то откуда взялась эта уверенность?

Наверняка вы можете привести ещё пару стандартных неудачных сценариев. Именно благодаря таким «дискуссиям» люди отказываются от спора. Не удивительно, истина в них не то что не рождается — не происходит даже её зачатие.

Но обратное глупости, не есть ум. Недостаточно просто не делать так, как указано выше или в статье про дебатное мышление. Переставая наступать на одни грабли, можно просто перейти на дорожку граблей другого цвета, как в передаче умники и умницы. Как же сойти с этих дорожек?

Продолжение по ссылке.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 19 февраля, мы начнём обсуждать цепочку "Простая математика эволюции", в которой Юдковский рассуждает о противоречиях между историей нашего происхождения, нашим современным биологическим устройством и нашими стремлениями. Поговорим про следующие эссе:

- Чуждый Бог;
- Чудо эволюции;
- Эволюции неразумны (но всё равно работают);
- Корпорации и нанороботы не эволюционируют.

Встреча пройдёт в онлайне, на платформе Zoom. Для участия необходимо зарегистрироваться: https://kocherga-club.ru/events/xrx6f7gckjda7ajg5bylzasroy

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн #скотт_александер

Продолжаем читать и обсуждать эссе Скотта Александера, объединённые в подборку "The Codex". Фактически это подборка лучших эссе Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

В понедельник, 20 февраля, мы будем обсуждать следующие эссе из цепочки "Research and Reviews":

- Guns And States;
- Teachers: Much More Than You Wanted To Know;
- Antidepressant Pharmacogenomics: Much More Than You Wanted To Know.

Также обсудим художественную интерлюдию "Asches to Asches"/"Прах к праху".

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences Там же незадолго до начала встречи будет ссылка для участия.
#видео

Канал группы "Минимизаторы скрепок" начал выкладывать краткие пересказы "CFAR Handbook" - методички, которую Центр прикладной рациональности из Калифорнии написал для своих воркшопов.

Первый пересказ посвящён главе "Units of exchange", в которой рассказывается о том, что мы оперируем большим числом разных ресурсов и иногда имеет смысл задумываться, по каким принципам мы обмениваем что-то одно на что-то другое.

https://www.youtube.com/watch?v=F44WW-IKLPA
#встречи #онлайн #скотт_александер

Продолжаем читать и обсуждать эссе Скотта Александера, объединённые в подборку "The Codex". Фактически это подборка лучших эссе Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

В понедельник, 27 февраля, мы будем обсуждать цепочку "Hypotheses and Hunches", которая состоит из четырёх эссе:

- The Atomic Bomb Considered As Hungarian High School Science Fair Project;
- It’s Bayes All The Way Up;
- Why Are Transgender People Immune To Optical Illusions?
- The Case Of The Suffocating Woman.

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences Там же незадолго до начала встречи будет ссылка для участия.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 26 февраля, мы продолжим обсуждать цепочку "Простая математика эволюции". Поговорим про следующие эссе:

- Эволюция к вымиранию;
- Трагедия группового отбора;
- Фальшивый критерий оптимизации;
- Исполнители адаптаций, а не максимизаторы приспособленности.

Встреча пройдёт в онлайне, на платформе Zoom. Для участия необходимо зарегистрироваться: https://kocherga-club.ru/events/6bcnrrju2rdrrkzo4ipk4ts6ny

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#видео

https://www.youtube.com/watch?v=ujWHKQRg-uk

Проектная группа "Минимизаторы скрепок" выложила видео с кратким пересказом второй главы "CFAR Handbook". В этот раз речь идёт о "Внутреннем симуляторе" - умении задуматься, а каких именно последствий мы ожидаем в результате тех или иных наших действий.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 5 марта, мы продолжим обсуждать цепочку "Простая математика эволюции". Поскольку предыдущая встреча не состоялась, план для обсуждения остаётся прежним:

- Эволюция к вымиранию;
- Трагедия группового отбора;
- Фальшивый критерий оптимизации;
- Исполнители адаптаций, а не максимизаторы приспособленности.

Встреча пройдёт в онлайне, на платформе Zoom. Ссылка для участия появится в телеграм-группе Цепочки Юдковского ближе к делу.

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн #скотт_александер

Продолжаем читать и обсуждать эссе Скотта Александера, объединённые в подборку "The Codex". Фактически это подборка лучших эссе Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

В понедельник, 6 марта, мы начнём обсуждать цепочку "Politics and Pragmatics". Поговорим о следующих эссе:

- I Can Tolerate Anything Except The Outgroup (есть перевод на русский: часть 1 , часть 2);
- Society Is Fixed, Biology Is Mutable.

Также обсудим шуточную зарисовку "A Philosopher Walks Into A Coffee Shop".

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences Там же незадолго до начала встречи будет ссылка для участия.
#видео

Проектная группа "Минимизаторы скрепок" продолжает выкладывать краткие пересказы "CFAR Handbook". В этот раз пересказывается глава 3, посвящённая созданию связок "триггер - действие", с помощью которых можно вводить в свою жизнь полезные рутины.

https://www.youtube.com/watch?v=Ix6Zf7ecO7Y
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби".

В воскресенье, 12 марта, мы заканчиваем обсуждать цепочку "Простая математика эволюции". Поговорим про следующие эссе:

- Эволюционная психология;
- Особенно элегантный эксперимент в эволюционной психологии;
- Суперстимулы и крах западной цивилизации;
- Суть твоя - осколки бога.

Встреча пройдёт в онлайне, на платформе Zoom. Ссылка для участия появится в телеграм-группе https://t.me/lwreading ближе к делу.

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн #скотт_александер

Продолжаем читать и обсуждать эссе Скотта Александера, объединённые в подборку "The Codex". Фактически это подборка лучших эссе Скотта Александера, посвящённых человеческому мышлению, ведению дискуссий, проблемам науки и общества и так далее.

В понедельник, 13 марта, мы заканчиваем обсуждать цепочку "Politics and Pragmatics". Поговорим о следующих эссе:

- Book Review: Albion’s Seed;
- Albion’s Seed, Genotyped.

Также обсудим рассказ "The Witching Hour".

Начало встречи в 20:00 по московскому времени (UTC+3).

Встречи проходят в онлайне. Обсуждение встреч проходит в телеграм-чате: https://t.me/readthesequences Там же незадолго до начала встречи будет ссылка для участия.