Новости сообщества LessWrong
1.33K subscribers
21 photos
1 file
837 links
Новости русскоязычной части сообщества LessWrong. Интересные статьи, новые переводы и встречи.
Download Telegram
У Charity Entrepreneurship до 3-го апреля открыт прием заявок в новую инкубационную программу

В Charity Entrepreneurship уже 4 года помогают запускать проекты, решающие масштабные и недооцененные проблемы, а также проводят исследования. В этом году программа будет направлена на создание благотворительных организаций в следующих сферах:

- Качество помощи
- Безопасность дорожного движения
- Налогообложение табака
- Послеродовое планирование семьи
- Изучение определенных проблем

"Мы предоставляем хорошо проработанные идеи благотворительности, 2-месячную очную программу обучения с оплатой стоимости обучения (онлайн), денежные стипендии для покрытия расходов на проживание, значительное финансирование (до $175 000) для воплощения проектов в жизнь и широкий спектр постоянной поддержки", — пишут организаторы.

Новая программа продлится с 27 июня по 19 августа 2022 года, крайний срок подачи заявок на второй тур — 3 апреля 2022 года (+1 неделя для опоздавших).

Больше подробностей:
➡️ www.charityentrepreneurship.com/incubation-program
#переводы

Новый перевод на сайте - совместная статья Эвана Хубингера, Криса ван Мервика, Владимира Микулика, Йоара Скалсе и Скотта Гаррабранта "Риски выученной оптимизации".

"Цель этой статьи – проанализировать выученную оптимизацию, происходящую, когда обученная модель (например, нейронная сеть) сама является оптимизатором – ситуация, которую мы называем меса-оптимизацией – неологизмом, представленным в этой цепочке. Мы убеждены, что возможность меса-оптимизации поднимает два важных вопроса касательно безопасности и прозрачности продвинутых систем машинного обучения. Первый: в каких обстоятельствах обученная модель будет оптимизатором, включая те, когда не должна была им быть? Второй: когда обученная модель – оптимизатор, каковы будут её цели: как они будут расходиться с функцией оценки, которой она была обучена, и как можно её согласовать?"

https://lesswrong.ru/node/1258

За перевод в очередной раз благодарим сообщество Мак и коты и AI Safety.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Зачем нам вообще уметь опознавать неадекватные равновесия? Есть множество людей, которые без всякого анализа скажут: "Совершенно очевидно, что вся система сломана. Зачем нужен какой-то анализ неадекватности?" Другие люди скажут: "Если тебе кажется, что в системе что-то работает не так, значит, ты просто недостаточно разобрался в ней". Почему этих точек зрения может быть недостаточно?

Сегодня, 4 апреля, мы закончим обсуждать третью главу "Инструментарий Молоха" ("Moloch’s Toolbox"), в которой нам остался раздел Х, и перейдём к главе "Жизнь в неадекватном мире" ("Living in an Inadequate World"). За эту встречу мы планируем обсудить первую половину этой главы (разделы I и II).

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/uvh5okbgujew3baosj2buyaaby

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Предположим, что мы действительно живём в достаточно неадекватном мире. Но что мы можем в таком случае сделать? Если даже признанные эксперты ошибаются, как мы можем об этом узнать, не становясь экспертами сами?

Сегодня, 11 апреля, мы обсудим вторую половину четвёртой главы "Жизнь в неадекватном мире" ("Living in an Inadequate World"). После этого мы перейдём к пятой главе "Слепой эмпиризм" ("Blind Empiricism"), в которой пойдёт речь о том, что хотя излишняя привязанность к своей теории крайне вредна, отсутствие теории тоже приводит к проблемам.

Встреча пройдёт в онлайне, на платформе Zoom. Чтобы получить ссылку, нужно зарегистрироваться: https://kocherga-club.ru/events/lwrqsgmw3be7rkfzlfhuydvomm

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#книги #галеф

Написал статью с пересказом основных идей книги Джулии Галеф "Мышление разведчика". С моей точки зрения, короче всего эту книгу можно описать так: это книга о том, как успешно менять своё мнение. Наверное, её можно считать более современной и, вероятно, более практичной версией соответствующего тома "Рациональности: от ИИ до Зомби".

Джулия Галеф когда-то была одним из авторов блога LessWrong. Также она была первым президентом CFAR. Сейчас ведёт подкаст "Rationally speaking".

https://telegra.ph/Dzhuliya-Galef-Myshlenie-razvedchika-04-12
#встречи #онлайн

Все мы знаем про ошибку планирования. Люди очень часто ошибаются в вопросах, сколько времени у них займёт та или иная задача или сколько им ресурсов потребуется. Известно, что лучший способ справиться с ошибкой планирования - воспользоваться "взглядом извне", то есть, посмотреть, сколько времени или ресурсов тратили на такую же задачу мы сами или хотя бы другие люди.

Однако что если человек планирует достаточно амбициозный проект, например, планирует сделать что-то новое, в чём его предшественники не добились успеха? Что здесь скажет "взгляд извне"?

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия".

Сегодня, 18 апреля, мы обсудим вторую половину пятой главы "Слепой эмпиризм" ("Blind Empiricism"). После этого мы перейдём к шестой главе "Против эпистемологии скромности"("Against Modest Epistemology").

Встреча пройдёт в онлайне, на платформе Zoom. Регистрация на встречу: https://kocherga-club.ru/events/bjhqthhydnehjh3lzvsvq3mlg4

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Литература, посвящённая когнитивным искажениям, часто пишет о том, как нам мешает жить сверхуверенность. Мудро ли в таком случае пытаться удержать людей от недоуверенности?

Почему многие люди зачастую склонны браться лишь за задачи, которые они точно могут решить, и не пытаются проверить свои силы в чём-то более серьёзном?

Продолжаем читать и обсуждать книгу Элиезера Юдковского "Неадекватные равновесия". Сегодня, 25 апреля, мы обсудим седьмую главу книги - "Контроль за статусами и тревожная недоуверенность" ("Status Regulation and Anxious Underconfidence").

Встреча пройдёт в онлайне, на платформе Zoom. Для получения ссылки нужно зарегистрироваться: https://kocherga-club.ru/events/v4bhqaodg5f5beb2iawavz5tb4

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

С точки зрения эпистемологии сверхуверенность и недостаточная уверенность - явления одного порядка. Однако, кажется, человек, который постоянно пытается прыгнуть выше головы, осуждается окружающими чаще, чем человек, который не пытается это сделать никогда. Как это влияет на наше поведение?

Сегодня, 2 мая мы заканчиваем обсуждать книгу "Неадекватные равновесия". Обсудим вторую часть седьмой главы "Контроль за статусами и тревожная недоуверенность" ("Status Regulation and Anxious Underconfidence") и заключение , а также поговорим о книге в целом.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/paiqclm6nvamfftdxdsyg4xrde

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Как можно использовать в реальной жизни центральные идеи из книги «Неадекватные равновесия»? Как понятия адекватности, используемости и эффективности помогают узнать будет ли успешной новая задумка?

В понедельник, 9 мая обсудим эссе «Лицензия героя» — текст, по смыслу дополняющий книгу «Неадекватные равновесия», в котором Юдковский рассказывает об истории создания ГПиМРМ и своей работе в области искусственного интеллекта.

Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация: https://kocherga-club.ru/events/exwjf4bxfjfapjy2znvd5jvbtu

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#переводы #скотталександер

Недавно здесь публиковался перевод статьи Эвана Хубингера и других "Риски выученной оптимизации", в которой вводилось понятие меса-оптимизатора. В апреле Скотт Александер написал эссе "Deceptively Aligned Mesa-Optimizers: It's Not Funny If I Have To Explain It" с объяснениями того, что это такое и с какими проблемами это понятие связано. А группа Мак и коты и AI Safety это эссе перевела.

Обманчиво согласованные меса-оптимизаторы. Это не смешно, если приходится объяснять
#встречи #онлайн

Чем могут помочь знания о неадекватных равновесиях и эпистемологии скромности? Что при наличии этих знаний мы можем начать делать по-другому?

Сегодня, 16 мая, мы подведём итоги обсуждений книги Элиезера Юдковского "Неадекватные равновесия" и поговорим о том, что мы будем обсуждать дальше.

Встреча пройдёт в онлайне, на платформе Zoom. Для участия во встрече необходимо зарегистрироваться: https://kocherga-club.ru/events/pmu2xkg3wveypp3utrfxcwzfym

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Продолжаем обсуждать различные материалы, посвящённые рациональному мышлению.

Сегодня, 23 мая, обсудим серию заметок «Краткое руководство по умным персонажам».
В нём Юдковский показывает минусы стереотипной рациональности или умности персонажей в художественных произведениях и даёт инструкции, как сделать своего персонажа умнее и правдоподобнее.

Прочитать руководство можно по ссылке:
EN: https://yudkowsky.tumblr.com/writing
RU: https://lesswrong.ru/205

Встреча пройдёт в онлайне, на платформе Zoom. Для участия во встрече необходимо зарегистрироваться: https://kocherga-club.ru/events/oxprzksdp5cflbe7yo3vuqznl4

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Первая часть сегодняшнего (30 мая) клуба чтения Цепочек будет посвящена второй части "Руководства по созданию умных персонажей" Элиезера Юдковского.

Во второй части мы перейдём статьям, посвящённым согласованию искусственного интеллекта (AI alignment).

Почему Юдковский и другие исследователи AI alignment решили заниматься именно этой областью? Почему они считают, что вопросы согласования искусственного интеллекта чрезвычайно важны, а на их решение тратится недостаточно ресурсов? На какие предположения они опираются в своих рассуждениях об этом?

Поговорим про следующие эссе:

1. Нейт Соарес, "Четыре предпосылки".
2. Ричард Нго, "Безопасность сильного ИИ с чистого листа".

Встреча пройдёт в онлайне, на платформе Zoom. Для участия во встрече необходимо зарегистрироваться: https://kocherga-club.ru/events/4og3jw2bjfdt7keghim5tk7j4y

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Наш клуб чтения Цепочек перешёл к обсуждению статей из списка материалов Кембриджского курса по безопасности искусственного интеллекта.

Сегодня, 6 июня, мы продолжим обсуждать эссе Нейта Соареса "Четыре предпосылки", посвящённое вопросу, почему именно Элиезер Юдковский и другие люди вообще считают крайне важной именно эту область исследований. Если останется время, мы начнём обсуждать "Безопасность СИИ с чистого листа" Ричарда Нго.

Встреча пройдёт в онлайне, на платформе Zoom. Для участия во встрече необходимо зарегистрироваться: https://kocherga-club.ru/events/ldspitffdrcuvpjfl3atulddva

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#встречи #онлайн

Клуб чтения Цепочек, который идёт по понедельникам давно закончил обсуждение книги Элиезера Юдковского "Рациональность: от ИИ до Зомби" и перешёл к другим произведениям. Однако есть люди, которые по тем или иным причинам пропустили эти обсуждения, и поэтому сейчас планируется их перезапуск: последовательное обсуждение всех эссе из книги от начала и до конца.

Если вам это интересно и вы готовы относительно регулярно (хотя бы раз в две-три недели) ходить на встречи, вы можете принять участие в голосовании, когда удобней эти встречи проводить:

https://t.me/readthesequences/2769
#встречи #онлайн

Продолжаем читать и обсуждать статьи, посвящённые безопасности искусственного интеллекта (из Кембриджского курса).

Сегодня, 13 июня, мы продолжим обсуждать статью Ричарда Нго "Безопасность СИИ с чистого листа". В прошлый раз мы обсуждали часть "Суперинтеллект", теперь перейдём к части "Цели и агентность".

Встреча пройдёт в онлайне, на платформе Zoom. Для участия необходимо зарегистрироваться: https://kocherga-club.ru/events/4vcgjfcca5aubmg6cb4piwhy6e

Начало в 20:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#эффективный_альтруизм #встречи #онлайн

В субботу, 18 июня, состоится онлайн-встреча, посвящённая эффективному альтруизму в России и в мире. Начало в 16:00 по московскому времени (UTC+3).

Как я могу повлиять на мир вокруг? Кто такие эффективные альтруисты? Как это работает?

Приглашаем всех, кто задумывается о том, как усилить свое положительное влияние, принять участие в лекции и дискуссии о принципах эффективного альтруизма и о том, как можно применить его в своей жизни, карьере и благотворительности.

Мы хотим объединить людей, которые хотели бы улучшить мир самым эффективным способом. Спикеры поделятся исследованиями и примерами проектов в области эффективного альтруизма и вы узнаете, как стать эффективным альтруистом самому.

Программа:
16:00-16:15: Введение: Кто такие эффективные альтруисты и чем они занимаются (Александр Бережной)
16:15-17:00: Забота о животных (Алексей Иванов, Динара Агеева)
17:00-17:45: Круглый стол: практичный эффективный альтруизм (Александр Журавлев, Виктор Петухов, Никита Гончаров)
17:45-18:00: Завершение встречи, анонс новых переведенных материалов по теме эффективного альтруизма (Михаил Самин)

Ссылка на регистрацию: https://ea-v-rossii.timepad.ru/event/2071450/
#встречи #онлайн

Клуб чтения Цепочек начинает второй поток. По воскресеньям будут проходить встречи, посвящённые последовательному обсуждению эссе, входящих в книгу Элиезера Юдковского "Рациональность: от ИИ до Зомби". Первая встреча будет 19 июня.

План обсуждения:

- Предисловие;
- Искажения: Введение;
- Пренебрежение масштабом;
- Рациональность как боевое искусство.

Некоторые подробности и регистрация на встречу: https://kocherga-club.ru/events/bwgejdyiefg3xbdaxjgw2otfrq

Начало в 18:00 по московскому времени (UTC+3).

Присоединяйтесь поучаствовать или послушать.
#проекты_участников

Сергей Шкуратов написал заметку про то, о чём, возможно, стоит подумать (и записать), начиная новый проект. Скорее всего заметка может быть интересна людям, которые замечают за собой, что начинают много разных дел, а потом часть из них делают исключительно по инерции.

https://blog.system-school.ru/2022/06/13/oshibka-pri-rabote-s-lichnymi-proektami/