#переводы #цепочки #юдковский
Новый перевод на сайте — эссе Элиезера Юдковского "Фальшивые функции полезности" из цепочки "Фальшивые предпочтения".
Иногда при обсуждении какой-нибудь сложной проблемы некоторые люди говорят: "Проблему решить легко, нужно только сделать Х, и дальше всё само получится. Смотрите, Х приводит к таким-то и таким-то полезным последствиям".
На примере дискуссий о создании "дружественного" искусственного интеллекта Юдковский описывает, что в подобных аргументах может быть не так.
https://lesswrong.ru/641
Новый перевод на сайте — эссе Элиезера Юдковского "Фальшивые функции полезности" из цепочки "Фальшивые предпочтения".
Иногда при обсуждении какой-нибудь сложной проблемы некоторые люди говорят: "Проблему решить легко, нужно только сделать Х, и дальше всё само получится. Смотрите, Х приводит к таким-то и таким-то полезным последствиям".
На примере дискуссий о создании "дружественного" искусственного интеллекта Юдковский описывает, что в подобных аргументах может быть не так.
https://lesswrong.ru/641
LessWrong на русском
Фальшивые функции полезности
Время от времени встречаются люди, которые открыли "Самый главный моральный принцип". Все остальные ценности для них оказываются лишь следствиями этого принципа. Я сталкиваюсь с такими людьми чаще других. В моём случае это люди, которые знают об удивительно…
#переводы #цепочки #юдковский
Новый перевод на сайте — эссе Элиезера Юдковского "Наглядное объяснение теоремы Байеса".
Юдковский очень часто в своих эссе ссылается на байесианство и теорему Байеса. Но что это такое? Почему какой-то теореме из теории вероятностей придаётся такое большое значение?
https://lesswrong.ru/w/Наглядное_объяснение_теоремы_Байеса
Это сокращённая версия одного из самых первых эссе Юдковского по рациональности, которое он сейчас уже считает несколько устаревшим и вместо него рекомендует читать "Руководство по теореме Байеса" на Арбитале. Однако руководство с Арбитала пока ещё ждёт своего переводчика.
И теперь у нас на сайте выложены все эссе, входящие в первые три тома книги "Рациональность: от ИИ до Зомби".
Новый перевод на сайте — эссе Элиезера Юдковского "Наглядное объяснение теоремы Байеса".
Юдковский очень часто в своих эссе ссылается на байесианство и теорему Байеса. Но что это такое? Почему какой-то теореме из теории вероятностей придаётся такое большое значение?
https://lesswrong.ru/w/Наглядное_объяснение_теоремы_Байеса
Это сокращённая версия одного из самых первых эссе Юдковского по рациональности, которое он сейчас уже считает несколько устаревшим и вместо него рекомендует читать "Руководство по теореме Байеса" на Арбитале. Однако руководство с Арбитала пока ещё ждёт своего переводчика.
И теперь у нас на сайте выложены все эссе, входящие в первые три тома книги "Рациональность: от ИИ до Зомби".
LessWrong на русском
Наглядное объяснение теоремы Байеса
*Примечание редактора книги:* Это сокращённая версия [исходного эссе](https://www.yudkowsky.net/rational/bayes) со множеством интерактивных элементов. *Примечание редактора сайта:* Упомянутые выше интерактивные элементы, увы, уже давно не поддерживаются ни…
#переводы #цепочки #юдковский
Новый перевод на сайте — эссе Элиезера Юдковского "Квантовые объяснения".
Этим эссе Юдковский открывает цепочку "Квантовая механика и множественные миры". В эссе Юдковский рассуждает, что именно ему не нравится в традиционном способе объяснять квантовую механику, и предупреждает читателя о том, что будет дальше.
https://lesswrong.ru/644
Новый перевод на сайте — эссе Элиезера Юдковского "Квантовые объяснения".
Этим эссе Юдковский открывает цепочку "Квантовая механика и множественные миры". В эссе Юдковский рассуждает, что именно ему не нравится в традиционном способе объяснять квантовую механику, и предупреждает читателя о том, что будет дальше.
https://lesswrong.ru/644
LessWrong на русском
Квантовые объяснения
Часто говорят, что квантовая механика должна быть непонятной. Это плохой подход --- как для ученика, так и для преподавателя. Я же обнаружил, что традиционно "непонятные" предметы обычно проще математики. Особенно если хочется всего лишь понять самые основы…
#переводы #цепочки #юдковский
Новый перевод на сайте -- эссе Элиезера Юдковского "Ошибка выломанного рычага" из цепочки "Фальшивые предпочтения".
Некоторые люди при обсуждении вопроса, как сделать так, чтобы цели ИИ согласовывались с целями человека, считают, что просто нужно правильно воспитать ИИ. Ведь мы же умеем правильно воспитывать детей. Этот сюжет встречался и в некоторой фантастике.
Что здесь может пойти не так?
https://lesswrong.ru/646
Новый перевод на сайте -- эссе Элиезера Юдковского "Ошибка выломанного рычага" из цепочки "Фальшивые предпочтения".
Некоторые люди при обсуждении вопроса, как сделать так, чтобы цели ИИ согласовывались с целями человека, считают, что просто нужно правильно воспитать ИИ. Ведь мы же умеем правильно воспитывать детей. Этот сюжет встречался и в некоторой фантастике.
Что здесь может пойти не так?
https://lesswrong.ru/646
LessWrong на русском
Ошибка выломанного рычага
Имя этой ошибки происходит из древнего научно-фантастического сериала, которого я сам не видел. Я узнал об этом сериале из надёжного источника --- от какого-то парня на конвенте, посвящённом научной фантастике. Если вы знаете, что это за сериал, напишите…
#переводы #юдковский
Новый перевод на сайте -- эссе Элиезера Юдковского "Используйте слово «рационально», только если от него нельзя избавиться".
Это очень короткое эссе, поэтому вместо анонса я приведу его целиком.
===
Почти всегда, если в предложении используется слово «истина», его можно убрать, применив формулу Тарского. Например, если кто-то говорит: «Я убеждён, что небо синее, и это истина!», то это можно перефразировать как: «Я убеждён, что небо синее, и небо синее». Для любого «Предложение Х - истина» можно просто сказать Х и передать ту же самую информацию о своих убеждениях. Просто говорите о территории, которой карта предположительно соответствует, а не о карте.
Когда слово «истина» убрать нельзя? Когда вы говорите об общих принципах, касающихся соответствия между картой и территорией. Например: «Истинные теории с большей вероятностью дадут верные предсказания об исходах эксперимента». В этом предложении невозможно избавиться от слова «истинные», потому что здесь речь идёт о соответствии между картой и территорией в общем случае.
Аналогично можно убрать слово «рационально» из почти всех предложений, где оно используется. «Рационально считать, что небо синее», «Истина в том, что небо синее» и «Небо синее» передают абсолютно одинаковую информацию о цвете неба с вашей точки зрения. Не больше, не меньше.
Когда из предложения нельзя убрать слово «рационально»?
Когда вы формулируете общие принципы для алгоритмов мышления, которые приводят к соответствию между картой и территорией (эпистемическая рациональность) или направляют будущее туда, куда вы хотите (инструментальная рациональность). Можно убрать слово «рационально» из предложения «Рационально считать, что небо синее». Нельзя убрать слово «рационально» из предложения «Эпистемически рационально повышать свою уверенность в гипотезах, которые делают успешные предсказания». Табуировать это слово, конечно, можно, но вы получите что-то вроде: «Чтобы увеличить соответствие между картой и территорией, следуйте алгоритму, который требует увеличивать уверенность в гипотезе, которая делает успешные предсказания». Можно избавиться от слова, но не получится избавиться от самого понятия, не изменив смысла предложения, поскольку речь фактически идёт об универсальных алгоритмах мышления, которые строят соответствие между картой и территорией.
Никогда не следует использовать слово «рационально» без необходимости, то есть, если мы не обсуждаем алгоритмы мышления как алгоритмы.
Если вы хотите поговорить о том, как применить рациональность, чтобы купить самую крутую машину, но в первую очередь собираетесь рассуждать о машинах, а не о том, какие алгоритмы мышления самые лучшие, назовите свой пост «Как лучше покупать машину», а не «Как рационально покупать машину».
Спасибо за то, что соблюдаете технику безопасности.
===
https://lesswrong.ru/653
Новый перевод на сайте -- эссе Элиезера Юдковского "Используйте слово «рационально», только если от него нельзя избавиться".
Это очень короткое эссе, поэтому вместо анонса я приведу его целиком.
===
Почти всегда, если в предложении используется слово «истина», его можно убрать, применив формулу Тарского. Например, если кто-то говорит: «Я убеждён, что небо синее, и это истина!», то это можно перефразировать как: «Я убеждён, что небо синее, и небо синее». Для любого «Предложение Х - истина» можно просто сказать Х и передать ту же самую информацию о своих убеждениях. Просто говорите о территории, которой карта предположительно соответствует, а не о карте.
Когда слово «истина» убрать нельзя? Когда вы говорите об общих принципах, касающихся соответствия между картой и территорией. Например: «Истинные теории с большей вероятностью дадут верные предсказания об исходах эксперимента». В этом предложении невозможно избавиться от слова «истинные», потому что здесь речь идёт о соответствии между картой и территорией в общем случае.
Аналогично можно убрать слово «рационально» из почти всех предложений, где оно используется. «Рационально считать, что небо синее», «Истина в том, что небо синее» и «Небо синее» передают абсолютно одинаковую информацию о цвете неба с вашей точки зрения. Не больше, не меньше.
Когда из предложения нельзя убрать слово «рационально»?
Когда вы формулируете общие принципы для алгоритмов мышления, которые приводят к соответствию между картой и территорией (эпистемическая рациональность) или направляют будущее туда, куда вы хотите (инструментальная рациональность). Можно убрать слово «рационально» из предложения «Рационально считать, что небо синее». Нельзя убрать слово «рационально» из предложения «Эпистемически рационально повышать свою уверенность в гипотезах, которые делают успешные предсказания». Табуировать это слово, конечно, можно, но вы получите что-то вроде: «Чтобы увеличить соответствие между картой и территорией, следуйте алгоритму, который требует увеличивать уверенность в гипотезе, которая делает успешные предсказания». Можно избавиться от слова, но не получится избавиться от самого понятия, не изменив смысла предложения, поскольку речь фактически идёт об универсальных алгоритмах мышления, которые строят соответствие между картой и территорией.
Никогда не следует использовать слово «рационально» без необходимости, то есть, если мы не обсуждаем алгоритмы мышления как алгоритмы.
Если вы хотите поговорить о том, как применить рациональность, чтобы купить самую крутую машину, но в первую очередь собираетесь рассуждать о машинах, а не о том, какие алгоритмы мышления самые лучшие, назовите свой пост «Как лучше покупать машину», а не «Как рационально покупать машину».
Спасибо за то, что соблюдаете технику безопасности.
===
https://lesswrong.ru/653
LessWrong на русском
Используйте слово "рационально", только если от него нельзя избавиться
Почти всегда, если в предложении используется слово "истина", его можно убрать, применив формулу Тарского. Например, если кто-то говорит: "Я убеждён, что небо синее, и это истина!", то это можно перефразировать как: "Я убеждён, что небо синее, и небо синее".…
#встречи #цепочки #юдковский #онлайн
Продолжаем читать и обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского.
Что звучит правдоподобнее: теория, что у нашей вселенной есть четкие устойчивые границы, или теория, что вселенная продолжает расширяться с ускорением?
Следуя бритве Оккама, сущности не следует умножать сверх необходимости. Значит ли это, что первая теория более верная, так как она ограничивает количество объектов во вселенной? Как оценить простоту теории? Чем теория декогеренции лучше теории коллапса?
Сегодня, 5 июля, мы продолжим обсуждать цепочку "Квантовая механика и множественные миры". Поговорим про следующие эссе:
- Декогеренция — это просто (Decoherence is Simple);
- Декогеренция фальсифицируема и проверяема (Decoherence is Falsifiable and Testable).
Наш клуб чтения Цепочек дошёл до той части книги, где многие эссе не переведены.
Ссылка на оригиналы: Quantum Physics and Many Worlds
Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/5xin32pbvbhefg4gxabgwjaodu
Начало в 19:30 по московскому времени (UTC+3).
Присоединяйтесь поучаствовать или послушать.
Продолжаем читать и обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского.
Что звучит правдоподобнее: теория, что у нашей вселенной есть четкие устойчивые границы, или теория, что вселенная продолжает расширяться с ускорением?
Следуя бритве Оккама, сущности не следует умножать сверх необходимости. Значит ли это, что первая теория более верная, так как она ограничивает количество объектов во вселенной? Как оценить простоту теории? Чем теория декогеренции лучше теории коллапса?
Сегодня, 5 июля, мы продолжим обсуждать цепочку "Квантовая механика и множественные миры". Поговорим про следующие эссе:
- Декогеренция — это просто (Decoherence is Simple);
- Декогеренция фальсифицируема и проверяема (Decoherence is Falsifiable and Testable).
Наш клуб чтения Цепочек дошёл до той части книги, где многие эссе не переведены.
Ссылка на оригиналы: Quantum Physics and Many Worlds
Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/5xin32pbvbhefg4gxabgwjaodu
Начало в 19:30 по московскому времени (UTC+3).
Присоединяйтесь поучаствовать или послушать.
Lesswrong
Quantum Physics and Many Worlds - LessWrong
Quantum mechanics is our best mathematical model of the universe to date, powerfully confirmed by a century of tests. However, interpreting what the experimental results mean - how and when the Schrödinger equation and Born's rule interact - is a topic of…
#встречи #цепочки #юдковский #онлайн
Продолжаем читать и обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского.
Между нулевыми шансами выиграть в лотерею и шансами, равными эпсилону, существует разница. Порядок этой величины примерно равен эпсилону. Если вы в этом сомневаетесь, возьмите за эпсилон единицу, делённую на гуголплекс.
Как прочувствовать микроскопическую вероятность на интуитивном уровне? Почему полезнее оставаться в состоянии замешательства, чем делать преждевременные выводы? Если мы не имеем достаточных свидетельств, почему мы так часто принимаем одну из гипотез на веру?
Сегодня, 12 июля, мы продолжим обсуждать цепочку "Квантовая механика и множественные миры". Поговорим про следующие эссе:
- Выбор гипотезы (Privileging the Hypothesis);
- Жизнь во множестве миров (Living in Many Worlds);
- Квантовый анти-реализм (Quantum Non-Realism).
Наш клуб чтения Цепочек дошёл до той части книги, где многие эссе не переведены. Ссылка на оригиналы: Quantum Physics and Many Worlds.
Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/5xin32pbvbhefg4gxabgwjaodu
Начало в 19:30 по московскому времени (UTC+3).
Присоединяйтесь поучаствовать или послушать.
Продолжаем читать и обсуждать книгу "Рациональность: от ИИ до Зомби" Элиезера Юдковского.
Между нулевыми шансами выиграть в лотерею и шансами, равными эпсилону, существует разница. Порядок этой величины примерно равен эпсилону. Если вы в этом сомневаетесь, возьмите за эпсилон единицу, делённую на гуголплекс.
Как прочувствовать микроскопическую вероятность на интуитивном уровне? Почему полезнее оставаться в состоянии замешательства, чем делать преждевременные выводы? Если мы не имеем достаточных свидетельств, почему мы так часто принимаем одну из гипотез на веру?
Сегодня, 12 июля, мы продолжим обсуждать цепочку "Квантовая механика и множественные миры". Поговорим про следующие эссе:
- Выбор гипотезы (Privileging the Hypothesis);
- Жизнь во множестве миров (Living in Many Worlds);
- Квантовый анти-реализм (Quantum Non-Realism).
Наш клуб чтения Цепочек дошёл до той части книги, где многие эссе не переведены. Ссылка на оригиналы: Quantum Physics and Many Worlds.
Встреча пройдёт в онлайне, на платформе Zoom. Подробности и регистрация:
https://kocherga-club.ru/events/5xin32pbvbhefg4gxabgwjaodu
Начало в 19:30 по московскому времени (UTC+3).
Присоединяйтесь поучаствовать или послушать.
#переводы #цепочки #юдковский
Новый перевод на сайте -- эссе Элиезера Юдковского "Эпистемическая порочность" из цепочки "Создание сообщества".
По мотивам прочитанной статьи Юдковский рассуждает о следующем явлении: люди нередко обучаются боевым искусствам и, вроде бы у признанных мастеров, но потом понимают, что в реальном бою они мало что могут. Иногда случается, что и признанный мастер боевых искусств в поединке с не слишком жёсткими правилами терпит достаточно впечатляющее поражение.
Почему это происходит? И если мы пользуемся метафорой, что рациональности нужно обучать как боевым искусствам, как мы можем избежать таких же провалов?
https://lesswrong.ru/656
Новый перевод на сайте -- эссе Элиезера Юдковского "Эпистемическая порочность" из цепочки "Создание сообщества".
По мотивам прочитанной статьи Юдковский рассуждает о следующем явлении: люди нередко обучаются боевым искусствам и, вроде бы у признанных мастеров, но потом понимают, что в реальном бою они мало что могут. Иногда случается, что и признанный мастер боевых искусств в поединке с не слишком жёсткими правилами терпит достаточно впечатляющее поражение.
Почему это происходит? И если мы пользуемся метафорой, что рациональности нужно обучать как боевым искусствам, как мы можем избежать таких же провалов?
https://lesswrong.ru/656
LessWrong на русском
Эпистемическая порочность
Я очень благодарен тому, кто навёл меня на большое эссе Гиллианы Рассел "[Эпистемическая порочность в боевых искусствах](https://web.archive.org/web/20120502203055/http://artsci.wustl.edu/~grussell/epistemicviciousness.pdf)"[fn]Gillian Russell, “Epistemic…
#в_мире #переводы #юдковский
В сентябре этого года состоялась встреча в некотором чате, где Элиезер Юдковский описывал, как он представляет грядущие проблемы, связанные с вероятным появлением сильного искусственного интеллекта. Пару недель назад отредактированную расшифровку этой встрече выложили на AI Alignment Forum, а на днях Максим Выменец выложил свой перевод этой расшифровки.
https://vk.com/@makikoty-obsuzhdenie-agi-s-eliezerom-udkovskim
В сентябре этого года состоялась встреча в некотором чате, где Элиезер Юдковский описывал, как он представляет грядущие проблемы, связанные с вероятным появлением сильного искусственного интеллекта. Пару недель назад отредактированную расшифровку этой встрече выложили на AI Alignment Forum, а на днях Максим Выменец выложил свой перевод этой расшифровки.
https://vk.com/@makikoty-obsuzhdenie-agi-s-eliezerom-udkovskim
VK
Обсуждение AGI с Элиезером Юдковским
Оригинал: https://www.alignmentforum.org/posts/CpvyhFy9WvCNsifkY/discussion-with-eliezer-yudkowsky-on-agi-interventions
#переводы #юдковский
Новый перевод на сайте -- полушуточный диалог Элиезера Юдковского "Задача соответствия ракет и цели". Юдковский, используя аналогии из другой области, пытается объяснить, чем именно занимаются в MIRI и почему.
https://lesswrong.ru/755
Новый перевод на сайте -- полушуточный диалог Элиезера Юдковского "Задача соответствия ракет и цели". Юдковский, используя аналогии из другой области, пытается объяснить, чем именно занимаются в MIRI и почему.
https://lesswrong.ru/755
LessWrong на русском
Задача соответствия ракет и цели
Нижеследующее — вымышленный диалог, основанный на [Соответствие ИИ — Почему это сложно и с чего начать](https://intelligence.org/2016/12/28/ai-alignment-why-its-hard-and-where-to-start/). (_Где-то в не-очень-то-близком из миров по соседству, где наука пошла…
#переводы #юдковский #нго #соарес
Новый перевод на сайте -- дискуссия между Элиезером Юдковским и Ричардом Нго о сложности задачи согласования ИИ (AI alignment).
Согласование ИИ (в некоторых переводах ранее использовался термин "соответствие ИИ", перевод термина ещё не устоялся) - это процесс или набор решений, который обеспечит, что действия потенциального ИИ разумнее человека будут согласованы с человеческими целями. В начале сентября Элиезер Юдковский и Ричард Нго (в прошлом сотрудник DeepMind, ныне сотрудник OpenAI) долго и подробно обсуждали вопрос, почему согласование ИИ -- это сложная задача.
Дискуссия огромна и в ней затрагивается множество разных вопросов.
https://lesswrong.ru/1083
За перевод нужно благодарить группу Мак и коты и AI Safety.
Новый перевод на сайте -- дискуссия между Элиезером Юдковским и Ричардом Нго о сложности задачи согласования ИИ (AI alignment).
Согласование ИИ (в некоторых переводах ранее использовался термин "соответствие ИИ", перевод термина ещё не устоялся) - это процесс или набор решений, который обеспечит, что действия потенциального ИИ разумнее человека будут согласованы с человеческими целями. В начале сентября Элиезер Юдковский и Ричард Нго (в прошлом сотрудник DeepMind, ныне сотрудник OpenAI) долго и подробно обсуждали вопрос, почему согласование ИИ -- это сложная задача.
Дискуссия огромна и в ней затрагивается множество разных вопросов.
https://lesswrong.ru/1083
За перевод нужно благодарить группу Мак и коты и AI Safety.
LessWrong на русском
Дискуссия Нго и Юдковского про сложность задачи согласования
**Примечание редактора сайта**: Под "согласованием" в заголовке и далее в тексте подразумевается англоязычное "[AI] alignment". В некоторых других статьях на этом сайте этот термин переводился как "соответствие [ИИ целям оператора]". Пока перевод этого термина…