#переводы
Новый перевод на сайте -- короткий художественный рассказ пользователя Dias под названием "Карантин".
https://lesswrong.ru/645
Новый перевод на сайте -- короткий художественный рассказ пользователя Dias под названием "Карантин".
https://lesswrong.ru/645
LessWrong на русском
Короткая история: Карантин
*Второе июня, 42 после Падения* *Где-то в горах Колорадо* Сначала они увидели человека, идущего в нескольких милях от комплекса. По крайней мере, это выглядело как человек. Выцветшие джинсы, белая футболка, ветровка, походный рюкзак. Белый, светло-коричневые…
#переводы #цепочки #юдковский
Новый перевод на сайте -- эссе Элиезера Юдковского "Ошибка выломанного рычага" из цепочки "Фальшивые предпочтения".
Некоторые люди при обсуждении вопроса, как сделать так, чтобы цели ИИ согласовывались с целями человека, считают, что просто нужно правильно воспитать ИИ. Ведь мы же умеем правильно воспитывать детей. Этот сюжет встречался и в некоторой фантастике.
Что здесь может пойти не так?
https://lesswrong.ru/646
Новый перевод на сайте -- эссе Элиезера Юдковского "Ошибка выломанного рычага" из цепочки "Фальшивые предпочтения".
Некоторые люди при обсуждении вопроса, как сделать так, чтобы цели ИИ согласовывались с целями человека, считают, что просто нужно правильно воспитать ИИ. Ведь мы же умеем правильно воспитывать детей. Этот сюжет встречался и в некоторой фантастике.
Что здесь может пойти не так?
https://lesswrong.ru/646
LessWrong на русском
Ошибка выломанного рычага
Имя этой ошибки происходит из древнего научно-фантастического сериала, которого я сам не видел. Я узнал об этом сериале из надёжного источника --- от какого-то парня на конвенте, посвящённом научной фантастике. Если вы знаете, что это за сериал, напишите…
#переводы
Новый перевод на сайте -- эссе Майкла "Валентайна" Смита "Понимание на уровне шестерёнок".
Чтобы ориентироваться в мире, мы строим его модели -- формируем у себя в голове представление, как различные штуки связаны друг с другом, что может произойти в дальнейшем, а что не может. Судя по всему, чтобы достигать своих целей, неплохо иметь хорошую модель той части мира, которая тебе интересна. Но как отличить хорошую модель от плохой?
Возможно, на этом месте многие скажут: "Конечно же, с помощью экспериментов". Однако в некоторых областях жизни ставить эксперимент довольно дорого. И хотя понятно, что какие-то эксперименты ставить всё равно придётся, кажется, неплохо бы к ним заранее подготовиться и как-то сузить круг необходимых экспериментов.
Эссе вводит понятие "шестерёночная модель", которое, с моей точки зрения, очень активно используется на LessWrong'е в последние годы (эссе написано в 2017 году).
https://lesswrong.ru/648
Новый перевод на сайте -- эссе Майкла "Валентайна" Смита "Понимание на уровне шестерёнок".
Чтобы ориентироваться в мире, мы строим его модели -- формируем у себя в голове представление, как различные штуки связаны друг с другом, что может произойти в дальнейшем, а что не может. Судя по всему, чтобы достигать своих целей, неплохо иметь хорошую модель той части мира, которая тебе интересна. Но как отличить хорошую модель от плохой?
Возможно, на этом месте многие скажут: "Конечно же, с помощью экспериментов". Однако в некоторых областях жизни ставить эксперимент довольно дорого. И хотя понятно, что какие-то эксперименты ставить всё равно придётся, кажется, неплохо бы к ним заранее подготовиться и как-то сузить круг необходимых экспериментов.
Эссе вводит понятие "шестерёночная модель", которое, с моей точки зрения, очень активно используется на LessWrong'е в последние годы (эссе написано в 2017 году).
https://lesswrong.ru/648
LessWrong на русском
Понимание на уровне шестерёнок
Среди бумажных дорожных карт одни полезнее других. Иногда это связано с тем, [насколько хорошо карта отражает территорию](https://lesswrong.ru/501), однако стоит ещё учитывать и особенности самой карты, не связанные с территорией. Например, линии на карте…
#переводы #юдковский
Новый перевод на сайте -- эссе Элиезера Юдковского "Используйте слово «рационально», только если от него нельзя избавиться".
Это очень короткое эссе, поэтому вместо анонса я приведу его целиком.
===
Почти всегда, если в предложении используется слово «истина», его можно убрать, применив формулу Тарского. Например, если кто-то говорит: «Я убеждён, что небо синее, и это истина!», то это можно перефразировать как: «Я убеждён, что небо синее, и небо синее». Для любого «Предложение Х - истина» можно просто сказать Х и передать ту же самую информацию о своих убеждениях. Просто говорите о территории, которой карта предположительно соответствует, а не о карте.
Когда слово «истина» убрать нельзя? Когда вы говорите об общих принципах, касающихся соответствия между картой и территорией. Например: «Истинные теории с большей вероятностью дадут верные предсказания об исходах эксперимента». В этом предложении невозможно избавиться от слова «истинные», потому что здесь речь идёт о соответствии между картой и территорией в общем случае.
Аналогично можно убрать слово «рационально» из почти всех предложений, где оно используется. «Рационально считать, что небо синее», «Истина в том, что небо синее» и «Небо синее» передают абсолютно одинаковую информацию о цвете неба с вашей точки зрения. Не больше, не меньше.
Когда из предложения нельзя убрать слово «рационально»?
Когда вы формулируете общие принципы для алгоритмов мышления, которые приводят к соответствию между картой и территорией (эпистемическая рациональность) или направляют будущее туда, куда вы хотите (инструментальная рациональность). Можно убрать слово «рационально» из предложения «Рационально считать, что небо синее». Нельзя убрать слово «рационально» из предложения «Эпистемически рационально повышать свою уверенность в гипотезах, которые делают успешные предсказания». Табуировать это слово, конечно, можно, но вы получите что-то вроде: «Чтобы увеличить соответствие между картой и территорией, следуйте алгоритму, который требует увеличивать уверенность в гипотезе, которая делает успешные предсказания». Можно избавиться от слова, но не получится избавиться от самого понятия, не изменив смысла предложения, поскольку речь фактически идёт об универсальных алгоритмах мышления, которые строят соответствие между картой и территорией.
Никогда не следует использовать слово «рационально» без необходимости, то есть, если мы не обсуждаем алгоритмы мышления как алгоритмы.
Если вы хотите поговорить о том, как применить рациональность, чтобы купить самую крутую машину, но в первую очередь собираетесь рассуждать о машинах, а не о том, какие алгоритмы мышления самые лучшие, назовите свой пост «Как лучше покупать машину», а не «Как рационально покупать машину».
Спасибо за то, что соблюдаете технику безопасности.
===
https://lesswrong.ru/653
Новый перевод на сайте -- эссе Элиезера Юдковского "Используйте слово «рационально», только если от него нельзя избавиться".
Это очень короткое эссе, поэтому вместо анонса я приведу его целиком.
===
Почти всегда, если в предложении используется слово «истина», его можно убрать, применив формулу Тарского. Например, если кто-то говорит: «Я убеждён, что небо синее, и это истина!», то это можно перефразировать как: «Я убеждён, что небо синее, и небо синее». Для любого «Предложение Х - истина» можно просто сказать Х и передать ту же самую информацию о своих убеждениях. Просто говорите о территории, которой карта предположительно соответствует, а не о карте.
Когда слово «истина» убрать нельзя? Когда вы говорите об общих принципах, касающихся соответствия между картой и территорией. Например: «Истинные теории с большей вероятностью дадут верные предсказания об исходах эксперимента». В этом предложении невозможно избавиться от слова «истинные», потому что здесь речь идёт о соответствии между картой и территорией в общем случае.
Аналогично можно убрать слово «рационально» из почти всех предложений, где оно используется. «Рационально считать, что небо синее», «Истина в том, что небо синее» и «Небо синее» передают абсолютно одинаковую информацию о цвете неба с вашей точки зрения. Не больше, не меньше.
Когда из предложения нельзя убрать слово «рационально»?
Когда вы формулируете общие принципы для алгоритмов мышления, которые приводят к соответствию между картой и территорией (эпистемическая рациональность) или направляют будущее туда, куда вы хотите (инструментальная рациональность). Можно убрать слово «рационально» из предложения «Рационально считать, что небо синее». Нельзя убрать слово «рационально» из предложения «Эпистемически рационально повышать свою уверенность в гипотезах, которые делают успешные предсказания». Табуировать это слово, конечно, можно, но вы получите что-то вроде: «Чтобы увеличить соответствие между картой и территорией, следуйте алгоритму, который требует увеличивать уверенность в гипотезе, которая делает успешные предсказания». Можно избавиться от слова, но не получится избавиться от самого понятия, не изменив смысла предложения, поскольку речь фактически идёт об универсальных алгоритмах мышления, которые строят соответствие между картой и территорией.
Никогда не следует использовать слово «рационально» без необходимости, то есть, если мы не обсуждаем алгоритмы мышления как алгоритмы.
Если вы хотите поговорить о том, как применить рациональность, чтобы купить самую крутую машину, но в первую очередь собираетесь рассуждать о машинах, а не о том, какие алгоритмы мышления самые лучшие, назовите свой пост «Как лучше покупать машину», а не «Как рационально покупать машину».
Спасибо за то, что соблюдаете технику безопасности.
===
https://lesswrong.ru/653
LessWrong на русском
Используйте слово "рационально", только если от него нельзя избавиться
Почти всегда, если в предложении используется слово "истина", его можно убрать, применив формулу Тарского. Например, если кто-то говорит: "Я убеждён, что небо синее, и это истина!", то это можно перефразировать как: "Я убеждён, что небо синее, и небо синее".…
#переводы #цепочки #юдковский
Новый перевод на сайте -- эссе Элиезера Юдковского "Эпистемическая порочность" из цепочки "Создание сообщества".
По мотивам прочитанной статьи Юдковский рассуждает о следующем явлении: люди нередко обучаются боевым искусствам и, вроде бы у признанных мастеров, но потом понимают, что в реальном бою они мало что могут. Иногда случается, что и признанный мастер боевых искусств в поединке с не слишком жёсткими правилами терпит достаточно впечатляющее поражение.
Почему это происходит? И если мы пользуемся метафорой, что рациональности нужно обучать как боевым искусствам, как мы можем избежать таких же провалов?
https://lesswrong.ru/656
Новый перевод на сайте -- эссе Элиезера Юдковского "Эпистемическая порочность" из цепочки "Создание сообщества".
По мотивам прочитанной статьи Юдковский рассуждает о следующем явлении: люди нередко обучаются боевым искусствам и, вроде бы у признанных мастеров, но потом понимают, что в реальном бою они мало что могут. Иногда случается, что и признанный мастер боевых искусств в поединке с не слишком жёсткими правилами терпит достаточно впечатляющее поражение.
Почему это происходит? И если мы пользуемся метафорой, что рациональности нужно обучать как боевым искусствам, как мы можем избежать таких же провалов?
https://lesswrong.ru/656
LessWrong на русском
Эпистемическая порочность
Я очень благодарен тому, кто навёл меня на большое эссе Гиллианы Рассел "[Эпистемическая порочность в боевых искусствах](https://web.archive.org/web/20120502203055/http://artsci.wustl.edu/~grussell/epistemicviciousness.pdf)"[fn]Gillian Russell, “Epistemic…
#переводы #скотт_александер
Новый перевод на сайте -- эссе Скотта Александера "Оправдания: восемь небольших этюдов". В этом эссе автор рассматривает оправдания с точки зрения теории игр.
https://lesswrong.ru/659
Новый перевод на сайте -- эссе Скотта Александера "Оправдания: восемь небольших этюдов". В этом эссе автор рассматривает оправдания с точки зрения теории игр.
https://lesswrong.ru/659
LessWrong на русском
Оправдания: восемь небольших этюдов
## Неуклюжий игрок Вы с партнёром играете в Повторяющуюся Дилемму Заключённого. Вы оба публично обязались следовать стратегии «око за око». До пятой итерации всё шло замечательно, вы счастливо загребали себе бонусы кооперации, но тут ваш партнёр внезапно…
#переводы #скотт_александер
Новый перевод на сайте -- эссе Скотта Александера "Заборы Шеллинга на скользких дорожках". В этом эссе Скотт Александер рассуждает об аргументе "скользкой дорожки". Когда такой аргумент может быть оправдан?
https://lesswrong.ru/661
Новый перевод на сайте -- эссе Скотта Александера "Заборы Шеллинга на скользких дорожках". В этом эссе Скотт Александер рассуждает об аргументе "скользкой дорожки". Когда такой аргумент может быть оправдан?
https://lesswrong.ru/661
LessWrong на русском
Заборы Шеллинга на скользких дорожках
Скользкая дорожка сама по себе скользковатая концепция. Представьте, как бы вы объясняли её инопланетянину: «Ну, мы, правильно думающие люди, довольно таки уверены, что Холокост был, так что запрет отрицания Холокоста заткнул бы некоторых чокнутых и улучшил…
#переводы #скотт_александер
Новый перевод на сайте -- эссе Скотта Александера "Кардиологи и китайские грабители". Вы когда-нибудь задумывались, сколько преступлений совершают кардиологи?
https://lesswrong.ru/662
Новый перевод на сайте -- эссе Скотта Александера "Кардиологи и китайские грабители". Вы когда-нибудь задумывались, сколько преступлений совершают кардиологи?
https://lesswrong.ru/662
LessWrong на русском
Кардиологи и китайские грабители
## I Кардиологами становятся очень своеобразные люди. И не всегда в хорошем смысле.
#в_мире #переводы #юдковский
В сентябре этого года состоялась встреча в некотором чате, где Элиезер Юдковский описывал, как он представляет грядущие проблемы, связанные с вероятным появлением сильного искусственного интеллекта. Пару недель назад отредактированную расшифровку этой встрече выложили на AI Alignment Forum, а на днях Максим Выменец выложил свой перевод этой расшифровки.
https://vk.com/@makikoty-obsuzhdenie-agi-s-eliezerom-udkovskim
В сентябре этого года состоялась встреча в некотором чате, где Элиезер Юдковский описывал, как он представляет грядущие проблемы, связанные с вероятным появлением сильного искусственного интеллекта. Пару недель назад отредактированную расшифровку этой встрече выложили на AI Alignment Forum, а на днях Максим Выменец выложил свой перевод этой расшифровки.
https://vk.com/@makikoty-obsuzhdenie-agi-s-eliezerom-udkovskim
VK
Обсуждение AGI с Элиезером Юдковским
Оригинал: https://www.alignmentforum.org/posts/CpvyhFy9WvCNsifkY/discussion-with-eliezer-yudkowsky-on-agi-interventions
#переводы #юдковский
Новый перевод на сайте -- полушуточный диалог Элиезера Юдковского "Задача соответствия ракет и цели". Юдковский, используя аналогии из другой области, пытается объяснить, чем именно занимаются в MIRI и почему.
https://lesswrong.ru/755
Новый перевод на сайте -- полушуточный диалог Элиезера Юдковского "Задача соответствия ракет и цели". Юдковский, используя аналогии из другой области, пытается объяснить, чем именно занимаются в MIRI и почему.
https://lesswrong.ru/755
LessWrong на русском
Задача соответствия ракет и цели
Нижеследующее — вымышленный диалог, основанный на [Соответствие ИИ — Почему это сложно и с чего начать](https://intelligence.org/2016/12/28/ai-alignment-why-its-hard-and-where-to-start/). (_Где-то в не-очень-то-близком из миров по соседству, где наука пошла…
#переводы
Сообщество в ВК "Космос ждал" начало переводить "CFAR Participant Handbook" - методички, раздаваемой участникам воркшопов по рациональности, организуемых CFAR. В этой методичке собраны описания разнообразных техник прикладной рациональности, чтобы участники воркшопа могли не тратить время на записи в процессе, а могли лучше сосредоточиться на самих упражнениях.
У CFAR есть некоторый скепсис на тему, насколько их Handbook полезен без самого воркшопа. Более подробно об этом написано в предисловии, которое в перевод не вошло.
Начало перевода можно найти в записи: https://vk.com/wall-174182021_4520 Далее можно смотреть по тэгу #translations@cosmospolon или просто искать в записях сообщества.
Сообщество в ВК "Космос ждал" начало переводить "CFAR Participant Handbook" - методички, раздаваемой участникам воркшопов по рациональности, организуемых CFAR. В этой методичке собраны описания разнообразных техник прикладной рациональности, чтобы участники воркшопа могли не тратить время на записи в процессе, а могли лучше сосредоточиться на самих упражнениях.
У CFAR есть некоторый скепсис на тему, насколько их Handbook полезен без самого воркшопа. Более подробно об этом написано в предисловии, которое в перевод не вошло.
Начало перевода можно найти в записи: https://vk.com/wall-174182021_4520 Далее можно смотреть по тэгу #translations@cosmospolon или просто искать в записях сообщества.