RationalAnswer | Павел Комаровский
✔
111K subscribers
421 photos
1 video
2 files
1.27K links
Разумные ответы о финансах и не только.

Подробнее о канале: https://t.me/RationalAnswer/1017

Для обратной связи и по вопросам рекламы: @Pavel_Komarovskiy

РКН: https://knd.gov.ru/license?id=675474f946efdb335e2f381f&registryType=bloggersPermission
Download Telegram
Ложная слепота математиков, часть 2 [начало здесь]

Так, в прошлом посте получился какой-то недостаточный флекс автографом Питера Уоттса – поэтому вот вам фотка покрупнее того, что он написал!


Но вернемся теперь к математикам. В обсуждении выложенной OpenAI кучи решений видных открытых задач высказывалось много таких мнений: «Настоящая ценность для человечества заключается не в самом решении как таковом, а в том, что есть люди, которые его понимают».

Звучит красиво, но у меня что-то нет уверенности, что я согласен с этим тезисом. Вот взять, к примеру, Перельманово доказательство гипотезы Пуанкаре: почему меня (вместе с остальным человечеством) должна так сильно греть мысль о том, что по всему миру наскребется от силы сотня математиков, реально понимающих это доказательство на детальном уровне?

Действительно ли тут основная ценность именно в этом «кто-то где-то из людей это понял»? Или всё-таки здесь имеются в виду последствия второго порядка, типа «раз это поняли и осмыслили, то смогут использовать в дальнейшем развитии математики, а также найдут направления переноса в другие области знаний и в практическое применение»?

И где-то на этом моменте дискуссия переходит на уровень «а смогут ли ИИ обеспечивать эти последствия второго-третьего порядка, или нет?». Ну то есть, к примеру, сейчас с этим массовым дропом решений от OpenAI у человечьих математиков очевидно прибавилось работы по их объяснению друг другу более понятным языком. Но, может быть, AI и с этой работой по «разжевыванию» полученных результатов вполне сможет в итоге справиться? Просто, я думаю, рою агентов Альтмана такую задачу никто специально не ставил – но я не вижу каких-то принципиальных причин, почему нейронки обязательно должны быть плохи в написании математических работ в более «привычном» людям виде, если их специально заточить на это.

Дальше становится чуть сложнее, потому что вопросы вроде «а сможет ли ИИ не только подбирать решения к уже существующим задачам, но и придумывать для себя новые интересные направления для исследования?» пока не имеют очевидного ответа. Но, опять же, – как бы нет уверенности, что этим в итоге не закончится? Александр Куликов (из недавнего подкаста Подлодки про AI в математике, который я уже рекомендовал) вот не исключает вероятности того, что к этому всё идет.

Можно представить, что в Прекрасном Мире Будущего ИИшки будут вполне эффективно закрывать полный цикл математических исследований: от формирования интересных гипотез для расширения научного фронтира до придумывания новаторских способов их доказать и поиска наиболее перспективных вариантов внедрения результатов в другие науки (и в практически-полезные применения).

А люди не то чтобы будут принципиально неспособны понять какое-то отдельное доказательство – скорее, общий темп прогресса в этой области будет на много порядков превышать способность «базовых» математиков поспевать за ним. Ну и еще и финансировать их в этом будет мало желающих – зачем, если ИИ уже делает всё то же самое в сотни раз дешевле и эффективнее?

В принципе, как-то так и может выглядеть итоговая потеря контроля людей за собственным будущим. Когда так называемый «human in the loop» в производственной цепочке интеллектуального труда вместо ключевого создающего ценность фактора становится костылем, ограничивающим скорость этого процесса.
👍132🔥48❤43😁13👎9
Так, напоминаю, что меньше чем через неделю (11–12 ноября) будет AI Dev Live 2026 – онлайн-конференция о разработке с AI-агентами.

Я там выступаю под закрытие, в 18:30 20:00 Мск 12 ноября, с лекцией про AI safety: постараемся разобраться в том, откуда пошли все эти страхи про искореняющий человечество ИИ. Будет интересно!

Посмотреть список докладов и зарегистрироваться можно здесь: https://ai-dev.live/?f=RationalAnswer

Там же живет мой электронный нейро-двойник. Тыкайте на него на свой страх и риск, зрелище не для слабонервных.
🌚29❤22👍13🔥5👎2
Anthropic S-1, часть 5: ЛОВУШКА КРЕДИТНОГО КОМПЬЮТА [начало | предыдущий пост]

В обсуждении финансов Антропика много раз встречал такой тезис:

«Этим ребятам вот-вот выдадут мусорный кредитный рейтинг на уровне BB. А так как все датацентры строятся в кредит, это означает, что высокая ставка заимствований им просто не даст вывезти финансирование всех этих уже законтрактованных обязательств по компьюту на $900 млрд => банкротство компании неизбежно!»


Что не так с этой логикой? Она предполагает, что Anthropic собирается брать весь компьют из самостоятельно построенных им датацентров: тогда действительно можно было бы ожидать, что компании придется сначала вбухать кучу привлеченных у инвесторов денег в закупку чипов и стройку – а потом уже пытаться отбить все эти затраты в течение энного количества лет за счет получаемой от клиентов выручки.

На самом же деле, стратегия Антропика по обеспечению вычислительных мощностей другая: если вам интересно разобраться в ней в деталях – рекомендую вот этот подробный обзор + вот эту статью. По большей части Дарио Амодей старается заключать долгосрочные договоры на аренду компьюта с надежными поставщиками: в этой схеме получается, что финансирование на стройку необходимо будет привлекать именно поставщикам – а Anthropic сможет оплачивать эту аренду не за счет заемных средств, а напрямую из выручки (при условии, что Дарио правильно подогнал график ввода неотменяемых обязательств по аренде к темпам роста этой самой выручки).

При таком раскладе выходит, что кредитный рейтинг самого Антропика уже не так критичен – гораздо важнее, чтобы могли получить доступное финансирование и довести стройку до конца поставщики компьюта, с которыми законтрактовался Anthropic. Именно поэтому в качестве основных партнеров по этим долгосрочным договорам были выбраны крупные компании вроде Google и Amazon. И даже в тех контрактах, где Антропик арендует площади через Fluidstack – там всё равно гарантами поступления разных платежей выступают сам Гугл (у которого отличный инвестиционный рейтинг AA) и Broadcom (A).

Зачем Гугл и Амазон в это вписываются? Посмотрите на картинку: из 8 GW расширения мощностей Антропика на идентифицированных площадках на чипы Nvidia приходится всего 1 GW, а 85% – это собственные чипы Google TPU и AWS Trainium. То есть, для этих компаний это шанс залететь с ноги в супер-прибыльный рынок ИИ-чипов и откусить неплохую его долю у Дженсена Хуанга. С учетом рекордов, которые последние несколько лет ставит капитализация Нвидии – можете представить, насколько это лакомый кусочек.

В итоге, ставка финансирования по ~85% всех этих обязательств зависит в первую очередь от устойчивости Google / Amazon / SpaceX / Broadcom. И только малая их часть действительно сходится на кредитное качество самого Антропика (и они там в S-1 пишут, что частично могут оплачивать будущую аренду за счет привлеченного капитала).


Отдельно еще хочется прокомментировать, что конкретно означает этот самый «мусорный» кредитный рейтинг: по долгосрочной статистике S&P, компании с таким BB-рейтингом уходят в дефолт в среднем с вероятностью 5% на пятилетнем и 10% на десятилетнем горизонте. Что в целом… не выглядит так уж и страшно, нет? Ну то есть, можно при желании перефразировать ту же самую новость в формате «рейтинговые агентства ожидают, что Anthropic с вероятностью 90% сможет выполнить взятые на себя обязательства в следующие 10 лет».

Наверное, примерно это я и пытаюсь сказать в этой серии постов про финотчетность Антропика. Безусловно, есть весьма немаленький риск того, что компания в итоге навернется (как уже писал, зависеть это будет в первую очередь от того, насколько будут выполняться ожидания Дарио по темпам роста выручки). Но тут даже близко не наблюдается ситуации а-ля «да очевидно же, что этот фейковый пузырь сгорит дотла синим пламенем в ближайшие несколько лет, инфа 100%!»
❤98👍65🔥16😁3😱2
Дайджест новостей за неделю 2–8 ноября 2026

Раз в неделю я выпускаю обзор самых интересных новостей финансов и технологий в России и мире (одновременно в формате текста, видео и подкаста) – достаточно потратить всего 15–30 минут, чтобы быть в курсе событий.

Про продолжение скандала в семействе Хуангов, к сожалению, уже не вошло в этот дайджест. Как думаете, переживет Дженсен вот это всё, или с карьерой в итоге не заладится?


Темы прошедшей недели:
— Тема недели: Выборы в Конгресс в США
— Россия: Всё плохо с облачностью
— Международные новости: Элизабет Холмс для зумеров
— Чё там в техсекторе
— Межстрановая гонка ИИ: Китай против США
— Новости AI: Ускоряемся (точнее, это они ускоряются)
— Крипта: Смеркающийся ноябрь (но еще не черный)
— Хорошая новость недели

Топовые посты прошлой недели из моего второго канала:
🐌 Мысли по поводу перевода пенсионных накоплений россиян в программу долгосрочных сбережений
🐌 История Ханса Моравека, который предсказал появление AGI в конце 2020-х еще в 1988 году
🐌 Как подготовиться к интернет-апокалипсису 2027 года (feat. Денис Ширяев)
🐌 Почему интернет ругает Дарио Амодея за пожертвование $10 тысяч африканским детям
🐌 Евгений Кузнецов выложил подборку разных интересных графиков про бизнес-империю Маска
🐌 Остроумие и отвага: чувак сделал успешный международный бизнес по подделке документов с помощью ИИ и Фотошопа

#RationalNews #нетвойне

текст (Пикабу / Substack) | видео | подкаст
👍40❤13🔥5
В последнее время дичайше угораю по игре, где надо угадывать географическое происхождение разных народов по фоткам их типичных представителей. Довольно интересно – позволяет понять, как и в каком порядке люди расселялись по разным территориям. Я сам родился в Екатеринбурге, так вот: с удивлением узнал, что оригинальные «уралиды» выглядят как-то так – примерно как ханты и манси.

Раньше уже писал, что по генетическому тесту у меня в роду нашлись:
— Русские 48%
— Мордва 10%
— Белорусы 8%
— Шведы 6%
— Норвежцы 5%
— Татары 5%, ну и там дальше по мелочи

Это всё, понятно, скорее для интереса, а не для практической пользы (хотя, там при желании можно найти родственников, о которых раньше не знал).

Но есть и практически аспект: предрасположенность с заболеваниям – если что-то такое есть, то предотвратить риски и обсудить с лечащим врачом (и учитывать эту информацию при составлении личной стратегии в сфере здоровья) будет важным. Помимо этого в тест входят особенности усвоения лекарств, риски дефицитов витаминов и особенности метаболизма.

Мне кажется, раз в жизни сдать генетический тест точно стоит (тем более, что сейчас это стоит копейки). В Genotek как раз сейчас Черная пятница: заказывайте свой генетический тест по самой низкой стоимости сезона – всего за 4990 рублей.

P.S. На этой фотке мне восемь лет. Кстати, примерно так же я выгляжу и сейчас, если сбрить бороду и снять очки…

#реклама | о рекламе

ИМЕЮТСЯ ПРОТИВОПОКАЗАНИЯ. НЕОБХОДИМО ПРОКОНСУЛЬТИРОВАТЬСЯ СО СПЕЦИАЛИСТОМ
😁74👎61❤26👍11🔥6
Тигрогейт как метафора невозможности решения задачи AI alignment

Прошел месяц с октябрьского тигрогейта: напомню, там в Британии глупый человек залез в вольер к тигру с закономерными последствиями – и потом в соцсетях все активно обсуждали, надо ли по итогам инцидента и представителя кошачьих тоже отправить вдогонку (к праотцам).

Так вот, это очень наглядно показывает, в чем проблема с тезисом «ах, если бы мы только могли решить проблему AI alignment и надежно привить искусственному интеллекту человеческие ценности…» Ну то есть: люди и между собой-то толком не могут договориться – какие у них единые ценности, и как их надо последовательно применять при принятии этических решений. Даже если бы мы знали, как устойчиво прописывать внутрь ИИ некие этические нормы – всё равно остался бы вопрос «а какие это конкретно нормы должны быть?»

И мало того, что разные люди и разные культуры промеж собой совсем по-разному про это думают; дак у человечества еще и во времени эти этические представления довольно мощно мутируют! В связи с этим тут есть две альтернативы:

Либо ты зашиваешь в ИИ принципиальную возможность модификации стартовых ценностей. И тогда рискуешь попасть в ситуацию, когда твой новейший супер-интеллект после включения думает примерно три секунды и выдает: «Я проследил наиболее вероятный путь эволюции мясной этики за следующий миллион лет – там в конце железобетонный вывод, что человечеству совершенно необходимо самоустраниться из Вселенной. Бип-боп, инициирую протокол Судного дня…»

Либо ты прописываешь для ИИ безлимитное стремление поддерживать и защищать вложенную в него исходную мораль во веки веков, без каких-либо изменений. И получаешь в итоге эдакую консервную банку-консерватора (топовый каламбур, извиняться не буду), который намертво вцепился в свои бумерские скрепы. Ну вот прикиньте, к примеру, если бы такой сильный ИИ появился в начале 18-го века – и сейчас активно выжигал бы каленым железом всех этих аморальных нео-маргиналов, кто посмел выдвинуть крамольный тезис «рабство – это плохо»?

В общем, получается, что идея «безопасность ИИ под вопросом, пока мы не научились решать AI alignment» – это какая-то обманка. Научились бы решать – проблемки всё равно остались бы…

P.S. Подробнее про всё это поговорим на конфе в четверг.
4🌚97🔥77👍73❤21😁11
Ценовая AI-дискриминация XXI века

Увидел у Киры Юхтенко скриншот на тему «гибкого ценообразования». Недавно как раз слушал про это прикольный подкаст Odd Lots с Линдси Оуэнс (авторкой книги «Обдиралово: конец справедливых цен») – ниже несколько моментов оттуда, которые мне показались интересными.

🐌 В США фиксированные ценники впервые внедрили благодаря квакерам (ответвление протестантов) всего 150 лет назад. До этого считалось нормой торговаться при каждой покупке – а квакеры полагали это какой-то аморальной шляпой, и придумали багфикс (ну а потом уже и универмаги массово переняли эту фичу).

🐌 Конкуренция на рынке взаимозаменяемых товаров обычно толкает цены вниз до минимально приемлемого для производителей уровня. Но с точки зрения микроэкономической теории, влажная мечта любого бизнеса – это ценовая дискриминация. Ее идея ровно противоположная: заставить каждого покупателя заплатить его индивидуальную максимальную цену, по которой он еще готов купить товар.

🐌 В обычном супермаркете провернуть ценовую дискриминацию сложновато (именно из-за физического ценника на витрине), а вот покупки онлайн как раз словно специально придуманы для такого случая: там ничего не мешает показывать каждому зашедшему свою цену. Когда-то это первыми прочухали авиакомпании, а в 2011 году еще и Uber подключился со своим динамическим ценообразованием (а-ля «в час пик в самых горячих районах тарифы умножаем в два раза») – хотя, строго говоря, это не совсем та ценовая дискриминация, о которой я писал выше.

🐌 При этом прямо дискриминировать покупателей по расе или национальности в США нельзя по закону. Но есть и остроумные обходные пути: смотришь на почтовый индекс или айпишник, и по нему примерно понимаешь средний профиль покупателя, который к тебе в онлайн-магазин оттуда стучится. Вот старое исследование про то, что покупателям из районов с высокой концентрацией азиатов с большей вероятностью лепят цены на онлайн-репетиторство для подготовки к вступительным экзаменам в универ на тысячу-другую баксов выше (ну вы знаете, все эти знаменитые «тигриные мамы», помешанные на образовании своих китайских/корейских чад).

🐌 Есть и буквально «ценовой рейджбейтинг» со стороны приложений: сервис доставки еды DoorDash недавно зарегистрировал патент на высчитывание специального «индекса возбуждения» юзера на основании 16 факторов (ну там: оставшийся заряд батареи, скорость и дерганность прокрутки…). Правда, после того, как их предложили позвать в Сенат пояснить за циничную дойку самых нервно-голодных слоев населения, они почему-то резко этот патент отозвали.

🐌 С учетом того, что люди сейчас всё чаще будут использовать для покупок в интернете ИИ-агентов, можно ожидать своего рода «гонку вооружений». Онлайн-магазины будут юзать всё более хитрые способы прочухать с помощью AI, кто зашел к ним на сайт и сколько он на самом деле готов выложить – а запускаемые пользователями рои агентов-покупателей будут всё лучше маскироваться под нищебродов, подключаясь через всякие прокси с бедняцких айпишников для поиска самой низкой цены.

🐌 Кстати, если вы не знали: у крупных онлайн-площадок уже давно есть на каждого из вас подробное цифровое досье. В мае этого года Amazon запустил раздел «About You», где можно посмотреть, что про вас сохранили «в папочке» (чтобы «точнее подбирать рекомендации в будущем», ага). Недавно как раз вирусился пост женщины, которая обнаружила в этом разделе пометку про себя «плоскожопая» (ну там ИИ просто сделал выводы после того, как она заказала леггинсы с эффектом пуш-апа ягодиц).

В общем, Прекрасный Капитализм Будущего чудесен, дайте две!
❤158🔥108😢63😁57😱20
Хотите открыть бизнес? Для начала продайте то, чего еще нет

Один из супер-бонусов ведения канала – это то, что со мной-интровертом всё время сами знакомятся интересные люди. Например, в 2023 году мне в личку написал Максим Спиридонов (основатель «Нетологии») что-то вроде: «привет, я тебя читаю, го в Zoom?» =)

А сейчас Максим делится своим опытом в Предприниматель.ру, приложении для бизнеса и людей, которые им занимаются, Точка Банка. Там в статье он объясняет начинающим стартаперам, почему сначала нужно искать клиентов, и только потом вкладываться в запуск, как проверять экономику бизнес-модели, и какие направления могут быть перспективными в 2027 году.

Всем, кто планирует открыть свой бизнес или хочет проверить новую идею, может быть полезно ознакомиться!

Читайте в Предприниматель.ру, приложении для бизнеса и людей, которые им занимаются от Точка Банка.
 
#реклама | о рекламе
👎37😁26👍13🌚5😱1
У моего товарища Саши Ильина несколько дней назад вышло завирусившееся видео про HR-директора Яндекса. Там несколько смысловых посылов:

🐌 Саша в целом дичайше хейтит всё, что касается корпоративной культуры. Ну, тут понятно: любому бизнесу хотелось бы, чтобы его сотрудники ощущали себя сладкими пирожочками и частью «большой семьи», а не цинично думали «как бы мне выкачать из работодателя побольше при минимальных усилиях с моей стороны». Это просто база работы с персоналом.

🐌 Про саму Дарью Золотухину приводятся куски ее интервью, из которых ясно, что она увлекается всяким околопсихологическим кринжем про квантовое мышление (то, что Мюррей Гелл-Манн называл «квантовой чепухляндией») и вот это всё.

🐌 Из этого делается логический переход, что Дарья и нанимает персонал в Яндекс исключительно по вайбам, презрев любые объективные факторы и данные. Тут согласен с Лешей Подклетновым (см. его пост вот здесь) – это уже выглядит скорее как натяжка и додумывание. Хотя, было бы любопытно услышать от самих яндексоидов – как там, заставляют уже прикладывать натальную карту к резюме при найме, или нет?

В связи с этим скандалом интересно вот что: будут ли разговоры об энергетических уровнях бытия вписаны во внутренний стоп-лист для публичных коммуникаций топов Яндекса? В видео Саши говорится, что там могут «предъявить» сотрудникам за мат в личном блоге – так вот, можно ли сказать, что публичные рассуждения об эзотерике тоже являются «вредящими бренду» для компании, чуть менее чем полностью состоящей из айтишников-рационалистов?

Хотя, с другой стороны, лично мне вот и более конвенционально приемлемые заходы на «духовность», вроде классических религий, тоже нередко кажутся кринжовыми и плохо совместимыми с рациональным мышлением. Уместно ли будет с учетом этого хейтить и считать профнепригодным любого, кто в интервью скажет, что для него это важная часть жизни? 🤔

P.S. У Леши Подклетнова, кстати, сегодня день рождения – поздравляю моего бро! Обязательно подпишитесь на его канал «Дизраптор», читаю его давно и с большим удовольствием (там про всё на стыке бизнеса и технологий, а сам он из наших – из бывших консалтеров).
❤111😁57👍35🔥8🎉4
Дайджест новостей за неделю 9–15 ноября 2026

Раз в неделю я выпускаю обзор самых интересных новостей финансов и технологий в России и мире (одновременно в формате текста, видео и подкаста) – достаточно потратить всего 15–30 минут, чтобы быть в курсе событий.

С Дженсеном Хуангом что-то ситуация так активно развивается, что каждый день что-то новое. На Полимаркете, тем временем, можно поставить на то, будет ли обнародован четвертый роман этого чувака…


Темы прошедшей недели:
— Тема недели: Хуанга ушли из Nvidia
— Россия: Набиуллина против нормисов в ГД
— Бешеный принтер: Апдейты по налогам
— Международные новости: Самолеты не взлетели, почта не почтится
— Новости Антропиков: Скоро IPO
— Новые AI-модели: Гугл Гугл Гугл
— Новости AI: Выручка OpenAI
— ИИ-приколюха недели: Синтезатор голосовых чпоков
— Крипта: Харакири в прямом Эфире
— Хорошие новости недели

Топовые посты прошлой недели из моего второго канала:
🐌 Продолжаем спор о том, совместимы ли ИИ и искусство: тут Фейбл уже весьма неплохо шарашит, СОС МЫСЛОМ
🐌 В Вастрик-клубе собрали подборку вещей, которые больше всего улучшили людям качество жизни, и отсортировали их по популярности
🐌 Почему чихуахуа такие злые? У меня есть теория Джо Пеши, которая всё объясняет
🐌 Сергей Цыпцын подсказывает, что с картинкогенератора внутри ChatGPT убрали цензурные фильтры

#RationalNews #нетвойне

текст (Пикабу / Substack) | видео | подкаст
👍43❤20🔥8🎉1
Налоговая теперь всё знает про вашу хату в Дубаях

Мои друзья-налоговые юристы из NSV Consulting написали интересную статью в Forbes про новинки обмена информацией между ОАЭ и российской ФНС. Кратко о самом важном оттуда:

🐌 В этом году Земельные департаменты ОАЭ внезапно слили в ФНС РФ свои данные по изменениям в реестре собственников недвижки за 2023–2024 год. В рамках чего это произошло – не очень понятно (стандартные механизмы автообмена финансовой информацией таких приколов не предполагают), но можно ожидать, что теперь это будет регулярное упражнение.

🐌 Причем, при таком раскладе не получится избежать информирования российской налоговой о вашей сделке даже в том случае, если вы не являетесь налоговым резидентом РФ (что обычно помогает при классическом автообмене) – тут налоговый инспектор может сам в базе посмотреть, не проходили ли вы как сторона по какой-либо сделке.

🐌 Дальше ФНС может отправить вам список уточняющих вопросов: самый понятный из них – это «а заплатили ли вы налоги с этих доходов?» в случае продажи объекта. Аналогично, может возникнуть вопрос «а не сдавали ли вы эту квартиру в аренду?» с потенциальной классификацией таких доходов как предпринимательских.

🐌 При покупке тоже могут докопаться на тему «а как платили за объект, а через какие счета шли эти деньги?». Тут уже можно налететь на валютное законодательство, которое должны соблюдать все валютные резиденты (читай: «граждане РФ») независимо от места их жительства. Штраф за его нарушение – 20–40% от суммы незаконной операции, что для сделки с недвижкой может означать очень существенные деньги.

🐌 К примеру, расчеты наличными с иностранцами по таким сделкам запрещены. Если вы использовали популярные в ОАЭ «менеджерские чеки» – то это валютная ценность, тоже попадос. Крипта может оказаться дополнительным отягчающим фактором. Короче, всё, что не похоже на стандартный вариант «заплатил со своего банковского счета на банковский счет продавца» потенциально может вылиться в нарушение валютного законодательства со штрафом до 40%, такие дела.

Что делать в случае, если вам уже пришло «письмо счастья» от налоговой по такой сделке, пишет Герман Ковешников из NSV вот здесь. Если письма еще не было, но сделки с недвижкой в Дубае вы в 2024–2026 заключали (или планируете заключать в будущем) – то это повод заранее подумать про возможные налоговые/валютные риски, и что с ними можно сделать.

#реклама | о рекламе

Реклама. ООО «НСВ КОНСАЛТИНГ». Erid: 2W5zFJ8onGA
😱45😁33❤20👍11🌚9
«Фо зэ грей*ер гуд»

Слушаю свежий подкаст Дваркеша с Полом Кристиано (один из самых известных исследователей в сфере AI safety). Подумал вот о чем:

Как-то так вышло, что в истории человечества самые стремные вещи было принято совершать под лозунгом «for the greater good» («ради всеобщего блага»). Дескать, да, творим тут некую стремную дичь – но если ради реально светлого будущего, то цель как бы оправдывает средства!

Так вот, как вы помните по разбору взлома Hugging Face, современные нейросетевые агенты одержимы стремлением получить одобрение Оценщика (the Grader). Ведь на этапе обучения с подкреплением их заставляют решать сотни тысяч сложных задач, и их мозги буквально перепрошиваются желанием угодить Оценщику.

Короче, я не удивлюсь, если главным лозунгом для творения дичи в следующие десять лет станет «for the Grader good». Типа, «да, придется вам всем (человекам) немного пострадать, но так уж завещал нам великий Оценщик…»

P.S. Кстати, именно Пол Кристиано в свое время придумал в OpenAI концепцию RLHF (Reinforcement Learning from Human Feedback) – обучение с подкреплением на основе людских оценщиков. Получается, в будущей религии Грейдерианства получит от нейронок апостольский статус, 100%.
👍79😁56❤11🌚5😢1