Forwarded from Малоизвестное интересное
Полтриллиона долларов не спасут от рака. AGI - тоже
Возможно, главная преграда на пути к решению важнейших проблем человечества - не нехватка денег, данных или интеллекта, а неверно заданная оптимизация нашего коллективного разума.
⚡️ Аудио-версию слушайте в посте выше 👆
Еще в 2023 году, в эссе «Ловушка Гудхарта для AGI», я написал прогноз, который, как мне кажется, многие до сих пор так и не поняли.
Главная преграда на пути к использованию ИИ для решения самых сложных задач - это не нехватка вычислений, денег и интеллекта (машин и людей). Главная преграда в том, что существующие системы коллективного решения сложных проблем организованы так, чтобы оптимизировать не цель, а ее измеримый суррогат.
Годом позже в посте «Наняли бы вы на работу Океан Соляриса?», я снова возвращался к этой мысли: мир неотвратимо приближается к ловушке Гудхарта, где ИИ будет все лучше решать не наши реальные проблемы, а их удобные прокси (т.е. по сути, не облегчая, а усугубляя и без того высокую сложность решения важнейших проблем).
И вот теперь я снова пытаюсь достучаться со своим прогнозом. На сей раз, иллюстрируя его ситуацией в одном из самых чувствительных и судьбоносных направлений - лечение рака.
Эссе Эмилии Джаворски How AI Can, and Can’t, Cure Cancer мне видится важным не только как текст о раке и ИИ. Оно важно, как еще одно подтверждение гораздо более общего диагноза. Даже если залить систему гигантскими деньгами. Даже если дать ей очень мощный ИИ. Даже если однажды появится AGI. Это само по себе еще не значит, что система начнет двигаться к подлинной цели.
Потому что если система устроена так, что ученые оптимизируют публикабельность, стартапы - инвестиционную убедительность, клиники - потоки процедур, страховщики - минимизацию выплат, регуляторы - избегание громких ошибок, а разработчики - красивые метрики моделей, то на выходе возникает не лечение рака как главная цель, а каскад локальных оптимизаций, каждая из которых рациональна по-своему - и разрушительна для целого.
В этом и состоит воистину тревожный вывод.
Возможно, главная проблема на пути к решению самых тяжелых задач человечества - не отсутствие AGI и не нехватка ресурсов. Возможно, главная проблема в другом: цивилизация все лучше умеет максимизировать показатели и все хуже - удерживать связь этих показателей с реальностью.
И если это так, то рак здесь - не исключение, а краш-тест для коллективного разума человечества.
Потому что, если даже там, где на кону жизнь и смерть, система снова соскальзывает в ловушку Гудхарта, значит, перед нами уже не частная проблема медицины.
Перед нами - общая техно-социальной болезнь цивилизации.
Так что, увы, но пока совершенно неясно:
• сможет ли ИИ помочь решить наши самые сложные проблемы,
• или он лишь поможет нам окончательно заблудиться в собственных метриках.
#ИИ #AGI #Вызовы21века
Возможно, главная преграда на пути к решению важнейших проблем человечества - не нехватка денег, данных или интеллекта, а неверно заданная оптимизация нашего коллективного разума.
⚡️ Аудио-версию слушайте в посте выше 👆
Принято считать аксиомой - если задача не решается, значит, нужно добавить «решательных мощностей» - больше денег, больше вычислений, более умного ИИ. Но проблема рака, возможно, указывает на нечто куда более неприятное. Даже полтриллиона долларов и даже AGI сами по себе не гарантируют прорыва, если вся система по-прежнему устроена так, что оптимизирует не победу над болезнью, а набор прокси-метрик, локальных стимулов и суррогатных целей.
Еще в 2023 году, в эссе «Ловушка Гудхарта для AGI», я написал прогноз, который, как мне кажется, многие до сих пор так и не поняли.
Главная преграда на пути к использованию ИИ для решения самых сложных задач - это не нехватка вычислений, денег и интеллекта (машин и людей). Главная преграда в том, что существующие системы коллективного решения сложных проблем организованы так, чтобы оптимизировать не цель, а ее измеримый суррогат.
Годом позже в посте «Наняли бы вы на работу Океан Соляриса?», я снова возвращался к этой мысли: мир неотвратимо приближается к ловушке Гудхарта, где ИИ будет все лучше решать не наши реальные проблемы, а их удобные прокси (т.е. по сути, не облегчая, а усугубляя и без того высокую сложность решения важнейших проблем).
И вот теперь я снова пытаюсь достучаться со своим прогнозом. На сей раз, иллюстрируя его ситуацией в одном из самых чувствительных и судьбоносных направлений - лечение рака.
Эссе Эмилии Джаворски How AI Can, and Can’t, Cure Cancer мне видится важным не только как текст о раке и ИИ. Оно важно, как еще одно подтверждение гораздо более общего диагноза. Даже если залить систему гигантскими деньгами. Даже если дать ей очень мощный ИИ. Даже если однажды появится AGI. Это само по себе еще не значит, что система начнет двигаться к подлинной цели.
Потому что если система устроена так, что ученые оптимизируют публикабельность, стартапы - инвестиционную убедительность, клиники - потоки процедур, страховщики - минимизацию выплат, регуляторы - избегание громких ошибок, а разработчики - красивые метрики моделей, то на выходе возникает не лечение рака как главная цель, а каскад локальных оптимизаций, каждая из которых рациональна по-своему - и разрушительна для целого.
И тогда ИИ совсем не обязательно становится спасителем.
Более того. Он может стать идеальной машиной усиления каскада ошибок.
• Не вылечить системную болезнь, а довести ее до совершенства.
• Не приблизить подлинную цель, а еще быстрее увести систему в сторону прокси.
• Не победить рак, а сделать оптимизацию суррогатных метрик беспрецедентно эффективной.
В этом и состоит воистину тревожный вывод.
Возможно, главная проблема на пути к решению самых тяжелых задач человечества - не отсутствие AGI и не нехватка ресурсов. Возможно, главная проблема в другом: цивилизация все лучше умеет максимизировать показатели и все хуже - удерживать связь этих показателей с реальностью.
И если это так, то рак здесь - не исключение, а краш-тест для коллективного разума человечества.
Потому что, если даже там, где на кону жизнь и смерть, система снова соскальзывает в ловушку Гудхарта, значит, перед нами уже не частная проблема медицины.
Перед нами - общая техно-социальной болезнь цивилизации.
Так что, увы, но пока совершенно неясно:
• сможет ли ИИ помочь решить наши самые сложные проблемы,
• или он лишь поможет нам окончательно заблудиться в собственных метриках.
#ИИ #AGI #Вызовы21века
👍3👏1
Слушал на днях подкаст с Марком Андриссеном про последние прорывы в ИИ-агентах и автономных системах, и он между делом небрежно бросил одну фразу, которая меня реально зацепила: «Мы наконец-то поймем, что на самом деле значит по-настоящему учиться и развивать мышление». И ведь он чертовски прав. Истерия вокруг того же ChatGPT в образовании последние два года построена на ложной предпосылке. Преподаватели кричат, мол, ИИ убивает образование, студенты деградируют, перестают думать самостоятельно. Я же думаю ровно противоположное. Может, ИИ просто честно показал, что система образования была мертва уже давно, а мы упорно делали вид, что всё в порядке. Мы десятилетиями требуем от людей механически воспроизводить информацию, которая есть в любом поисковике, а потом искренне удивляемся, что их легко заменяет алгоритм. Вот тест для любого преподавателя: если ChatGPT сдает ваш экзамен на отлично, значит экзамен проверяет способность копировать, а не способность думать. Нейросеть пишет курсовую лучше среднего студента, и проблема здесь точно не в нейросети. Проблема в том, что мы десятилетиями привыкли называть обучением.
Недавно разговаривал с ректором крупного московского вуза на конференции. Жалуется ректор, что студенты массово списывают с ИИ, и не знает что делать, как с этим бороться. Спрашиваю, а что конкретно вы у них спрашиваете на экзаменах? Как я понял, то пересказ теории маркетинга из учебника двадцатилетней давности. Определения терминов, классификации подходов, стандартные схемы из методичек, которые не обновлялись с нулевых. Мы буквально требуем от людей быть живым Google образца 2005 года, и возмущаемся, что их заменил поисковик поновее. Студент старательно зубрит «4P маркетинга» из Котлера, а на работе ему нужно понимать, почему реклама в TikTok работает совсем иначе, чем в Facebook, и как адаптировать стратегию под конкретную платформу с конкретным бюджетом. Между первым и вторым - пропасть, и учебник двадцатилетней давности ее точно не закроет. Ректор, кстати, на это ничего не ответил. Просто помолчал и перевёл разговор на другую тему.
Знаете, в чем разницу между исполнителем и профессионалом? Исполнитель знает алгоритмы и следует инструкциям. Профессионал понимает контекст и принимает решения в условиях неопределенности. Один спрашивает «как делать», другой думает «зачем мы это делаем» и «что будет, если сделать иначе». Исполнителя можно заменить алгоритмом, что, собственно, сейчас и происходит. Профессионала заменить нельзя, потому что его ценность не в знаниях, а в способности эти знания применять в ситуации, которой нет в учебнике. А система образования упорно готовит первых. Потому что их проще измерить. Галочка в тесте, оценка в журнале, красивый отчет в министерство, все довольны. Что выпускник потом приходит на работу и не может принять ни одного самостоятельного решения без пошаговой инструкции, так это уже не проблема вуза, это проблема работодателя. Вуз свою метрику выполнил, диплом выдал, план по выпускникам закрыл, КЦП освоил, а дальше не его зона ответственности. К пуговицам претензиий нет.
ИИ не разрушает образование. Он показал, что мы десятилетиями проверяли не те навыки. Мы паникуем, что студенты перестанут зубрить, но когда вам на работе последний раз нужно было знать наизусть определение из учебника? Каждый день нужно совсем другое: анализировать противоречивые данные из разных источников, принимать решения при неполной информации, убедительно аргументировать свою позицию перед людьми, которые с тобой категорически не согласны. Формулировать вопросы, на которые нет готового ответа в методичке. Видеть закономерности там, где другие видят хаос. Этому систематически никто не учит, потому что сложно поставить объективную оценку. Гораздо проще напечатать тест с четырьмя вариантами ответов и посчитать галочки автоматически. Так и живем: старательно измеряем то, что легко измерить, а не то, что действительно важно. И гордо называем это образованием. Иронично, что понадобился искусственный интеллект, чтобы мы наконец вспомнили о ценности естественного.
Дмитрий Волошин
Недавно разговаривал с ректором крупного московского вуза на конференции. Жалуется ректор, что студенты массово списывают с ИИ, и не знает что делать, как с этим бороться. Спрашиваю, а что конкретно вы у них спрашиваете на экзаменах? Как я понял, то пересказ теории маркетинга из учебника двадцатилетней давности. Определения терминов, классификации подходов, стандартные схемы из методичек, которые не обновлялись с нулевых. Мы буквально требуем от людей быть живым Google образца 2005 года, и возмущаемся, что их заменил поисковик поновее. Студент старательно зубрит «4P маркетинга» из Котлера, а на работе ему нужно понимать, почему реклама в TikTok работает совсем иначе, чем в Facebook, и как адаптировать стратегию под конкретную платформу с конкретным бюджетом. Между первым и вторым - пропасть, и учебник двадцатилетней давности ее точно не закроет. Ректор, кстати, на это ничего не ответил. Просто помолчал и перевёл разговор на другую тему.
Знаете, в чем разницу между исполнителем и профессионалом? Исполнитель знает алгоритмы и следует инструкциям. Профессионал понимает контекст и принимает решения в условиях неопределенности. Один спрашивает «как делать», другой думает «зачем мы это делаем» и «что будет, если сделать иначе». Исполнителя можно заменить алгоритмом, что, собственно, сейчас и происходит. Профессионала заменить нельзя, потому что его ценность не в знаниях, а в способности эти знания применять в ситуации, которой нет в учебнике. А система образования упорно готовит первых. Потому что их проще измерить. Галочка в тесте, оценка в журнале, красивый отчет в министерство, все довольны. Что выпускник потом приходит на работу и не может принять ни одного самостоятельного решения без пошаговой инструкции, так это уже не проблема вуза, это проблема работодателя. Вуз свою метрику выполнил, диплом выдал, план по выпускникам закрыл, КЦП освоил, а дальше не его зона ответственности. К пуговицам претензиий нет.
ИИ не разрушает образование. Он показал, что мы десятилетиями проверяли не те навыки. Мы паникуем, что студенты перестанут зубрить, но когда вам на работе последний раз нужно было знать наизусть определение из учебника? Каждый день нужно совсем другое: анализировать противоречивые данные из разных источников, принимать решения при неполной информации, убедительно аргументировать свою позицию перед людьми, которые с тобой категорически не согласны. Формулировать вопросы, на которые нет готового ответа в методичке. Видеть закономерности там, где другие видят хаос. Этому систематически никто не учит, потому что сложно поставить объективную оценку. Гораздо проще напечатать тест с четырьмя вариантами ответов и посчитать галочки автоматически. Так и живем: старательно измеряем то, что легко измерить, а не то, что действительно важно. И гордо называем это образованием. Иронично, что понадобился искусственный интеллект, чтобы мы наконец вспомнили о ценности естественного.
Дмитрий Волошин
👍6❤🔥1❤1💯1
Forwarded from РИА Новости: США
Трамп подписал указ, поручив ускорить одобрение ряда психоделиков для лечения психических расстройств.
Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США ранее присвоило псилоцибину - активному ингредиенту галлюциногенных грибов - и МДМА статус "прорывных лекарственных средств" для лечения депрессии и посттравматического стрессового расстройства.
По мнению Трампа, препараты могут помочь людям, страдающим тяжелыми психическими расстройствами и депрессией, в том числе американским ветеранам.
Указ также предписывает создать процедуру, которая обеспечит ряду категорий пациентов доступ к психоделическим препаратам в рамках соответствующего законодательства.
Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США ранее присвоило псилоцибину - активному ингредиенту галлюциногенных грибов - и МДМА статус "прорывных лекарственных средств" для лечения депрессии и посттравматического стрессового расстройства.
По мнению Трампа, препараты могут помочь людям, страдающим тяжелыми психическими расстройствами и депрессией, в том числе американским ветеранам.
"Моя администрация намерена ускорить внедрение инновационных моделей исследований и надлежащие процедуры одобрения препаратов, чтобы расширить доступ к психоделическим средствам, которые могут спасать жизни и помочь обратить вспять кризис тяжелых психических расстройств в США", - говорится в подписанном документе.
Указ также предписывает создать процедуру, которая обеспечит ряду категорий пациентов доступ к психоделическим препаратам в рамках соответствующего законодательства.
👍3🔥2
Forwarded from RationalAnswer | Павел Комаровский
Топовый прогнозист Polymarket на подкасте Евгения Фельдмана
Ссылался на это видео во вчерашнем дайджесте как на «интервью недели» – ниже приведу краткое резюме интересных вещей оттуда.
🐌 Gopfan – это трейдер из топ-100 на Polymarket c общей прибылью свыше $1,5 млн. за полтора года (это только с текущего основного счета, были и другие). Считается одним из лучших прогнозистов в мире «со своей шкурой в игре» на рынках погоды и политики. До этого он интервью не давал.
🐌 Чувак нигде не палит свое настоящее имя – думаю, исходя из двух очевидных факторов (налоги и паяльник). Никнейм «Gopfan» – это очевидная отсылка к Республиканской партии США (что немного намекает на его собственные политические взгляды).
🐌 Про себя рассказывает, что он математик-олимпиадник из РФ, по профессии программист. Американской политикой интересовался давно, но ставки начал делать примерно с 2022–2023 (до этого сами рынки предсказаний были еще в довольно зачаточном состоянии, и нормально ставить из России было просто негде).
🐌 Но начал он не с политики, а с пари на температуру. Эти контракты разрешаются по официальным данным NASA: Гопфан просто раскопал их методологию, собрал наиболее близкий набор источников данных, – и построил свою модель, которая давала наиболее точный прогноз того, какие числа по температуре вот-вот объявит космическое агентство. Получился своего рода «money printer», сейчас он находится на первом месте по прибыли в погодном рейтинге Polymarket.
🐌 Почему он в итоге переключился в большей степени на политику? Во-первых, это просто интересно. А во-вторых, как он сам говорит, «в ставках на политику больше всего людей, которые готовы проиграть тебе крупные суммы денег – потому что каждый человек с дивана считает, что он лучше всех разбирается именно в политике».
🐌 Гопфан ставит на все подряд выборы, которые плюс-минус демократические и без подтасовок (от себя добавлю: немного иронично, что прямо сейчас самая большая позиция в его портфеле – это результаты сентябрьских выборов в Госдуму РФ, но ладно).
🐌 Принцип ставок на выборы, в целом, не сильно отличается от подхода к погодным рынкам: надо построить математическую модель, которая на основании данных опросов (и других факторов) будет выплевывать статистическую оценку ожидаемого распределения результатов. Но нюанс здесь в том, что для выборов в каждой отдельной стране надо строить крайне индивидуальную прикидку с учетом всех местных особенностей.
🐌 При этом на вопрос «а общаешься ли ты с местными, чтобы калибровать свою матмодель?» он отвечает, что это нередко дает даже скорее отрицательный эффект на ее точность: потому что ты поговоришь с какими-то конкретными людьми, которые не факт, что правильно отражают реальные распределения настроений по электорату. То есть, есть риск просто получить некий набор когнитивных искажений конкретных «экспертов».
🐌 Чем ближе к итогу выборов, тем выгоднее торговать на рынке: одновременно происходит большой приток людей с глупыми мнениями (выборы же на слуху!) и появляется всё больше новых данных, которые позволяют откалибровать матмодель. Условно, в последний час перед объявлением результатов коэффициенты на рынках предсказаний нередко оказываются наиболее искаженными от справедливого значения.
🐌 Просто интересный факт уже не из интервью: помните мою январскую серию постов про Единую Россию? Я там ставил против того, что эта партия на сентябрьских выборах наберет наибольший прирост голосов – когда рынок оценивал эту вероятность в 90%. Так вот, у Гопфана там противоположная позиция: он набрал ставку объемом порядка $100к+ как раз за рекордный результат ЕР (по средней цене 74%). Будет интересно потом сравнить с итоговым результатом.
Смотреть интервью целиком: https://www.youtube.com/watch?v=5qkzmhIfl0o
P.S. Вчера он еще, кстати, запустил свой ТГ-канал + анонсировал еще одно интервью на каком-то криптанском канале. Интересно, с чем связан такой резкий всплеск медиаактивности? 🤔
[Дежурная оговорка про рынки предсказаний]
Ссылался на это видео во вчерашнем дайджесте как на «интервью недели» – ниже приведу краткое резюме интересных вещей оттуда.
🐌 Gopfan – это трейдер из топ-100 на Polymarket c общей прибылью свыше $1,5 млн. за полтора года (это только с текущего основного счета, были и другие). Считается одним из лучших прогнозистов в мире «со своей шкурой в игре» на рынках погоды и политики. До этого он интервью не давал.
🐌 Чувак нигде не палит свое настоящее имя – думаю, исходя из двух очевидных факторов (налоги и паяльник). Никнейм «Gopfan» – это очевидная отсылка к Республиканской партии США (что немного намекает на его собственные политические взгляды).
🐌 Про себя рассказывает, что он математик-олимпиадник из РФ, по профессии программист. Американской политикой интересовался давно, но ставки начал делать примерно с 2022–2023 (до этого сами рынки предсказаний были еще в довольно зачаточном состоянии, и нормально ставить из России было просто негде).
🐌 Но начал он не с политики, а с пари на температуру. Эти контракты разрешаются по официальным данным NASA: Гопфан просто раскопал их методологию, собрал наиболее близкий набор источников данных, – и построил свою модель, которая давала наиболее точный прогноз того, какие числа по температуре вот-вот объявит космическое агентство. Получился своего рода «money printer», сейчас он находится на первом месте по прибыли в погодном рейтинге Polymarket.
🐌 Почему он в итоге переключился в большей степени на политику? Во-первых, это просто интересно. А во-вторых, как он сам говорит, «в ставках на политику больше всего людей, которые готовы проиграть тебе крупные суммы денег – потому что каждый человек с дивана считает, что он лучше всех разбирается именно в политике».
🐌 Гопфан ставит на все подряд выборы, которые плюс-минус демократические и без подтасовок (от себя добавлю: немного иронично, что прямо сейчас самая большая позиция в его портфеле – это результаты сентябрьских выборов в Госдуму РФ, но ладно).
🐌 Принцип ставок на выборы, в целом, не сильно отличается от подхода к погодным рынкам: надо построить математическую модель, которая на основании данных опросов (и других факторов) будет выплевывать статистическую оценку ожидаемого распределения результатов. Но нюанс здесь в том, что для выборов в каждой отдельной стране надо строить крайне индивидуальную прикидку с учетом всех местных особенностей.
🐌 При этом на вопрос «а общаешься ли ты с местными, чтобы калибровать свою матмодель?» он отвечает, что это нередко дает даже скорее отрицательный эффект на ее точность: потому что ты поговоришь с какими-то конкретными людьми, которые не факт, что правильно отражают реальные распределения настроений по электорату. То есть, есть риск просто получить некий набор когнитивных искажений конкретных «экспертов».
🐌 Чем ближе к итогу выборов, тем выгоднее торговать на рынке: одновременно происходит большой приток людей с глупыми мнениями (выборы же на слуху!) и появляется всё больше новых данных, которые позволяют откалибровать матмодель. Условно, в последний час перед объявлением результатов коэффициенты на рынках предсказаний нередко оказываются наиболее искаженными от справедливого значения.
🐌 Просто интересный факт уже не из интервью: помните мою январскую серию постов про Единую Россию? Я там ставил против того, что эта партия на сентябрьских выборах наберет наибольший прирост голосов – когда рынок оценивал эту вероятность в 90%. Так вот, у Гопфана там противоположная позиция: он набрал ставку объемом порядка $100к+ как раз за рекордный результат ЕР (по средней цене 74%). Будет интересно потом сравнить с итоговым результатом.
Смотреть интервью целиком: https://www.youtube.com/watch?v=5qkzmhIfl0o
P.S. Вчера он еще, кстати, запустил свой ТГ-канал + анонсировал еще одно интервью на каком-то криптанском канале. Интересно, с чем связан такой резкий всплеск медиаактивности? 🤔
[Дежурная оговорка про рынки предсказаний]