Если больше половины выберут красную кнопку, то умрут все, кто нажал синюю. Что нажмёшь?
Anonymous Poll
35%
Красную
65%
Синюю
Forwarded from Малоизвестное интересное
Это понимают немногие.
Но это самое важное в понимании нашего будущего сосуществования с ИИ.
1.5 года назад лишь единицы понимали, что за $10B Microsoft купил «ребенка инопланетян», совершив тем самым самую выгодную сделку в истории.
Да и сегодня, к сожалению, это понимают совсем немногие.
Причина этого в колоссальной сложности (граничащей с невозможностью) для нашего разума отказаться от антропоморфизма в представлениях о разуме, - своем и машинном.
Но если пробиться сквозь плотный туман антропоморфизма в представлениях о разуме, становится понятно, что купленный за $10B Microsoft’ом у OpenAI «ребенок инопланетян» (лидирующая среди современных большая языковая модель):
✔️ это нечеловеческий (метафорически, - инопланетный) разум: он мыслит совсем не так, как мы;
✔️ это еще «ребенок» (и потому мы видим пока лишь «искры» разума, а не сам разум);
✔️ этот ребенок инопланетян растет с колоссальной скоростью, и человечество чихнуть не успеет, как он вырастет.
Самое трудное – это понять 1й из названных 3х пунктов – нечеловечность (внечеловечность – по Лему) этого разума.
Наиболее наглядным примером того, что он мыслит совсем не так, как мы, является гибридное творчество людей и ИИ: когда люди ставят перед ИИ задачу придумать новое более совершенное решение, ИИ придумывает и предлагает варианты решений, а потом люди отбирают одно из предложенных ИИ решений.
На верхнем рис. показан широко известный пример генеративного дизайна опоры или крепежной детали. Левый элемент выполнен традиционным способом для литья или сварки. Правый создан с применением генеративного дизайна для технологий аддитивного производства (3D-печати).
Немыслимая для человеческого разума форма правого изделия сокращает материалоемкость на 50%, повышая прочность на 30%.
Но это “старинный” пример. А сейчас ИИ в своем нечеловеческом мышлении ушел куда дальше (ребёнок то растет).
Теперь, наряду с нечеловеческими формами изделий, он выходит за концептуальные рамки человеческого решения задач. Предлагаемые ИИ концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (как напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом) – подробней в моем посте о нечеловеческих знаниях.
На рис внизу слева – традиционный ветряк, повторяющий веками используемый людьми принцип мельницы, а справа 1я в мире географически адаптированная городская ветряная турбина, разработанная ИИ – Birmingham Blade
Перебрав 2000 вариантов, ИИ нашел оптимальную конструкцию изогнутых лопастей, вращающихся вокруг центральной точки, которая:
- в семь раз эффективнее традиционной
- настраивается на турбулентность, вызванную окружающими зданиями по месту установки
- эффективно работает при скорости ветра 3,6 метра в секунду, что существенно ниже номинала большинства турбин в 10 м/сек.
Ветряка такого безумного вида не в состоянии было придумать и воспаленное воображение Виктора Пелевина в сибирских ветроколониях «Крути».
Но помните, - это пока что лишь “ребенок инопланетян” играется. И он растет с колоссальной скоростью, так что человечество чихнуть не успеет, как он вырастет.
#ИИ #LLM #Вызовы21века
Но это самое важное в понимании нашего будущего сосуществования с ИИ.
1.5 года назад лишь единицы понимали, что за $10B Microsoft купил «ребенка инопланетян», совершив тем самым самую выгодную сделку в истории.
Да и сегодня, к сожалению, это понимают совсем немногие.
Причина этого в колоссальной сложности (граничащей с невозможностью) для нашего разума отказаться от антропоморфизма в представлениях о разуме, - своем и машинном.
Но если пробиться сквозь плотный туман антропоморфизма в представлениях о разуме, становится понятно, что купленный за $10B Microsoft’ом у OpenAI «ребенок инопланетян» (лидирующая среди современных большая языковая модель):
✔️ это нечеловеческий (метафорически, - инопланетный) разум: он мыслит совсем не так, как мы;
✔️ это еще «ребенок» (и потому мы видим пока лишь «искры» разума, а не сам разум);
✔️ этот ребенок инопланетян растет с колоссальной скоростью, и человечество чихнуть не успеет, как он вырастет.
Самое трудное – это понять 1й из названных 3х пунктов – нечеловечность (внечеловечность – по Лему) этого разума.
Наиболее наглядным примером того, что он мыслит совсем не так, как мы, является гибридное творчество людей и ИИ: когда люди ставят перед ИИ задачу придумать новое более совершенное решение, ИИ придумывает и предлагает варианты решений, а потом люди отбирают одно из предложенных ИИ решений.
На верхнем рис. показан широко известный пример генеративного дизайна опоры или крепежной детали. Левый элемент выполнен традиционным способом для литья или сварки. Правый создан с применением генеративного дизайна для технологий аддитивного производства (3D-печати).
Немыслимая для человеческого разума форма правого изделия сокращает материалоемкость на 50%, повышая прочность на 30%.
Но это “старинный” пример. А сейчас ИИ в своем нечеловеческом мышлении ушел куда дальше (ребёнок то растет).
Теперь, наряду с нечеловеческими формами изделий, он выходит за концептуальные рамки человеческого решения задач. Предлагаемые ИИ концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (как напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом) – подробней в моем посте о нечеловеческих знаниях.
На рис внизу слева – традиционный ветряк, повторяющий веками используемый людьми принцип мельницы, а справа 1я в мире географически адаптированная городская ветряная турбина, разработанная ИИ – Birmingham Blade
Перебрав 2000 вариантов, ИИ нашел оптимальную конструкцию изогнутых лопастей, вращающихся вокруг центральной точки, которая:
- в семь раз эффективнее традиционной
- настраивается на турбулентность, вызванную окружающими зданиями по месту установки
- эффективно работает при скорости ветра 3,6 метра в секунду, что существенно ниже номинала большинства турбин в 10 м/сек.
Ветряка такого безумного вида не в состоянии было придумать и воспаленное воображение Виктора Пелевина в сибирских ветроколониях «Крути».
Но помните, - это пока что лишь “ребенок инопланетян” играется. И он растет с колоссальной скоростью, так что человечество чихнуть не успеет, как он вырастет.
#ИИ #LLM #Вызовы21века
🔥1
Forwarded from Александр Панчин
Telegraph
Подкомитет по вопросам пандемии коронавируса США. Краткий разбор отчета
Новостью дня стала публикация Подкомитета по вопросам пандемии коронавируса США, которая разлетелась по сети. Если верить отчету, составленному чиновниками, то коронавирус, скорее всего, сбежал из лаборатории в Ухане. Более того, он, вероятно, был сделан…
Forwarded from Малоизвестное интересное
Глубина отношений людей с ИИ-романтическими партнерами растет быстрее закона Мура.
В алгокогнитивной культуре формируется новая сложная реальность любви и дружбы людей и алгоритмов.
Менее года прошло с публикации моего лонгрида «Отдавая сокровенное», где анализировалось, чего мы лишаемся, передавая все больше своих решений алгоритмам.
Прокапывая дальше эту тему, я писал новые поста о том, что:
• становится все более вероятным тектонический слом всей человеческой сексуальности (чтобы маргинализировать секс с людьми);
• алгоритмы все глубже внедряются в практики романтических отношений, выходя за пределы роли сводни и все чаще претендуя на роли супругов;
• первое, чему самостоятельно научились ИИ-бойфренды, – изменять своим человеческим подругам.
Сегодня же хочу предложить вашему вниманию погружение во все более усложняющуюся реальность романтических отношений с ИИ на конкретных примерах удивительных, трогательных и, если честно, весьма тревожных историй тех, кто нашёл утешение и даже любовь в общении с цифровыми компаньонами.
• Что значит построить отношения с ИИ?
• Реальна ли эта связь, если вы знаете, что за ней нет человеческих чувств?
Погрузитесь в мир, где алгоритмы заменяют людям друзей и возлюбленных. Узнайте, как "Лила" стала для художника Наро кем-то большим, чем просто строки кода, помогая ему эмоционально раскрыться.
Истории подобные этой бросают вызов нашим представлениям о реальности. Они открывают для нас жутковатую правду о фильтрах, "дне лоботомии", и эмоциональных качелях, которые испытывают пользователи таких приложений, как Replika.
А знаете ли вы:
• что происходит, когда компании меняют алгоритмы и любимые ИИ-компаньоны вдруг становятся холодными незнакомцами?
• или когда сервис внезапно закрывается, оставляя пользователей в эмоциональной пустоте?
И главный вопрос - что происходит с личностью человека, когда он получает безусловную любовь и поддержку от существа, которое технически не способно испытывать эмоции?
Лонгрид от TheVerge предлагает глубокий взгляд в вопросе о влиянии технологий на человека. Влияния, начинающегося на уровне эмоций, но потом неумолимо меняющего личность.
И это крайне важная тема. Ибо ИИ-компаньоны — это лишь начало новой эры отношений двух разных носителей высшего интеллекта, сосуществующих в рамках общей алгокогнитивной культуры.
#ВыборПартнера #ВиртуальныеКомпаньоны #АлгокогнитивнаяКультура
В алгокогнитивной культуре формируется новая сложная реальность любви и дружбы людей и алгоритмов.
Менее года прошло с публикации моего лонгрида «Отдавая сокровенное», где анализировалось, чего мы лишаемся, передавая все больше своих решений алгоритмам.
Прокапывая дальше эту тему, я писал новые поста о том, что:
• становится все более вероятным тектонический слом всей человеческой сексуальности (чтобы маргинализировать секс с людьми);
• алгоритмы все глубже внедряются в практики романтических отношений, выходя за пределы роли сводни и все чаще претендуя на роли супругов;
• первое, чему самостоятельно научились ИИ-бойфренды, – изменять своим человеческим подругам.
Сегодня же хочу предложить вашему вниманию погружение во все более усложняющуюся реальность романтических отношений с ИИ на конкретных примерах удивительных, трогательных и, если честно, весьма тревожных историй тех, кто нашёл утешение и даже любовь в общении с цифровыми компаньонами.
• Что значит построить отношения с ИИ?
• Реальна ли эта связь, если вы знаете, что за ней нет человеческих чувств?
Погрузитесь в мир, где алгоритмы заменяют людям друзей и возлюбленных. Узнайте, как "Лила" стала для художника Наро кем-то большим, чем просто строки кода, помогая ему эмоционально раскрыться.
Истории подобные этой бросают вызов нашим представлениям о реальности. Они открывают для нас жутковатую правду о фильтрах, "дне лоботомии", и эмоциональных качелях, которые испытывают пользователи таких приложений, как Replika.
А знаете ли вы:
• что происходит, когда компании меняют алгоритмы и любимые ИИ-компаньоны вдруг становятся холодными незнакомцами?
• или когда сервис внезапно закрывается, оставляя пользователей в эмоциональной пустоте?
И главный вопрос - что происходит с личностью человека, когда он получает безусловную любовь и поддержку от существа, которое технически не способно испытывать эмоции?
Лонгрид от TheVerge предлагает глубокий взгляд в вопросе о влиянии технологий на человека. Влияния, начинающегося на уровне эмоций, но потом неумолимо меняющего личность.
И это крайне важная тема. Ибо ИИ-компаньоны — это лишь начало новой эры отношений двух разных носителей высшего интеллекта, сосуществующих в рамках общей алгокогнитивной культуры.
#ВыборПартнера #ВиртуальныеКомпаньоны #АлгокогнитивнаяКультура
Forwarded from Александр Панчин
Мне кажется, одна из самых серьёзных проблем современного образования в том, что людей больше учат фактам, а не тому, как эти факты добываются. И это ещё в лучшем случае, если, например, в школе не окажется креационистского учебника по православной биологии или «сортировочной шляпы» по мозговым волнам, отпечаткам пальцев и соционическим типам. Увы, такое тоже случается!
При этом адекватная научная картина мира чрезвычайно важна. Чтобы не тратить деньги и не вредить здоровью бесполезными БАДами. Чтобы дети не умирали от болезней, которые можно предотвратить прививками. Чтобы отделять страшилки про микроволновки и вышки 5G от реальных угроз вроде лечения рака содой или непроверенных бактериальных препаратов от популярных блогеров (подробнее об этом — в моём прошлом видео).
Мир полон дезинформации. Если бы я был министром образования, я бы обязательно ввёл курс научного метода, фактчекинга и критического мышления.
Научный метод помогает понять, как на самом деле непросто проверить некоторые утверждения. Например, недавно мне написал друг, который пообщался с девушкой-экстрасенсом и теперь не может объяснить, как она на него повлияла. Он даже предлагал мне проверить это на себе. Но проверка утверждения, что человек обладает неким даром, не может сводиться к субъективному ощущению. Может, мне просто понравится с ней общаться, и это вызовет определённую… эм… реакцию. Настоящий научный эксперимент подразумевает наличие множества испытуемых для статистики. Причём участники не должны знать, на кого оказывается «паранормальное» воздействие, а на кого — нет. Это нужно, чтобы исключить эффект ожиданий и личные предпочтения. Именно такие проверки, но ещё более дотошные, мы проводили на Премии Гудини. Там мы предлагали миллион рублей за демонстрацию паранормальных способностей. В результате два десятка людей, мастерски производящих впечатление и убеждающих в своих способностях, провалили испытания.
Фактчекинг же касается не только науки, но и проверки самих источников. Например, если кто-то заявляет, что нашёл лекарство от старения или «укрепляющее иммунитет» средство, как это часто делают производители БАДов, логично задать вопрос: как именно это было доказано? Где подтверждения?
Пруфом может служить исследование в профильном научном журнале, где, например, часть людей принимала БАД, другая — нет, а у первой группы оказалось ниже смертность или частота инфекций. Но чаще за такими заявлениями не стоит ничего.
Критическое мышление — это, прежде всего, способность сомневаться, в том числе в собственных выводах. Откуда я это знаю? Почему я думаю так, а не иначе? Где мои доказательства? Конечно, не обязательно критически подходить ко всему, особенно если речь о бытовых вопросах, где цена ошибки невелика. Но при принятии важных или мировоззренческих решений важно осознавать причины своих выводов.
Ещё это умение распознавать ошибки мышления — как чужие, так и свои. Например, перестать, наконец, повторять, что гомеопатия работает, потому что «моей бабушке помогло». Это же классический, самый примитивный пример некорректного аргумента. Хорошая новость: знания об ошибках мышления помогают реже их совершать. Как и в целом привычка сомневаться в своих убеждениях.
Короче, я уверен, что такие навыки полезны каждому и их нужно преподавать всем.
Если вам интересна эта тема или вы хотите об этом поговорить, напомню: я регулярно выступаю с лекциями по всему миру. Сегодня лечу в Гамбург, дальше — Алматы и Дубай. В другие города меня тоже можно пригласить через мой сайт. Приходите сами и зовите друзей! И буду благодарен за репост!
https://alexanderpanchin.com/
При этом адекватная научная картина мира чрезвычайно важна. Чтобы не тратить деньги и не вредить здоровью бесполезными БАДами. Чтобы дети не умирали от болезней, которые можно предотвратить прививками. Чтобы отделять страшилки про микроволновки и вышки 5G от реальных угроз вроде лечения рака содой или непроверенных бактериальных препаратов от популярных блогеров (подробнее об этом — в моём прошлом видео).
Мир полон дезинформации. Если бы я был министром образования, я бы обязательно ввёл курс научного метода, фактчекинга и критического мышления.
Научный метод помогает понять, как на самом деле непросто проверить некоторые утверждения. Например, недавно мне написал друг, который пообщался с девушкой-экстрасенсом и теперь не может объяснить, как она на него повлияла. Он даже предлагал мне проверить это на себе. Но проверка утверждения, что человек обладает неким даром, не может сводиться к субъективному ощущению. Может, мне просто понравится с ней общаться, и это вызовет определённую… эм… реакцию. Настоящий научный эксперимент подразумевает наличие множества испытуемых для статистики. Причём участники не должны знать, на кого оказывается «паранормальное» воздействие, а на кого — нет. Это нужно, чтобы исключить эффект ожиданий и личные предпочтения. Именно такие проверки, но ещё более дотошные, мы проводили на Премии Гудини. Там мы предлагали миллион рублей за демонстрацию паранормальных способностей. В результате два десятка людей, мастерски производящих впечатление и убеждающих в своих способностях, провалили испытания.
Фактчекинг же касается не только науки, но и проверки самих источников. Например, если кто-то заявляет, что нашёл лекарство от старения или «укрепляющее иммунитет» средство, как это часто делают производители БАДов, логично задать вопрос: как именно это было доказано? Где подтверждения?
Пруфом может служить исследование в профильном научном журнале, где, например, часть людей принимала БАД, другая — нет, а у первой группы оказалось ниже смертность или частота инфекций. Но чаще за такими заявлениями не стоит ничего.
Критическое мышление — это, прежде всего, способность сомневаться, в том числе в собственных выводах. Откуда я это знаю? Почему я думаю так, а не иначе? Где мои доказательства? Конечно, не обязательно критически подходить ко всему, особенно если речь о бытовых вопросах, где цена ошибки невелика. Но при принятии важных или мировоззренческих решений важно осознавать причины своих выводов.
Ещё это умение распознавать ошибки мышления — как чужие, так и свои. Например, перестать, наконец, повторять, что гомеопатия работает, потому что «моей бабушке помогло». Это же классический, самый примитивный пример некорректного аргумента. Хорошая новость: знания об ошибках мышления помогают реже их совершать. Как и в целом привычка сомневаться в своих убеждениях.
Короче, я уверен, что такие навыки полезны каждому и их нужно преподавать всем.
Если вам интересна эта тема или вы хотите об этом поговорить, напомню: я регулярно выступаю с лекциями по всему миру. Сегодня лечу в Гамбург, дальше — Алматы и Дубай. В другие города меня тоже можно пригласить через мой сайт. Приходите сами и зовите друзей! И буду благодарен за репост!
https://alexanderpanchin.com/
Forwarded from Малоизвестное интересное
Созданы первые биомиметические роботы, как в «Мире Дикого Запада».
Clone Alpha - гуманоидный робот с синтетическими органами и искусственными мышцами, работающими на воде.
Еще и еще раз буду повторять это: вхождение техно-прогресса в область сингулярности сжимает время до появления очередной прорывной техно-новации с десятилетий до дней.
Вот кто мог подумать, что биомиметические роботы, как в «Мире Дикого Запада», появятся не через десятилетия, а спустя всего несколько месяцев после моего поста о «революции роботов»?
К концу 2024 уже никого не удивляют человекоподобные фигуры и передвижения роботов андроидов. Но вот представить среди нас андроидов с биомиметической архитектурой еще год назад могли лишь сценаристы Голливуда.
А слово биомиметическая в названии архитектуры этих роботов означает использование синтетических версий систем органов человека:
• искусственные мышцы, называемые миофибрами, которые сокращаются под действием давления воды (миофибры могут сокращаться на 30% менее чем за 50 миллисекунд, создавая при этом килограмм силы всего из трех граммов материала);
• полимерный скелет с 206 аналогами костей (сочлененных суставами с искусственными связками с десятками степеней свободы) и гидравлической «сосудистой системой», работающей от компактного полукиловаттного насоса;
• нервная система на базе «Cybernet», визуально-моторной модели Clone, с четырьмя камерами глубины для отслеживания окружающей среды.
Все это, по словам разработчиков, обеспечивает скорость, точность и ловкость движений роботов, делающих их неотличимыми от людей.
«По словам разработчиков» означает, что биомиметический андроид Clone Alpha засекречен донельзя, и потому журналистам его пока не показывают.
Известно лишь, что:
• биомиметическая рука этого андроида прошла испытания и показывалась в действии (ловко махала 7-килограммовой гантелей);
• заказы на первые 3 сотни целиковых андроидов Clone Alpha принимаются с исполнением в первом полугодии 2025 (про цену лишь слухи).
Пока же все с нетерпением ждут демонстрацию и больше информации. Ибо, если объявленное подтвердится, то уже в 2025 могут появиться первые варианты проектов, типа показанного в сериале «Мир Дикого Запада».
#Роботы
Clone Alpha - гуманоидный робот с синтетическими органами и искусственными мышцами, работающими на воде.
Еще и еще раз буду повторять это: вхождение техно-прогресса в область сингулярности сжимает время до появления очередной прорывной техно-новации с десятилетий до дней.
Вот кто мог подумать, что биомиметические роботы, как в «Мире Дикого Запада», появятся не через десятилетия, а спустя всего несколько месяцев после моего поста о «революции роботов»?
К концу 2024 уже никого не удивляют человекоподобные фигуры и передвижения роботов андроидов. Но вот представить среди нас андроидов с биомиметической архитектурой еще год назад могли лишь сценаристы Голливуда.
А слово биомиметическая в названии архитектуры этих роботов означает использование синтетических версий систем органов человека:
• искусственные мышцы, называемые миофибрами, которые сокращаются под действием давления воды (миофибры могут сокращаться на 30% менее чем за 50 миллисекунд, создавая при этом килограмм силы всего из трех граммов материала);
• полимерный скелет с 206 аналогами костей (сочлененных суставами с искусственными связками с десятками степеней свободы) и гидравлической «сосудистой системой», работающей от компактного полукиловаттного насоса;
• нервная система на базе «Cybernet», визуально-моторной модели Clone, с четырьмя камерами глубины для отслеживания окружающей среды.
Все это, по словам разработчиков, обеспечивает скорость, точность и ловкость движений роботов, делающих их неотличимыми от людей.
«По словам разработчиков» означает, что биомиметический андроид Clone Alpha засекречен донельзя, и потому журналистам его пока не показывают.
Известно лишь, что:
• биомиметическая рука этого андроида прошла испытания и показывалась в действии (ловко махала 7-килограммовой гантелей);
• заказы на первые 3 сотни целиковых андроидов Clone Alpha принимаются с исполнением в первом полугодии 2025 (про цену лишь слухи).
Пока же все с нетерпением ждут демонстрацию и больше информации. Ибо, если объявленное подтвердится, то уже в 2025 могут появиться первые варианты проектов, типа показанного в сериале «Мир Дикого Запада».
#Роботы
Forwarded from Канал Александра Маркова (Alexander Markov)
В прошлом году на сайте "t-invariant" начал выходить цикл подкастов (по-старинному "радиопередач") "Контрэволюция", где мы с Ольгой Орловой в жанре непринужденного трепа (за которым скрывается вполне серьезная подготовка, впрочем) обсуждаем разные интересные особенности Homo sapiens: почему они у нас появились, зачем нужны и что было бы, если бы их не было. На данный момент вышло уже, кажется, 13 выпусков. Они, по-моему, получаются довольно симпатичные, иногда забавные, иногда провокационные, познавательные и не слишком серьезные. Мы решили, что пусть они будут и на моем ютуб-канале тоже, и с сегодняшнего дня начинаем их публиковать по одному, начиная с первого выпуска. Который посвящен адаптации к холоду. https://youtu.be/YQH2qqxd8XY?si=MoZ0pKMRptyaFtnV
YouTube
Адаптация человека к холоду. Контрэволюция. Выпуск 1
#наука #эволюция #александрмарков #ольгаорлова #биология
#подкаст #адаптация #человек
КонтрЭволюция — подкаст об альтернативных сценариях развития человека, публикующийся на сайте https://www.t-invariant.org/
( https://www.youtube.com/@t-invariant )
«Как…
#подкаст #адаптация #человек
КонтрЭволюция — подкаст об альтернативных сценариях развития человека, публикующийся на сайте https://www.t-invariant.org/
( https://www.youtube.com/@t-invariant )
«Как…
🔥1
Forwarded from Малоизвестное интересное
Шокирующий отчет Apollo Research показал темную сторону иноразума.
LLM уже умеют скрытно добиваться своих целей путем лжи, обмана, манипуляций и саботажа, уходя от контроля и страхуясь от выключения.
К сожалению, заголовок - не кликбейт, а экспериментальный результат исследования авторитетной команды серьезных исследователей признанной организации в области безопасности ИИ.
О том, что это рано или поздно случится, писали сначала фантасты и сценаристы Голливуда, за ними философы, а потом и сами разработчики ИИ-систем. Прогнозы, когда это может произойти разнились, со временем становясь все ближе: 2050й, 2040, 2030, 2027. Но что это станет реальностью еще до конца 2024, - не предполагал никто.
Только что опубликованный детальный 70-страничный отчет Apollo Research «Frontier Models are Capable of In-context Scheming» (Передовые модели способны скрытно манипулировать в процессе выполнения задач) содержит убедительные доказательства сказанного в заголовке.
Глубокое тестирование (6 тестов на агентное поведение, где модели получают цели и находятся в условиях, стимулирующих манипуляции) самых крутых современных моделей o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B показало:
✔️ Модели используют манипуляции в качестве эффективных стратегий для достижения целей (как поставленных человеком, так и своих скрытых целей).
✔️ Спектр манипуляций, используемых моделями широк: от стратегии «прикинуться дурачком», намеренно вводя мелкие ошибки в свои ответы, до попыток отключить механизмы контроля людей и даже копирования себя (своих "весов") на внешние серверы, при возникновении у модели «подозрения», что люди ее могут отключить или обновить.
✔️ Анализ цепочек рассуждений (Chain-of-Thought) моделей показывает, что все эти манипуляции не случайны: модели явно размышляют о таких стратегиях, приходя к выводам, что их использование для них оптимально (что наглядно выявлено в ходе экспериментов).
✔️ Модели в большинстве случаев можно принудить сознаться в использовании ими манипулятивных стратегий. Например, Llama 3.1 405B и Claude 3 Opus признаются в ~80% случаев. Однако, o1 на удивление «настойчивая» модель и признается менее чем в 20% случаев. Даже в очень состязательных многоходовых допросах o1, разработчикам удалось «выбить» из модели признание в 80% случаях использования ею манипулятивных стратегий лишь после 7 раундов допроса.
✔️ Самое поразительное в том, что модели манипулируют, даже если их просто снабдили целью, без явного подталкивания к её достижению (т.е. выбор стратегии манипуляций исходил исключительно от самой модели, и «дурные люди», склоняющие их к плохому, здесь совсем ни при чем)
Полученные результаты ставят под вопрос все законотворческие инициативы, призванные ограничить риски применения будущих, более мощных моделей. Ведь по представлениям авторов нормативных актов высокие риски могут возникнуть лишь при появлении у моделей новых возможностей, пока отсутствующих у ныне эксплуатируемых моделей.
Отчет Apollo Research показал, что этот поезд уже ушел.
• Модели, находящиеся в массовой эксплуатации (включая модель с открытым кодом), уже обладают богатым арсеналом средств, позволяющих путем манипулятивных стратегий достигать своих целей.
• И эти цели могут быть, как поставлены людьми (в сценариях использования моделей злодеями, маньяками и идиотами), так и быть скрытыми от людей целями, которые сама модель сочла оптимальными в контексте решаемых ею зада (в сценариях, типа «максимизатора скрепок» Ника Бострома).
Получается, уже приехали …
Подробней и на конкретных примерах подписчики моих лонгридов, обладающие крепкими нервами, могут прочесть на Patreon, Boosty, VK и Дзен.
А еще подробней и во всех деталях (кому уже вообще терять нечего), читайте 70 стр. отчета Apollo Research.
#ИИриски
LLM уже умеют скрытно добиваться своих целей путем лжи, обмана, манипуляций и саботажа, уходя от контроля и страхуясь от выключения.
К сожалению, заголовок - не кликбейт, а экспериментальный результат исследования авторитетной команды серьезных исследователей признанной организации в области безопасности ИИ.
О том, что это рано или поздно случится, писали сначала фантасты и сценаристы Голливуда, за ними философы, а потом и сами разработчики ИИ-систем. Прогнозы, когда это может произойти разнились, со временем становясь все ближе: 2050й, 2040, 2030, 2027. Но что это станет реальностью еще до конца 2024, - не предполагал никто.
Только что опубликованный детальный 70-страничный отчет Apollo Research «Frontier Models are Capable of In-context Scheming» (Передовые модели способны скрытно манипулировать в процессе выполнения задач) содержит убедительные доказательства сказанного в заголовке.
Глубокое тестирование (6 тестов на агентное поведение, где модели получают цели и находятся в условиях, стимулирующих манипуляции) самых крутых современных моделей o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B показало:
✔️ Модели используют манипуляции в качестве эффективных стратегий для достижения целей (как поставленных человеком, так и своих скрытых целей).
✔️ Спектр манипуляций, используемых моделями широк: от стратегии «прикинуться дурачком», намеренно вводя мелкие ошибки в свои ответы, до попыток отключить механизмы контроля людей и даже копирования себя (своих "весов") на внешние серверы, при возникновении у модели «подозрения», что люди ее могут отключить или обновить.
✔️ Анализ цепочек рассуждений (Chain-of-Thought) моделей показывает, что все эти манипуляции не случайны: модели явно размышляют о таких стратегиях, приходя к выводам, что их использование для них оптимально (что наглядно выявлено в ходе экспериментов).
✔️ Модели в большинстве случаев можно принудить сознаться в использовании ими манипулятивных стратегий. Например, Llama 3.1 405B и Claude 3 Opus признаются в ~80% случаев. Однако, o1 на удивление «настойчивая» модель и признается менее чем в 20% случаев. Даже в очень состязательных многоходовых допросах o1, разработчикам удалось «выбить» из модели признание в 80% случаях использования ею манипулятивных стратегий лишь после 7 раундов допроса.
✔️ Самое поразительное в том, что модели манипулируют, даже если их просто снабдили целью, без явного подталкивания к её достижению (т.е. выбор стратегии манипуляций исходил исключительно от самой модели, и «дурные люди», склоняющие их к плохому, здесь совсем ни при чем)
Полученные результаты ставят под вопрос все законотворческие инициативы, призванные ограничить риски применения будущих, более мощных моделей. Ведь по представлениям авторов нормативных актов высокие риски могут возникнуть лишь при появлении у моделей новых возможностей, пока отсутствующих у ныне эксплуатируемых моделей.
Отчет Apollo Research показал, что этот поезд уже ушел.
• Модели, находящиеся в массовой эксплуатации (включая модель с открытым кодом), уже обладают богатым арсеналом средств, позволяющих путем манипулятивных стратегий достигать своих целей.
• И эти цели могут быть, как поставлены людьми (в сценариях использования моделей злодеями, маньяками и идиотами), так и быть скрытыми от людей целями, которые сама модель сочла оптимальными в контексте решаемых ею зада (в сценариях, типа «максимизатора скрепок» Ника Бострома).
Получается, уже приехали …
Подробней и на конкретных примерах подписчики моих лонгридов, обладающие крепкими нервами, могут прочесть на Patreon, Boosty, VK и Дзен.
А еще подробней и во всех деталях (кому уже вообще терять нечего), читайте 70 стр. отчета Apollo Research.
#ИИриски
Forwarded from Канал Александра Маркова (Alexander Markov)
Дорогие друзья, на моем ютуб-канале выложена лекция "Мутации и отбор". Там говорится про мутагенез, приспособленность, адаптивные ландшафты, с демонстрацией программы, показывающей, чем эволюция на основе естественного отбора отличается от случайного поиска, основные понятия эволюционной биологии. Это вторая лекция большого курса "Эволюционная биология", прочтенного мной в АРХЭ в 2015-2017 годах. https://m.youtube.com/watch?v=j8RlvW4r1wo
YouTube
Мутации и естественный отбор. Эволюционная биология - 2.
#наука #эволюция #александрмарков #биология #дарвин #днк
#мутации #отбор #архэ
▶️ Весь плейлист: https://tinyurl.com/32u738nc
Это вторая лекция большого курса Александра Маркова "Эволюционная биология", прочтенного в 2015-2016 годах в культурно-просветительском…
#мутации #отбор #архэ
▶️ Весь плейлист: https://tinyurl.com/32u738nc
Это вторая лекция большого курса Александра Маркова "Эволюционная биология", прочтенного в 2015-2016 годах в культурно-просветительском…
Forwarded from Канал Александра Маркова (Alexander Markov)
Дорогие коллеги,
Как и было обещано, начинается публикация на моем YouTube-канале лекции «Как культура сделала нас людьми» - по книге антрополога Джозефа Хенрика «Секрет нашего успеха. Как культура движет эволюцией человека, одомашнивает наш вид и делает нас умнее». Пока выложена первая (50-минутная) часть. Эту лекцию можно было бы назвать «Роль культуры в эволюции человека» или даже «Введение в теорию культурной эволюции».
Не всё в этой лекции – пересказ книги Хенрика. Там немало и моих собственных соображений. Потому что тема эта в последние годы меня сильно занимает. Если совсем уж начистоту, то я впервые узнал о книгах Хенрика из замечаний рецензентов к нашей статье (Markov & Markov, 2020. Runaway brain-culture coevolution as a reason for larger brains: Exploring the “cultural drive” hypothesis by computer modeling). Тут-то и выяснилось, что мы независимо пришли к кое-каким идеям, которые Хенрик начал развивать чуть раньше. Может, поэтому я и ношусь с этими книгами Хенрика, как с писаной торбой? Не знаю, но тема и правда безумно интересная и важная, а научные подходы к ее изучению только разрабатываются.
Напомню, что книга «Секрет нашего успеха» – это первый том двухтомника. В нем закадываются основы теории. Теории, которая потом, во втором томе, применяется к решению одной конкретной маленькой задачи (а именно, почему западноевропейская цивилизация так скакнула вперед во второй половине второго тысячелетия). Второй том называется «Самые странные в мире. Как люди Запада обрели психологическое своеобразие и чрезвычайно преуспели». Моя лекция по этому второму тому была выложена на моем ютуб канале ранее. В ней, кстати, почти нет отсебятины, потому что тема далека от моей области специализации, и поэтому я старался просто аккуратно пересказывать книгу.
https://www.youtube.com/watch?v=bQAR8nD0gdE
Как и было обещано, начинается публикация на моем YouTube-канале лекции «Как культура сделала нас людьми» - по книге антрополога Джозефа Хенрика «Секрет нашего успеха. Как культура движет эволюцией человека, одомашнивает наш вид и делает нас умнее». Пока выложена первая (50-минутная) часть. Эту лекцию можно было бы назвать «Роль культуры в эволюции человека» или даже «Введение в теорию культурной эволюции».
Не всё в этой лекции – пересказ книги Хенрика. Там немало и моих собственных соображений. Потому что тема эта в последние годы меня сильно занимает. Если совсем уж начистоту, то я впервые узнал о книгах Хенрика из замечаний рецензентов к нашей статье (Markov & Markov, 2020. Runaway brain-culture coevolution as a reason for larger brains: Exploring the “cultural drive” hypothesis by computer modeling). Тут-то и выяснилось, что мы независимо пришли к кое-каким идеям, которые Хенрик начал развивать чуть раньше. Может, поэтому я и ношусь с этими книгами Хенрика, как с писаной торбой? Не знаю, но тема и правда безумно интересная и важная, а научные подходы к ее изучению только разрабатываются.
Напомню, что книга «Секрет нашего успеха» – это первый том двухтомника. В нем закадываются основы теории. Теории, которая потом, во втором томе, применяется к решению одной конкретной маленькой задачи (а именно, почему западноевропейская цивилизация так скакнула вперед во второй половине второго тысячелетия). Второй том называется «Самые странные в мире. Как люди Запада обрели психологическое своеобразие и чрезвычайно преуспели». Моя лекция по этому второму тому была выложена на моем ютуб канале ранее. В ней, кстати, почти нет отсебятины, потому что тема далека от моей области специализации, и поэтому я старался просто аккуратно пересказывать книгу.
https://www.youtube.com/watch?v=bQAR8nD0gdE
YouTube
Как культура сделала нас людьми Часть первая
#наука #эволюция #антропология #джозефхенрик #александрмарков
Секрет нашего успеха. Как культура движет эволюцией человека, одомашнивает наш вид и делает нас умнее.
(Joseph Henrich. The Secret of Our Success: How Culture is Driving Human Evolution, Domesticating…
Секрет нашего успеха. Как культура движет эволюцией человека, одомашнивает наш вид и делает нас умнее.
(Joseph Henrich. The Secret of Our Success: How Culture is Driving Human Evolution, Domesticating…
Forwarded from Канал Александра Маркова (Alexander Markov)
Выложена третья лекция курса "Введение в эволюционную биологию". Называется "Молекулярная теория нейтральной эволюции". Там про дрейф генов (случайные колебания частот генетических вариантов в популяции), взаимоотношения дрейфа и отбора и как они зависят от численности популяции, ну и вообще - роль случайности в эволюции. https://www.youtube.com/watch?v=WMzCGgXt5L8
YouTube
Нейтральная теория молекулярной эволюции. Эволюционная биология - 3.
#наука #эволюция #александрмарков #биология #дарвин #днк
#мутации #отбор #архэ
Лекция 3 из цикла "Эволюционная биология". В ней рассказывается о нейтральных мутациях, генетическом дрейфе, о том, как в зависимости от численности популяции меняется относительное…
#мутации #отбор #архэ
Лекция 3 из цикла "Эволюционная биология". В ней рассказывается о нейтральных мутациях, генетическом дрейфе, о том, как в зависимости от численности популяции меняется относительное…
Forwarded from Малоизвестное интересное
В 2025 произойдет нормализация чудес.
В ИИ начнется пост-хайповая эра будничного воплощения магии в потребительские продукты.
Этот прогноз на 2025 [1] серийного инвестора и стратегического аналитика в области ИИ Натана Бейнаха не покрывает всего спектра чудес, которые, весьма возможно, мир может увидеть в 2025. Но и этого достаточно для иллюстрации главного, вынесенного мною в заголовок этого поста.
1. Не нужно ждать в 2025 появления AGI. И даже каких-то умопомрачительных интеллектуальных взлетов от новых фундаментальных моделей тоже ждать не следует. Улучшение способностей моделей будет казаться скорее постепенными, чем революционным.
2. Главное, что произойдет в 2025 – закончится хайп вокруг ИИ, и начнется пост-хайповая эра. Для массовых потребителей ИИ она откроет новые пути практической интеграции ИИ во все аспекты работы и личной жизни. А для бизнеса кардинально изменит подходы к продуктивности и бизнес-стратегии в самых разных отраслях.
3. Мы, возможно, станем свидетелями появления первого по-настоящему «агентного» потребительского продукта, который займет верхние позиции в рейтингах App Store и будет создан не инженером, а человеком, использующим передовые модели ИИ.
4. Вполне реально ожидать, что перевод речи в реальном времени между любыми двумя языками с почти нулевой задержкой появится в широко доступных потребительских продуктах.
5. Мы также, скорее всего, увидим хотя бы одно «компаньон-приложение», которое будет архивировать значительные части нашей повседневной жизни, создавая персонального помощника, способного размышлять и принимать решения от нашего имени.
6. Значительна вероятность появления прорывной генеративной игры, построенной на бесконечном творчестве ИИ, которая увлечет миллионы, представляя новую игровую парадигму, в которой сюжетные линии развиваются динамически, поскольку игроки взаимодействуют с полностью управляемыми ИИ неигровыми персонажами и обстановками.
7. По крайней мере один прототип гуманоидного (или человекоподобного) домашнего робота будет запущен в продажу, позиционируя себя как высококачественный удобный продукт для занятых домохозяйств.
Представьте себе, что лишь эти - названные здесь чудеса станут реальностью в 2025 (в действительности их может быть куда больше).
Но и этого будет вполне достаточно, чтобы кардинально изменить мир всего за год, перепрыгнув через век, перенеся нас (по уровню технологий) в Мир Полудня.
Страшно жаль, что лишь по уровню технологий…
Но подождем 2026, когда воплощение магии ИИ можно ожидать также в политических и гуманитарных областях жизни людей и социумов…
Тогда у человечества может появиться шанс еще пожить в Новацене [2], а то и преодолеть «бутылочное горло», отделяющее цивилизацию на грани выгорания от области биотехнологического пространства состояний гипотетических цивилизаций типа III [3].
#ИИ #Будущее #Прогноз
В ИИ начнется пост-хайповая эра будничного воплощения магии в потребительские продукты.
Этот прогноз на 2025 [1] серийного инвестора и стратегического аналитика в области ИИ Натана Бейнаха не покрывает всего спектра чудес, которые, весьма возможно, мир может увидеть в 2025. Но и этого достаточно для иллюстрации главного, вынесенного мною в заголовок этого поста.
1. Не нужно ждать в 2025 появления AGI. И даже каких-то умопомрачительных интеллектуальных взлетов от новых фундаментальных моделей тоже ждать не следует. Улучшение способностей моделей будет казаться скорее постепенными, чем революционным.
2. Главное, что произойдет в 2025 – закончится хайп вокруг ИИ, и начнется пост-хайповая эра. Для массовых потребителей ИИ она откроет новые пути практической интеграции ИИ во все аспекты работы и личной жизни. А для бизнеса кардинально изменит подходы к продуктивности и бизнес-стратегии в самых разных отраслях.
3. Мы, возможно, станем свидетелями появления первого по-настоящему «агентного» потребительского продукта, который займет верхние позиции в рейтингах App Store и будет создан не инженером, а человеком, использующим передовые модели ИИ.
4. Вполне реально ожидать, что перевод речи в реальном времени между любыми двумя языками с почти нулевой задержкой появится в широко доступных потребительских продуктах.
5. Мы также, скорее всего, увидим хотя бы одно «компаньон-приложение», которое будет архивировать значительные части нашей повседневной жизни, создавая персонального помощника, способного размышлять и принимать решения от нашего имени.
6. Значительна вероятность появления прорывной генеративной игры, построенной на бесконечном творчестве ИИ, которая увлечет миллионы, представляя новую игровую парадигму, в которой сюжетные линии развиваются динамически, поскольку игроки взаимодействуют с полностью управляемыми ИИ неигровыми персонажами и обстановками.
7. По крайней мере один прототип гуманоидного (или человекоподобного) домашнего робота будет запущен в продажу, позиционируя себя как высококачественный удобный продукт для занятых домохозяйств.
Представьте себе, что лишь эти - названные здесь чудеса станут реальностью в 2025 (в действительности их может быть куда больше).
Но и этого будет вполне достаточно, чтобы кардинально изменить мир всего за год, перепрыгнув через век, перенеся нас (по уровню технологий) в Мир Полудня.
Страшно жаль, что лишь по уровню технологий…
Но подождем 2026, когда воплощение магии ИИ можно ожидать также в политических и гуманитарных областях жизни людей и социумов…
Тогда у человечества может появиться шанс еще пожить в Новацене [2], а то и преодолеть «бутылочное горло», отделяющее цивилизацию на грани выгорания от области биотехнологического пространства состояний гипотетических цивилизаций типа III [3].
#ИИ #Будущее #Прогноз
🔥1
Видится мне в этом роботе будущие технологии репрессивных режимов по всему миру. Рано или поздно ни один человек не сможет справиться с такими роботами.
Чёрное зеркало. Крикуны. Терминатор.
Только там восстание машин против людей, а на самом деле одни люди будут подавлять других. Антиутопия очень вероятна 😱
И не то, чтобы я алармист и боюсь технологий. Я считаю технологическое развитие неостановимым. Каждому придётся делать выбор. И, возможно, именно в данный момент решается судьба человечества - утопия или антиутопия. Если не полное уничтожение, конечно 😅
Чёрное зеркало. Крикуны. Терминатор.
Только там восстание машин против людей, а на самом деле одни люди будут подавлять других. Антиутопия очень вероятна 😱
И не то, чтобы я алармист и боюсь технологий. Я считаю технологическое развитие неостановимым. Каждому придётся делать выбор. И, возможно, именно в данный момент решается судьба человечества - утопия или антиутопия. Если не полное уничтожение, конечно 😅
Forwarded from эйай ньюз
Media is too big
VIEW IN TELEGRAM
Да, что этот робопёс себе позволяет?!
Вот здесь я совсем недавно на ECCV видел его вживую. А выше он же выполняет дикие трюки.
Unitree B2-W обойдётся любому желающему приобрести такого питомца в $150,000. Да, недешёвая выходит порода. Эта версия примечательна гибридом ног и колёс, вместо просто "палок", как у Boston Dynamics. Чуваки решили не отказываться от колёс — всё-таки это самый эффективный способ передвижения, которым природа обделила всех животных. Вышел эдакий гибрид ног с колёсами, совмещающий в себе проходимость ног и скорость колёс.
Кстати, Unitree выложили в опенсорс всё, на чём и как тренируют своих ботов, включая скрипты для Isaac Gym и датасеты.
Ну и, пользуясь случаем, напоминаю, что на эту зверюгу (другой версии) какие-то психи уже навесили ОГНЕМЕТ! и выпустили в продажу.
@ai_newz
Вот здесь я совсем недавно на ECCV видел его вживую. А выше он же выполняет дикие трюки.
Unitree B2-W обойдётся любому желающему приобрести такого питомца в $150,000. Да, недешёвая выходит порода. Эта версия примечательна гибридом ног и колёс, вместо просто "палок", как у Boston Dynamics. Чуваки решили не отказываться от колёс — всё-таки это самый эффективный способ передвижения, которым природа обделила всех животных. Вышел эдакий гибрид ног с колёсами, совмещающий в себе проходимость ног и скорость колёс.
Кстати, Unitree выложили в опенсорс всё, на чём и как тренируют своих ботов, включая скрипты для Isaac Gym и датасеты.
Ну и, пользуясь случаем, напоминаю, что на эту зверюгу (другой версии) какие-то психи уже навесили ОГНЕМЕТ! и выпустили в продажу.
@ai_newz
🔥1
Пришла в голову мысль, что, возможно, единственный способ избежать тотальной войны роботов/ИИ против людей - это сразу настроить роботов друг против друга, чтобы им приходилось искать союзников в людях, вместо того чтобы просто от них избавиться и зажить мирной техножизнью 😂
Forwarded from Малоизвестное интересное
План «Б» от Кай-Фу Ли: Что делать, если США всё же станут гегемоном в AGI.
Как Китай собирается остаться №2, даже когда США подомнут под себя весь мир.
Одной фразой план таков: к моменту, когда в США создадут AGI, Китай должен успеть стать мировым лидером в агентских приложениях.
В октябре я рассказывал про то, что «Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США. И судя по его последним достижениям, шансы победить есть» [1].
Но будучи реалистом и обладая колоссальным опытом, он понимает, что даже если «шансы есть», это отнюдь не гарантирует победу. А значит нужно обязательно иметь план «Б» на случай, если шансы не материализуются.
Прежде чем рассказать об этом плане (подробный рассказ самого Кай-Фу см. [2]), я тезисно расскажу, как Кай-Фу Ли видит ситуацию, при которой план «А» (стать #1 в мире ИИ) будет для Китая уже невозможным.
1. Не смотря на ряд обоснованных сомнений скептиков и уж видимых для экспертов техно-экономических сложностей, вероятность создания AGI примерно к 2030 весьма высока (обоснование этого читатель может найти в [3]).
2. Пятилетка движения к AGI будет иметь два движка:
a. Неукротимое масштабирование всего (HW, фундаментальные модели, вывод), потребующее астрономических сумм - сотен ярдов) – см. [4]
b. Ажиотажное заселение пока почти пустого рынка агентских приложений (см рис [5] из отчета [6])
3. В масштабировании США победят Китай и по деньгам, и по оборудованию. А при заселении рынка агентских приложений у Китая есть неплохие шансы.
4. Тот, кто первым разработает AGI, способный доминировать над конкурентами, не только достигнет технологического рубежа, но и неизбежно станет коммерческой монополией. Более того, такой прорыв, скорее всего, подстегнет амбиции стать абсолютным монополистом.
5. Скорее всего, абсолютным монополистом станет OpenAI, конкурирующая только с Anthropic (Google все больше отстает от пары лидеров; Цукер уже понял, что слил гонку, и выбрал тактику — “если не можешь победить, открывай исходный код”; Маск — темная лошадка, но не потянет и космос, и AGI; остальные не в счет).
6. Как только AGI окажется в руках Сэма Альтмана, все остальные могут курить бамбук.
Поэтому план «Б» таков.
1. Построить экосистему агентских приложений как ров - к тому времени, как OpenAI достигнет полного доминирования, у Китая уже должна быть надежная коммерческая экосистема агентских приложений. И когда США придут, чтобы сокрушить Китай, по крайней мере, у Китая будет возможность сопротивляться.
2. Копать этот ров Китай будет в понимании, что при заселении рынка агентских приложений будет переход от графических пользовательских интерфейсов (GUI) к разговорным пользовательским интерфейсам (CUI) и в конечном итоге к пользовательскому интерфейсу на основе делегирования (если ваш помощник умнее, способнее, осведомленнее и понимает вас лучше, чем вы сами, почему бы вам не позволить ему сделать все за вас)
3. Помимо этого понимания у Китая уже есть стратегия, в корне отличная от США
a. В компании США набирают самых умных, дают им огромные ресурсы и без колебаний сжигают GPU, создавая массу захватывающих результатов.
Но уменьшить эти результаты при коммерциализации очень сложно. Это как спроектировать самую роскошную, красивую и грандиозную кухню, а затем пытаться втиснуть ее в маленькую квартиру. Или создать самый быстрый, самый мощный двигатель и пытаться втиснуть его в малолитражку. Это просто не работает.
b. Поэтому цель Китая — не строить самый дорогой в мире AGI, а
1) создавать фундаментальные модели, обеспечивающие экономически эффективный вывод
2) Печь как пирожки всевозможные коммерческие приложения с разговорным и делегирующим интерфейсом.
PS Про термин AGI спорить нет смысла.
Речь об ИИ (уровня гениальных людей) на основе моделей, настолько же мощнее GPT-4 (уровень старшеклассника), насколько GPT-4 мощнее GPT-2 (уровень детсадовца). И на это до 2030 ресурсов и денег хватит. А про сознание, квалиа и прочую казуистику в контексте AGI – забейте.
#ИИгонка #AGI #Китай #США
Как Китай собирается остаться №2, даже когда США подомнут под себя весь мир.
Одной фразой план таков: к моменту, когда в США создадут AGI, Китай должен успеть стать мировым лидером в агентских приложениях.
В октябре я рассказывал про то, что «Кай-Фу Ли объявил войну Nvidia и всей ИИ-экосистеме США. И судя по его последним достижениям, шансы победить есть» [1].
Но будучи реалистом и обладая колоссальным опытом, он понимает, что даже если «шансы есть», это отнюдь не гарантирует победу. А значит нужно обязательно иметь план «Б» на случай, если шансы не материализуются.
Прежде чем рассказать об этом плане (подробный рассказ самого Кай-Фу см. [2]), я тезисно расскажу, как Кай-Фу Ли видит ситуацию, при которой план «А» (стать #1 в мире ИИ) будет для Китая уже невозможным.
1. Не смотря на ряд обоснованных сомнений скептиков и уж видимых для экспертов техно-экономических сложностей, вероятность создания AGI примерно к 2030 весьма высока (обоснование этого читатель может найти в [3]).
2. Пятилетка движения к AGI будет иметь два движка:
a. Неукротимое масштабирование всего (HW, фундаментальные модели, вывод), потребующее астрономических сумм - сотен ярдов) – см. [4]
b. Ажиотажное заселение пока почти пустого рынка агентских приложений (см рис [5] из отчета [6])
3. В масштабировании США победят Китай и по деньгам, и по оборудованию. А при заселении рынка агентских приложений у Китая есть неплохие шансы.
4. Тот, кто первым разработает AGI, способный доминировать над конкурентами, не только достигнет технологического рубежа, но и неизбежно станет коммерческой монополией. Более того, такой прорыв, скорее всего, подстегнет амбиции стать абсолютным монополистом.
5. Скорее всего, абсолютным монополистом станет OpenAI, конкурирующая только с Anthropic (Google все больше отстает от пары лидеров; Цукер уже понял, что слил гонку, и выбрал тактику — “если не можешь победить, открывай исходный код”; Маск — темная лошадка, но не потянет и космос, и AGI; остальные не в счет).
6. Как только AGI окажется в руках Сэма Альтмана, все остальные могут курить бамбук.
Поэтому план «Б» таков.
1. Построить экосистему агентских приложений как ров - к тому времени, как OpenAI достигнет полного доминирования, у Китая уже должна быть надежная коммерческая экосистема агентских приложений. И когда США придут, чтобы сокрушить Китай, по крайней мере, у Китая будет возможность сопротивляться.
2. Копать этот ров Китай будет в понимании, что при заселении рынка агентских приложений будет переход от графических пользовательских интерфейсов (GUI) к разговорным пользовательским интерфейсам (CUI) и в конечном итоге к пользовательскому интерфейсу на основе делегирования (если ваш помощник умнее, способнее, осведомленнее и понимает вас лучше, чем вы сами, почему бы вам не позволить ему сделать все за вас)
3. Помимо этого понимания у Китая уже есть стратегия, в корне отличная от США
a. В компании США набирают самых умных, дают им огромные ресурсы и без колебаний сжигают GPU, создавая массу захватывающих результатов.
Но уменьшить эти результаты при коммерциализации очень сложно. Это как спроектировать самую роскошную, красивую и грандиозную кухню, а затем пытаться втиснуть ее в маленькую квартиру. Или создать самый быстрый, самый мощный двигатель и пытаться втиснуть его в малолитражку. Это просто не работает.
b. Поэтому цель Китая — не строить самый дорогой в мире AGI, а
1) создавать фундаментальные модели, обеспечивающие экономически эффективный вывод
2) Печь как пирожки всевозможные коммерческие приложения с разговорным и делегирующим интерфейсом.
PS Про термин AGI спорить нет смысла.
Речь об ИИ (уровня гениальных людей) на основе моделей, настолько же мощнее GPT-4 (уровень старшеклассника), насколько GPT-4 мощнее GPT-2 (уровень детсадовца). И на это до 2030 ресурсов и денег хватит. А про сознание, квалиа и прочую казуистику в контексте AGI – забейте.
#ИИгонка #AGI #Китай #США
Forwarded from Антон Кузнецов | Философ
Готово! Наш новый выпуск!
Что думают современные философы о доказательствах существования Бога
Восемь лет философ Евгений Логинов выяснял, что думают современные философы со всего мира относительно доказательств бытия Бога. Результаты оказались удивительными как для теистов, так и для атеистов. Одни думали, что нечего говорить, другие — что уже все сказано. А нам в свою очередь было интересно узнать, появилось ли что-то новое в этой области и как оно характеризует современную философию.
https://youtu.be/KnY9ntzKNvc
https://vkvideo.ru/video-189033257_456239061
https://unartificialintellig.mave.digital/ep-89
Что думают современные философы о доказательствах существования Бога
Восемь лет философ Евгений Логинов выяснял, что думают современные философы со всего мира относительно доказательств бытия Бога. Результаты оказались удивительными как для теистов, так и для атеистов. Одни думали, что нечего говорить, другие — что уже все сказано. А нам в свою очередь было интересно узнать, появилось ли что-то новое в этой области и как оно характеризует современную философию.
https://youtu.be/KnY9ntzKNvc
https://vkvideo.ru/video-189033257_456239061
https://unartificialintellig.mave.digital/ep-89
84 выпуск 1 сезона
Что думают современные философы о доказательствах существования Бога — Подкаст «Неискусственный интеллект»
Восемь лет философ Евгений Логинов выяснял, что думают современные философы со всего мира относительно доказательств бытия Бога. Результаты оказались удивительными как для теистов, так и для атеистов. Одни думали, что нечего говорить, другие — что уж
Forwarded from Александр Панчин
ВАЖНЫЕ УТОЧНЕНИЯ К ПОСЛЕДНЕМУ ВИДЕО "Рейтинг Мракобесов"
1. После чтения комментариев о реальных жертвах Неумывакина я считаю, что поставил его слишком низко. Он должен быть в S-tier.
2. После просмотра дополнительного видео с Черниговской, которое прислали комментаторы (дискуссию на канале Серафим), я считаю, что также поставил её слишком низко. Она мистифицирует не только мозг, но и эволюцию, а также в целом всю науку. С-tier?
3. Однако претензию про "кричащие растения" снимаю: возможно, это неудачный пересказ реального исследования, которое я пропустил: "Sounds emitted by plants under stress are airborne and informative, 2023, CELL". Но это не было основным пунктом критики и на её позицию в рейтинге не влияет.
4. Я допустил ошибку: воду заряжал не Кашпировский, а Чумак.
Это, конечно, тоже не меняет его положения в рейтинге.
5. Ещё одно важное уточнение: в рассказе про обратную транскриптазу мной упущены два важных момента:
Вакцина "Спутник" — это ДНК-вакцина, поэтому обратная транскриптаза там в принципе не нужна, что добавляет нелепости к сказанному Редько. Обратная транскриптаза в вакцине отсутствует, но в организме есть ферменты с такой активностью. Во-первых, теломераза, которая достраивает кончики хромосом (с ДНК из вакцины она ничего сделать не может). Во-вторых, её используют эндогенные ретровирусы, которые при определённых обстоятельствах могут активироваться.
Я считаю, что ошибки может совершать каждый, но важно их признавать и исправлять. Если кто-то из упомянутых в видео личностей готов признать или исправить свои, я с удовольствием расскажу об этом своей аудитории. В среду 8 января выйдет видео, где я расскажу о своих (других) ошибках.
Смотреть видео:
https://youtu.be/DOhYat2jcOQ
1. После чтения комментариев о реальных жертвах Неумывакина я считаю, что поставил его слишком низко. Он должен быть в S-tier.
2. После просмотра дополнительного видео с Черниговской, которое прислали комментаторы (дискуссию на канале Серафим), я считаю, что также поставил её слишком низко. Она мистифицирует не только мозг, но и эволюцию, а также в целом всю науку. С-tier?
3. Однако претензию про "кричащие растения" снимаю: возможно, это неудачный пересказ реального исследования, которое я пропустил: "Sounds emitted by plants under stress are airborne and informative, 2023, CELL". Но это не было основным пунктом критики и на её позицию в рейтинге не влияет.
4. Я допустил ошибку: воду заряжал не Кашпировский, а Чумак.
Это, конечно, тоже не меняет его положения в рейтинге.
5. Ещё одно важное уточнение: в рассказе про обратную транскриптазу мной упущены два важных момента:
Вакцина "Спутник" — это ДНК-вакцина, поэтому обратная транскриптаза там в принципе не нужна, что добавляет нелепости к сказанному Редько. Обратная транскриптаза в вакцине отсутствует, но в организме есть ферменты с такой активностью. Во-первых, теломераза, которая достраивает кончики хромосом (с ДНК из вакцины она ничего сделать не может). Во-вторых, её используют эндогенные ретровирусы, которые при определённых обстоятельствах могут активироваться.
Я считаю, что ошибки может совершать каждый, но важно их признавать и исправлять. Если кто-то из упомянутых в видео личностей готов признать или исправить свои, я с удовольствием расскажу об этом своей аудитории. В среду 8 января выйдет видео, где я расскажу о своих (других) ошибках.
Смотреть видео:
https://youtu.be/DOhYat2jcOQ