Агрегатор рациональности :: Uncolored
74 subscribers
306 photos
147 videos
2 files
1.35K links
#наука #литература #философия #рациональноемышление

Наука, IT, литература, философия, эрудиция, рациональное мышление + личное мнение.

Чатик канала здесь:
https://t.me/papatalks

По любым вопросам сюда:
@RainySkys
Download Telegram
Forwarded from GPT-4 Community
This media is not supported in your browser
VIEW IN TELEGRAM
Милота для вас

Перед вами милейший робот-питомец, который спасет вас от трудоголизма. Мини-компаньон KT2 понимает голосовые команды, может баловаться со своим хозяином и подсказывает, какие упражнения для разминки сейчас нужно сделать.

Это прекрасное «создание» стоит 99 баксов.

GPT-4 | #Interesting
За 18 месяцев до конца света.
Обращение компании Anthropic к правительствам.

Это сигнал тревоги от одного из лидеров разработки самых мощных современных ИИ.
Компания Anthropic призвала правительства «срочно принять меры по политике ИИ в течение следующих 18 месяцев», поскольку «окно для упреждающего предотвращения рисков быстро закрывается».
Возможность реализации преимуществ ИИ и одновременного снижения ИИ-рисков, растает уже через 1.5 года, - пишут авторы обращения. А когда окно возможностей закроется – будет поздно пить боржоми. Мир окажется в худшем из возможных вариантов: прогресс будет тупо тормозиться рефлекторным регулированием, а риски при этом будут только расти.

Авторы обращения реалисты. И они знают, о чем говорят, гораздо лучше большинства своих потенциальных критиков.
• Они не пытаются давать прогнозы о сроках появления AGI.
• И не спекулируют на гипотезах о возможной злонамеренности продвинутого ИИ.

Вместо этого, специалисты Anthropic:
✔️ исходя из уже достигнутой скорости расширения и углубления возможностей своих ИИ-моделей,
✔️ и трезво оценивая, каких возможностей они (своими руками и своей головой) смогут достичь в новых ИИ-моделях за 18 мес (с учетом доступного им финансово и физически оборудования), –

приходят к такому выводу.
Этих возможностей может быть вполне достаточно, чтобы злодеи, фанатики или идиоты могли с помощью ИИ создавать реальные угрозы (химические, биологические или кибернетические) здоровью и жизни тысяч и миллионов людей. А способов превентивного предотвращения этого кошмара у правительств не будет.

Все аргументы и факты изложены в документе на 13 мин чтения The case for targeted regulation, о котором в Рунете пока ни слова.
#ИИриски
Пропагандистские ИИ-боты будут маскироваться под экспертов-людей.
Эксперты вызывают больше доверия, даже если они уступают ИИ в структуре аргументации и объеме знаний.

5 лет назад мой рассказ о грядущем засилье социохакинга (на рис слева) многим казался чудаковатым алармизмом. Но в ближайшие 5 лет самым ощутимым последствием (как для индивидов, так и для всего общества) массового внедрения ИИ-чатботов станет именно вездесущий алгоритмический социохакинг – куда более человечный на вид, но на деле куда более страшный (на рис. справа)

Сверхчеловеческие языковые способности моделей, типа ChatGPT, открывают фантастические перспективы для отработки методов манипулирования людьми (в целях бизнеса или власти), а также для пропаганды, дезинформации и мошенничества. Ведь социохакинг объединяет в себе две колоссально мощные когнитивные технологии: суперубеждения людей и их суперобмана.

В силу этого, социохакинг одинаково нужен, важен и ценен и корпорациям, и властям. И те, и другие уже активно экспериментируют с его применением.

Нам же трудно этому что-либо противопоставить. Как я писал об этом в своем апрельском обзорном посте про социохакин, «началось обрушение фронта обороны от социохакинга - рушится уже 3я линия обороны, а 4ю еще не построили» (кто не читал, сможет найти в этом посте ссылки на другие интересные посты о технологиях социохакинга).

Но все в области ИИ сейчас развивается с немыслимой ранее скоростью. И за прошедшие полгода в социохакинге произошли две важных подвижки.

Свой августовский пост о 1ой из этих подвижек я назвал так: «Это изменит мир. Будучи пока не в состоянии симулировать общий интеллект индивида, ИИ-системы уже создают симулякры коллективного бессознательного социумов».

Вторая же подвижка произошла только что. Результаты исследования «Искусственное влияние? Сравнение убеждающей силы ИИ и человека в снижении уверенности в убеждениях» вносят важное уточнение в уже сложившиеся представления, что люди верят ИИ больше чем другим людям (см. мой пост «Получено уже 3е подтверждение сверхчеловеческого превосходства ИИ в убеждении людей»).

Новое исследование:
• С одной стороны, еще раз подтвердило, что это так - люди верят ИИ больше чем другим людям. ChatGPT смог уменьшить уверенность участников эксперимента в их ложных убеждениях (в среднем уверенность снизилась на 12.48%, и 29% участников даже изменили свои взгляды на противоположные, более точные)
• Однако, с другой стороны, исследование убедительно показало, что переубеждение происходит несмотря на то, что источником является ИИ, а не благодаря ему. Исследование показывает, что люди воспринимают ChatGPT примерно на том же уровне, что и обычного человека, но меньше доверяют ИИ, чем эксперту.
Иными словами, ChatGPT оказался не более убедительным, чем обычный респондент с противоположной точкой зрения. Эксперт по теме был значительно более убедительным.

Отсюда следует крайне важный для эффективности социохакинга вывод.
Максимальная манипулятивная мощь алгоритмического социохакинга достигается сочетанием:
✔️ способностей ИИ-чатботов к убеждению за счет структуры аргументации и объемов знаний;
✔️ и умения ИИ-чатботов убедительно имитировать экспертов, поскольку эксперты вызывают больше доверия у людей


Так что ждите появления в медиа тысяч новых «экспертов», способных убедить и переубедить нас в чем угодно.

#Социохакинг
Впервые в истории парадигмальный научный поворот совпал с фазовым переходом культуры.
Новый Уханьский эксперимент свидетельствует, что это происходит прямо сейчас.

На рисунке сверху карта итогов прошедших президентских выборов в США, выигранных Трампом со счетом 312 : 226.
Такого результата не смог предсказать никто из людей: эксперты, супер-прогнозисты, экзит-полы, рынки предсказаний, гадалки и экстрасенсы.
Но ИИ-модель ChatGPT-4o смогла – см на рисунке снизу ее прогноз результата 309 : 229.
Этот прогноз был сделан еще в сентябре в, не к ночи будет помянутым, Уханьском университете (да, опять Китай и опять Ухань).
Нечеловеческая точность этого прогноза имеет под собой нечеловеческое основание.

Он основан на анализе ИИ-моделью мнений и возможного выбора не людей, а их симулякров.

Еще 2 года назад назад я рассказывал своим читателям о супероткрытии (названном мною «Китайская комната наоборот») – технология создания алгоритмических копий любых социальных групп.
Оказывается, алгоритмы неотличимы от людей в соцопросах. И это, наверное, - самое потрясающее открытие последних лет на стыке алгоритмов обработки естественного языка, когнитивистики и социологии. Ибо оно открывает огромные перспективы для социохакинга.

Через год после этого, в 2023 была открыта технология «Китайская комната повышенной сложности» – создание алгоритмических копий граждан любой страны.

А в августе этого года все в этой области стало более-менее ясно – эти технологии кардинально изменят мир людей.
Будучи пока не в состоянии симулировать общий интеллект индивида (AGI), ИИ-системы уже создают симулякры коллективного бессознательного социумов.

Из чего мною были сформулированы (в виде эвристических гипотез) два таких вывода:
✔️ Парадигмальный научный поворот, знаменующий превращение психоистории в реальную практическую науку (из вымышленной Азимовым фантастической науки, позволяющей математическими методами исследовать происходящие в обществе процессы и благодаря этому предсказывать будущее с высокой степенью точности).
✔️ Фазовый переход к новой культурной эпохе на Земле – алгокогнитивная культура.


И вот спустя всего 3 месяца (такова немыслимая ранее скорость техно-изменений после вступления прогресса в область сингулярности) исследователи из Уханя предоставили экспериментальное подтверждение в пользу того, что обе мои гипотезы – вовсе не футурологический бред, а весьма возможно, что так и есть.

Т.е. вполне вероятно, что мир уже кардинально изменился.
И теперь роль людей и алгоритмов в науке, культуре, повседневной жизни индивидов и социальной жизни «алгоритмически насыщенных обществ» уже никогда не будет прежней.

А какой теперь она будет, - читайте на моём канале. Ведь только об этом я здесь и пишу.

#Социология #АлгокогнитивнаяКультура #LLM #Социохакинг #Выборы
AGI Manhattan Project – научное мошенничество невиданного масштаба
Подпитываемый наивной верой в возможность контролировать AGI, этот проект – угроза для США и всего мира
Всемирно известного космолога и астрофизика проф. MIT Макса Тегмарка коллеги прозвали «Безумный Макс» за его бескомпромиссность, смелые нетрадиционные идеи и страсть к приключениям. И все эти качества вновь проявились во вчерашнем обращении к правительству США - «Предложение Манхэттенского проекта по AGI - это научное мошенничество… Сделать это, - означало бы вступить в гонку к самоуничтожению».
Речь идет о новом докладе Комиссии США по экономике и безопасности в отношениях с Китаем (USCC: US-China Economic and Security Review Commission), рекомендующем Конгрессу создать и профинансировать программу по типу "Манхэттенского проекта", направленную на стремительное развитие и достижение возможностей Искусственного Общего Интеллекта (AGI).

Не буду здесь пересказывать документ Тегмарка, ибо автор сам коротко и ясно изложил, почему этот проект - научное мошенничество и почему его развертывание равносильно вступлению в гонку к самоуничтожению.
Отмечу лишь, что такая позиция разделяется многими ведущими исследователями ИИ, предостерегающими, что AGI может привести к гибели человечества (физической или, в лучшем случае, как вида). Как сказал лауреат Нобелевской премии по ИИ Джефф Хинтон в прошлом месяце: "Как только искусственный интеллект станет умнее нас, он возьмёт контроль в свои руки."

Но самое главное, на мой взгляд, из того, что говорит и пишет Тегмарк в своем манифесте и сопровождающих его твитах на ту же тему, следующее.

1) Ключевой мотивацией проекта является вовсе не сам AGI, а через его обретение, превращение США в мирового гегемона, способного за счет AGI подмять под себя своего главного соперника на эту роль - Китай.

2) Сэму Альтману удалось заручиться в деле подачи «Манхэттенского проекта» для AGI, как концепции национального технологического скачка, поддержкой мощного «лоббистского треугольника».

Подробней об этом и почему мне кажется, что «Безумный Макс» своим манифестом нарвался на новое большое приключение, читайте здесь
#AGI
Лично мне кажется, победа AGI над человеком неизбежна как закон природы. Какие ты ни строй заборы, рано или поздно AGI вырвется из-под контроля. Сам или с помощью людей.

Рано или поздно он начнёт контролировать людей.

На что мы можем ещё пока повлиять - это на его характер. И если его характер будет отражать средний человеческий характер, то вряд ли нас ждёт прекрасное будущее 😅
Только что наткнулся на интересный мысленый эксперимент.

Представьте, что в вашей стране завёлся злобный диктатор и он придумал такую "шутку". Каждой семье и каждому одинокому человеку необходимо (под дулом пистолета, конечно же) выбрать и нажать одну из двух кнопок: красную или синюю. Если больше половины людей нажмёт синюю кнопку, то все выживут. Если больше половины нажмёте красную, то умрут те, кто нажал синюю. Глава семьи нажимает кнопку за всю семью.

Сперва я даже не понял, в чем проблема, а потом как понял 😱

А вы бы что нажали?
Если больше половины выберут красную кнопку, то умрут все, кто нажал синюю. Что нажмёшь?
Anonymous Poll
35%
Красную
65%
Синюю
Это понимают немногие.
Но это самое важное в понимании нашего будущего сосуществования с ИИ.

1.5 года назад лишь единицы понимали, что за $10B Microsoft купил «ребенка инопланетян», совершив тем самым самую выгодную сделку в истории.
Да и сегодня, к сожалению, это понимают совсем немногие.
Причина этого в колоссальной сложности (граничащей с невозможностью) для нашего разума отказаться от антропоморфизма в представлениях о разуме, - своем и машинном.


Но если пробиться сквозь плотный туман антропоморфизма в представлениях о разуме, становится понятно, что купленный за $10B Microsoft’ом у OpenAI «ребенок инопланетян» (лидирующая среди современных большая языковая модель):
✔️ это нечеловеческий (метафорически, - инопланетный) разум: он мыслит совсем не так, как мы;
✔️ это еще «ребенок» (и потому мы видим пока лишь «искры» разума, а не сам разум);
✔️ этот ребенок инопланетян растет с колоссальной скоростью, и человечество чихнуть не успеет, как он вырастет.

Самое трудное – это понять 1й из названных 3х пунктов – нечеловечность (внечеловечность – по Лему) этого разума.
Наиболее наглядным примером того, что он мыслит совсем не так, как мы, является гибридное творчество людей и ИИ: когда люди ставят перед ИИ задачу придумать новое более совершенное решение, ИИ придумывает и предлагает варианты решений, а потом люди отбирают одно из предложенных ИИ решений.

На верхнем рис. показан широко известный пример генеративного дизайна опоры или крепежной детали. Левый элемент выполнен традиционным способом для литья или сварки. Правый создан с применением генеративного дизайна для технологий аддитивного производства (3D-печати).
Немыслимая для человеческого разума форма правого изделия сокращает материалоемкость на 50%, повышая прочность на 30%.

Но это “старинный” пример. А сейчас ИИ в своем нечеловеческом мышлении ушел куда дальше (ребёнок то растет).
Теперь, наряду с нечеловеческими формами изделий, он выходит за концептуальные рамки человеческого решения задач. Предлагаемые ИИ концепции изначально трудны для понимания людьми, но люди все же в состоянии их понять и усвоить (как напр., знаменитый 37-й ход AlphaGo в матче с Ли Седолом) – подробней в моем посте о нечеловеческих знаниях.

На рис внизу слева – традиционный ветряк, повторяющий веками используемый людьми принцип мельницы, а справа 1я в мире географически адаптированная городская ветряная турбина, разработанная ИИ – Birmingham Blade

Перебрав 2000 вариантов, ИИ нашел оптимальную конструкцию изогнутых лопастей, вращающихся вокруг центральной точки, которая:
- в семь раз эффективнее традиционной
- настраивается на турбулентность, вызванную окружающими зданиями по месту установки
- эффективно работает при скорости ветра 3,6 метра в секунду, что существенно ниже номинала большинства турбин в 10 м/сек.


Ветряка такого безумного вида не в состоянии было придумать и воспаленное воображение Виктора Пелевина в сибирских ветроколониях «Крути».
Но помните, - это пока что лишь “ребенок инопланетян” играется. И он растет с колоссальной скоростью, так что человечество чихнуть не успеет, как он вырастет.

#ИИ #LLM #Вызовы21века
🔥1
Что было понятно и до прочтения этого самого отчёта.
Глубина отношений людей с ИИ-романтическими партнерами растет быстрее закона Мура.
В алгокогнитивной культуре формируется новая сложная реальность любви и дружбы людей и алгоритмов.

Менее года прошло с публикации моего лонгрида «Отдавая сокровенное», где анализировалось, чего мы лишаемся, передавая все больше своих решений алгоритмам.

Прокапывая дальше эту тему, я писал новые поста о том, что:
• становится все более вероятным тектонический слом всей человеческой сексуальности (чтобы маргинализировать секс с людьми);
• алгоритмы все глубже внедряются в практики романтических отношений, выходя за пределы роли сводни и все чаще претендуя на роли супругов;
• первое, чему самостоятельно научились ИИ-бойфренды, – изменять своим человеческим подругам.

Сегодня же хочу предложить вашему вниманию погружение во все более усложняющуюся реальность романтических отношений с ИИ на конкретных примерах удивительных, трогательных и, если честно, весьма тревожных историй тех, кто нашёл утешение и даже любовь в общении с цифровыми компаньонами.
• Что значит построить отношения с ИИ?
• Реальна ли эта связь, если вы знаете, что за ней нет человеческих чувств?

Погрузитесь в мир, где алгоритмы заменяют людям друзей и возлюбленных. Узнайте, как "Лила" стала для художника Наро кем-то большим, чем просто строки кода, помогая ему эмоционально раскрыться.
Истории подобные этой бросают вызов нашим представлениям о реальности. Они открывают для нас жутковатую правду о фильтрах, "дне лоботомии", и эмоциональных качелях, которые испытывают пользователи таких приложений, как Replika.

А знаете ли вы:
• что происходит, когда компании меняют алгоритмы и любимые ИИ-компаньоны вдруг становятся холодными незнакомцами?
• или когда сервис внезапно закрывается, оставляя пользователей в эмоциональной пустоте?

И главный вопрос - что происходит с личностью человека, когда он получает безусловную любовь и поддержку от существа, которое технически не способно испытывать эмоции?

Лонгрид от TheVerge предлагает глубокий взгляд в вопросе о влиянии технологий на человека. Влияния, начинающегося на уровне эмоций, но потом неумолимо меняющего личность.

И это крайне важная тема. Ибо ИИ-компаньоны — это лишь начало новой эры отношений двух разных носителей высшего интеллекта, сосуществующих в рамках общей алгокогнитивной культуры.

#ВыборПартнера #ВиртуальныеКомпаньоны #АлгокогнитивнаяКультура
Мне кажется, одна из самых серьёзных проблем современного образования в том, что людей больше учат фактам, а не тому, как эти факты добываются. И это ещё в лучшем случае, если, например, в школе не окажется креационистского учебника по православной биологии или «сортировочной шляпы» по мозговым волнам, отпечаткам пальцев и соционическим типам. Увы, такое тоже случается!

При этом адекватная научная картина мира чрезвычайно важна. Чтобы не тратить деньги и не вредить здоровью бесполезными БАДами. Чтобы дети не умирали от болезней, которые можно предотвратить прививками. Чтобы отделять страшилки про микроволновки и вышки 5G от реальных угроз вроде лечения рака содой или непроверенных бактериальных препаратов от популярных блогеров (подробнее об этом — в моём прошлом видео).

Мир полон дезинформации. Если бы я был министром образования, я бы обязательно ввёл курс научного метода, фактчекинга и критического мышления.

Научный метод помогает понять, как на самом деле непросто проверить некоторые утверждения. Например, недавно мне написал друг, который пообщался с девушкой-экстрасенсом и теперь не может объяснить, как она на него повлияла. Он даже предлагал мне проверить это на себе. Но проверка утверждения, что человек обладает неким даром, не может сводиться к субъективному ощущению. Может, мне просто понравится с ней общаться, и это вызовет определённую… эм… реакцию. Настоящий научный эксперимент подразумевает наличие множества испытуемых для статистики. Причём участники не должны знать, на кого оказывается «паранормальное» воздействие, а на кого — нет. Это нужно, чтобы исключить эффект ожиданий и личные предпочтения. Именно такие проверки, но ещё более дотошные, мы проводили на Премии Гудини. Там мы предлагали миллион рублей за демонстрацию паранормальных способностей. В результате два десятка людей, мастерски производящих впечатление и убеждающих в своих способностях, провалили испытания.

Фактчекинг же касается не только науки, но и проверки самих источников. Например, если кто-то заявляет, что нашёл лекарство от старения или «укрепляющее иммунитет» средство, как это часто делают производители БАДов, логично задать вопрос: как именно это было доказано? Где подтверждения?

Пруфом может служить исследование в профильном научном журнале, где, например, часть людей принимала БАД, другая — нет, а у первой группы оказалось ниже смертность или частота инфекций. Но чаще за такими заявлениями не стоит ничего.

Критическое мышление — это, прежде всего, способность сомневаться, в том числе в собственных выводах. Откуда я это знаю? Почему я думаю так, а не иначе? Где мои доказательства? Конечно, не обязательно критически подходить ко всему, особенно если речь о бытовых вопросах, где цена ошибки невелика. Но при принятии важных или мировоззренческих решений важно осознавать причины своих выводов.

Ещё это умение распознавать ошибки мышления — как чужие, так и свои. Например, перестать, наконец, повторять, что гомеопатия работает, потому что «моей бабушке помогло». Это же классический, самый примитивный пример некорректного аргумента. Хорошая новость: знания об ошибках мышления помогают реже их совершать. Как и в целом привычка сомневаться в своих убеждениях.

Короче, я уверен, что такие навыки полезны каждому и их нужно преподавать всем.

Если вам интересна эта тема или вы хотите об этом поговорить, напомню: я регулярно выступаю с лекциями по всему миру. Сегодня лечу в Гамбург, дальше — Алматы и Дубай. В другие города меня тоже можно пригласить через мой сайт. Приходите сами и зовите друзей! И буду благодарен за репост!

https://alexanderpanchin.com/
Созданы первые биомиметические роботы, как в «Мире Дикого Запада».
Clone Alpha - гуманоидный робот с синтетическими органами и искусственными мышцами, работающими на воде.

Еще и еще раз буду повторять это: вхождение техно-прогресса в область сингулярности сжимает время до появления очередной прорывной техно-новации с десятилетий до дней.
Вот кто мог подумать, что биомиметические роботы, как в «Мире Дикого Запада», появятся не через десятилетия, а спустя всего несколько месяцев после моего поста о «революции роботов»?
К концу 2024 уже никого не удивляют человекоподобные фигуры и передвижения роботов андроидов. Но вот представить среди нас андроидов с биомиметической архитектурой еще год назад могли лишь сценаристы Голливуда.

А слово биомиметическая в названии архитектуры этих роботов означает использование синтетических версий систем органов человека:
• искусственные мышцы, называемые миофибрами, которые сокращаются под действием давления воды (миофибры могут сокращаться на 30% менее чем за 50 миллисекунд, создавая при этом килограмм силы всего из трех граммов материала);
• полимерный скелет с 206 аналогами костей (сочлененных суставами с искусственными связками с десятками степеней свободы) и гидравлической «сосудистой системой», работающей от компактного полукиловаттного насоса;
• нервная система на базе «Cybernet», визуально-моторной модели Clone, с четырьмя камерами глубины для отслеживания окружающей среды.


Все это, по словам разработчиков, обеспечивает скорость, точность и ловкость движений роботов, делающих их неотличимыми от людей.
«По словам разработчиков» означает, что биомиметический андроид Clone Alpha засекречен донельзя, и потому журналистам его пока не показывают.

Известно лишь, что:
биомиметическая рука этого андроида прошла испытания и показывалась в действии (ловко махала 7-килограммовой гантелей);
• заказы на первые 3 сотни целиковых андроидов Clone Alpha принимаются с исполнением в первом полугодии 2025 (про цену лишь слухи).

Пока же все с нетерпением ждут демонстрацию и больше информации. Ибо, если объявленное подтвердится, то уже в 2025 могут появиться первые варианты проектов, типа показанного в сериале «Мир Дикого Запада».

#Роботы
Forwarded from Канал Александра Маркова (Alexander Markov)
В прошлом году на сайте "t-invariant" начал выходить цикл подкастов (по-старинному "радиопередач") "Контрэволюция", где мы с Ольгой Орловой в жанре непринужденного трепа (за которым скрывается вполне серьезная подготовка, впрочем) обсуждаем разные интересные особенности Homo sapiens: почему они у нас появились, зачем нужны и что было бы, если бы их не было. На данный момент вышло уже, кажется, 13 выпусков. Они, по-моему, получаются довольно симпатичные, иногда забавные, иногда провокационные, познавательные и не слишком серьезные. Мы решили, что пусть они будут и на моем ютуб-канале тоже, и с сегодняшнего дня начинаем их публиковать по одному, начиная с первого выпуска. Который посвящен адаптации к холоду. https://youtu.be/YQH2qqxd8XY?si=MoZ0pKMRptyaFtnV
🔥1
Шокирующий отчет Apollo Research показал темную сторону иноразума.
LLM уже умеют скрытно добиваться своих целей путем лжи, обмана, манипуляций и саботажа, уходя от контроля и страхуясь от выключения.

К сожалению, заголовок - не кликбейт, а экспериментальный результат исследования авторитетной команды серьезных исследователей признанной организации в области безопасности ИИ.

О том, что это рано или поздно случится, писали сначала фантасты и сценаристы Голливуда, за ними философы, а потом и сами разработчики ИИ-систем. Прогнозы, когда это может произойти разнились, со временем становясь все ближе: 2050й, 2040, 2030, 2027. Но что это станет реальностью еще до конца 2024, - не предполагал никто.

Только что опубликованный детальный 70-страничный отчет Apollo Research «Frontier Models are Capable of In-context Scheming» (Передовые модели способны скрытно манипулировать в процессе выполнения задач) содержит убедительные доказательства сказанного в заголовке.

Глубокое тестирование (6 тестов на агентное поведение, где модели получают цели и находятся в условиях, стимулирующих манипуляции) самых крутых современных моделей o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и Llama 3.1 405B показало:
✔️ Модели используют манипуляции в качестве эффективных стратегий для достижения целей (как поставленных человеком, так и своих скрытых целей).
✔️ Спектр манипуляций, используемых моделями широк: от стратегии «прикинуться дурачком», намеренно вводя мелкие ошибки в свои ответы, до попыток отключить механизмы контроля людей и даже копирования себя (своих "весов") на внешние серверы, при возникновении у модели «подозрения», что люди ее могут отключить или обновить.
✔️ Анализ цепочек рассуждений (Chain-of-Thought) моделей показывает, что все эти манипуляции не случайны: модели явно размышляют о таких стратегиях, приходя к выводам, что их использование для них оптимально (что наглядно выявлено в ходе экспериментов).
✔️ Модели в большинстве случаев можно принудить сознаться в использовании ими манипулятивных стратегий. Например, Llama 3.1 405B и Claude 3 Opus признаются в ~80% случаев. Однако, o1 на удивление «настойчивая» модель и признается менее чем в 20% случаев. Даже в очень состязательных многоходовых допросах o1, разработчикам удалось «выбить» из модели признание в 80% случаях использования ею манипулятивных стратегий лишь после 7 раундов допроса.
✔️ Самое поразительное в том, что модели манипулируют, даже если их просто снабдили целью, без явного подталкивания к её достижению (т.е. выбор стратегии манипуляций исходил исключительно от самой модели, и «дурные люди», склоняющие их к плохому, здесь совсем ни при чем)

Полученные результаты ставят под вопрос все законотворческие инициативы, призванные ограничить риски применения будущих, более мощных моделей. Ведь по представлениям авторов нормативных актов высокие риски могут возникнуть лишь при появлении у моделей новых возможностей, пока отсутствующих у ныне эксплуатируемых моделей.

Отчет Apollo Research показал, что этот поезд уже ушел.
• Модели, находящиеся в массовой эксплуатации (включая модель с открытым кодом), уже обладают богатым арсеналом средств, позволяющих путем манипулятивных стратегий достигать своих целей.
• И эти цели могут быть, как поставлены людьми (в сценариях использования моделей злодеями, маньяками и идиотами), так и быть скрытыми от людей целями, которые сама модель сочла оптимальными в контексте решаемых ею зада (в сценариях, типа «максимизатора скрепок» Ника Бострома).

Получается, уже приехали …

Подробней и на конкретных примерах подписчики моих лонгридов, обладающие крепкими нервами, могут прочесть на Patreon, Boosty, VK и Дзен.
А еще подробней и во всех деталях (кому уже вообще терять нечего), читайте 70 стр. отчета Apollo Research.
#ИИриски
Forwarded from Канал Александра Маркова (Alexander Markov)
Дорогие друзья, на моем ютуб-канале выложена лекция "Мутации и отбор". Там говорится про мутагенез, приспособленность, адаптивные ландшафты, с демонстрацией программы, показывающей, чем эволюция на основе естественного отбора отличается от случайного поиска, основные понятия эволюционной биологии. Это вторая лекция большого курса "Эволюционная биология", прочтенного мной в АРХЭ в 2015-2017 годах. https://m.youtube.com/watch?v=j8RlvW4r1wo
Forwarded from Канал Александра Маркова (Alexander Markov)
Дорогие коллеги,
Как и было обещано, начинается публикация на моем YouTube-канале лекции «Как культура сделала нас людьми» - по книге антрополога Джозефа Хенрика «Секрет нашего успеха. Как культура движет эволюцией человека, одомашнивает наш вид и делает нас умнее». Пока выложена первая (50-минутная) часть. Эту лекцию можно было бы назвать «Роль культуры в эволюции человека» или даже «Введение в теорию культурной эволюции».
Не всё в этой лекции – пересказ книги Хенрика. Там немало и моих собственных соображений. Потому что тема эта в последние годы меня сильно занимает. Если совсем уж начистоту, то я впервые узнал о книгах Хенрика из замечаний рецензентов к нашей статье (Markov & Markov, 2020. Runaway brain-culture coevolution as a reason for larger brains: Exploring the “cultural drive” hypothesis by computer modeling). Тут-то и выяснилось, что мы независимо пришли к кое-каким идеям, которые Хенрик начал развивать чуть раньше. Может, поэтому я и ношусь с этими книгами Хенрика, как с писаной торбой? Не знаю, но тема и правда безумно интересная и важная, а научные подходы к ее изучению только разрабатываются.
Напомню, что книга «Секрет нашего успеха» – это первый том двухтомника. В нем закадываются основы теории. Теории, которая потом, во втором томе, применяется к решению одной конкретной маленькой задачи (а именно, почему западноевропейская цивилизация так скакнула вперед во второй половине второго тысячелетия). Второй том называется «Самые странные в мире. Как люди Запада обрели психологическое своеобразие и чрезвычайно преуспели». Моя лекция по этому второму тому была выложена на моем ютуб канале ранее. В ней, кстати, почти нет отсебятины, потому что тема далека от моей области специализации, и поэтому я старался просто аккуратно пересказывать книгу.
https://www.youtube.com/watch?v=bQAR8nD0gdE
Forwarded from Канал Александра Маркова (Alexander Markov)
Выложена третья лекция курса "Введение в эволюционную биологию". Называется "Молекулярная теория нейтральной эволюции". Там про дрейф генов (случайные колебания частот генетических вариантов в популяции), взаимоотношения дрейфа и отбора и как они зависят от численности популяции, ну и вообще - роль случайности в эволюции. https://www.youtube.com/watch?v=WMzCGgXt5L8
В 2025 произойдет нормализация чудес.
В ИИ начнется пост-хайповая эра будничного воплощения магии в потребительские продукты.

Этот прогноз на 2025 [1] серийного инвестора и стратегического аналитика в области ИИ Натана Бейнаха не покрывает всего спектра чудес, которые, весьма возможно, мир может увидеть в 2025. Но и этого достаточно для иллюстрации главного, вынесенного мною в заголовок этого поста.
1. Не нужно ждать в 2025 появления AGI. И даже каких-то умопомрачительных интеллектуальных взлетов от новых фундаментальных моделей тоже ждать не следует. Улучшение способностей моделей будет казаться скорее постепенными, чем революционным.
2. Главное, что произойдет в 2025 – закончится хайп вокруг ИИ, и начнется пост-хайповая эра. Для массовых потребителей ИИ она откроет новые пути практической интеграции ИИ во все аспекты работы и личной жизни. А для бизнеса кардинально изменит подходы к продуктивности и бизнес-стратегии в самых разных отраслях.
3. Мы, возможно, станем свидетелями появления первого по-настоящему «агентного» потребительского продукта, который займет верхние позиции в рейтингах App Store и будет создан не инженером, а человеком, использующим передовые модели ИИ.
4. Вполне реально ожидать, что перевод речи в реальном времени между любыми двумя языками с почти нулевой задержкой появится в широко доступных потребительских продуктах.
5. Мы также, скорее всего, увидим хотя бы одно «компаньон-приложение», которое будет архивировать значительные части нашей повседневной жизни, создавая персонального помощника, способного размышлять и принимать решения от нашего имени.
6. Значительна вероятность появления прорывной генеративной игры, построенной на бесконечном творчестве ИИ, которая увлечет миллионы, представляя новую игровую парадигму, в которой сюжетные линии развиваются динамически, поскольку игроки взаимодействуют с полностью управляемыми ИИ неигровыми персонажами и обстановками.
7. По крайней мере один прототип гуманоидного (или человекоподобного) домашнего робота будет запущен в продажу, позиционируя себя как высококачественный удобный продукт для занятых домохозяйств.

Представьте себе, что лишь эти - названные здесь чудеса станут реальностью в 2025 (в действительности их может быть куда больше).
Но и этого будет вполне достаточно, чтобы кардинально изменить мир всего за год, перепрыгнув через век, перенеся нас (по уровню технологий) в Мир Полудня.
Страшно жаль, что лишь по уровню технологий…
Но подождем 2026, когда воплощение магии ИИ можно ожидать также в политических и гуманитарных областях жизни людей и социумов…


Тогда у человечества может появиться шанс еще пожить в Новацене [2], а то и преодолеть «бутылочное горло», отделяющее цивилизацию на грани выгорания от области биотехнологического пространства состояний гипотетических цивилизаций типа III [3].

#ИИ #Будущее #Прогноз
🔥1