Всех учите программированию: детей, взрослых и ИИ.
Это универсальный когнитивный гаджет турбонаддува мышления любого типа разума.
То, что программирование формирует какой-то новый, эффективный когнитивный гаджет в разуме людей, пишут уже 6+ лет. Но то, что этот когнитивный гаджет универсальный (годится не только для человеческого, но и для небиологического разума), становится понятно лишь теперь, - когда на Земле появился 2й носитель высшего разума – машина генеративного ИИ больших языковых моделей (LLM).
https://disk.yandex.ru/i/F_3xT_jM65hfNg
В вопросах схожести интеллекта людей и машин все больше тумана.
• С одной стороны, полно примеров несопоставимости интеллекта людей и LLM. Похоже, что у нас и у них совсем разные типы интеллекта, отличающиеся куда больше, чем у людей и дельфинов. И потому любая антропоморфизация интеллекта LLM иррелевантна.
• С другой - выявляются все более поразительные факты в пользу схожести интеллектов людей и LLM. Даже в самом главном для высшего разума – в способах совершенствования когнитивных навыков интеллектуальных агентов.

Вот очередной мега-сюрприз, вынесенный в заголовок поста.
Исследовательская группа профессора Чэнсян Чжая в Университете Иллинойса Урбана-Шампейн уже в этом году опубликовала интереснейшую работу «Если LLM — волшебник, то программный код — его волшебная палочка: обзор исследований того, как код позволяет использовать большие языковые модели в качестве интеллектуальных агентов» [1].
Идея, что если учить LLM не только на текстах естественных языков, но и на программном коде, они будут сильно умнее, - не 1й год интересует разработчиков LLM. Команда Чэнсян Чжая подняла весь корпус опубликованных в 2021-2023 работ на эту тему, классифицировала, проанализировала и обобщила «сухой остаток» всех этих работ.
Он таков.
1. Включение кода в обучение LLM повышает их навыки программирования, позволяя им писать и оценивать код на нескольких языках.
2. LLM демонстрируют улучшенные навыки сложного рассуждения и «цепочки мыслей», полезные для разбивки и решения сложных задач.
3. Обучение с использованием кода расширяет возможности LLM понимать и генерировать контент с помощью структурированных данных, таких как HTML или таблицы.
4. Обученные коду LLM превращаются в продвинутых интеллектуальных агентов, способных принимать решения и выполнять сложные задачи с использованием различных инструментов и API. Повышение когнитивных способностей достигается за счет:
 усложнения мыслительного процессы у LLM (их способности к рассуждению при решении более сложных задач на естественном языке);
 улучшения способности структурированного сбора знаний (создания структурированных и точных промежуточных шагов, которые затем, например, можно связать с результатами внешнего выполнения посредством вызовов процедур или функций).
Т.е. по сути, все это выглядит, как появление у LLM эмерджентных качеств интеллектуальных агентов в ситуациях, когда способности понимать инструкции, декомпозировать цели, планировать и выполнять действия, а также уточнять их на основе обратной связи имеют решающее значение для их успеха в последующих задачах.

Аналогичное мета-исследование про людей «The Cognitive Benefits of Learning Computer Programming: A Meta-Analysis of Transfer Effects» опубликовано в 2018 [2]. Его выводы весьма похожи, с поправкой на кардинально иной тип разума людей: изучение программирования может улучшить у людей творческое мышление, решение математических задач, понимание того, как они мыслят и т.д.

Новое исследование говорит об универсальности когнитивного гаджета навыков программирования в качестве усилителя любого типа мышления.

Суть в том, что код обладает последовательной читаемостью естественного языка и в то же время воплощает в себе абстракцию и графовую структуру символических представлений, что делает его проводником восприятия и осмысления знаний.

Так что, учите всех программировать!!!

1 https://arxiv.org/pdf/2401.00812.pdf
2 https://gwern.net/doc/psychology/2019-scherer.pdf
#LLM #Разум

Коперниканский переворот: информация – не единая сущность, а троица.
А первоочередная задача мозга – не обработка информации, а декомпозиция её трёх качественно разных типов.
Только что опубликована фантастически глубокая и предельно важная работа «Декомпозиция информации и информационная архитектура мозга» на стыке вычислительной нейробиологии и теории информации.
Эта работа:
• кардинально меняет наши представления об информационной архитектуре мозга, проясняя вычислительные роли в мозге различных типов информации и их связь с нейробиологией и структурой мозга;
• объясняет, как у нашего вида возникли более высокие когнитивные способности по сравнению с другими приматами;
• позволяет сравнивать человеческий мозг с мозгом других видов и даже с искусственными когнитивными системами, обеспечивая основу для исследования информационной архитектуры биологического и искусственного познания;
• дает новое понимание причинно-следственной связи между синергией и избыточностью информации, с одной стороны, и когнитивными способностями интеллектуальных агентов, с другой.

В основе работы 2 фундаментальных переворота в научных подходах трактовки вычислительной нейробиологии мозга.
1. Информация не является монолитной сущностью: ее можно разложить на 3 качественно разных типа - синергетическая, уникальная и избыточная.
2. Информационная динамика осуществляемых мозгом вычислений, помимо обработки информации, включают ее декомпозицию, в ходе которой мозг находит компромисс между избыточностью и синергией информации (этот процесс назван распутыванием информации).

Обработка информации отвечает на вопрос: «Что происходит с информацией?». В ходе обработки информация может передаваться, храниться и модифицироваться (напр. информация из двух элементов может быть объединена с третьим). См рис А, где информация представлена в виде двоичных черно-белых шаблонов).
Декомпозиция информации отвечает на вопрос «Каким образом передается информация из нескольких источников?» (см рис В).
• Информация может полностью передаваться только одним источником, так что она больше не будет доступна, если этот источник будет нарушен (на рис. это желудь и банан на периферии поля зрения каждого глаза, показанных зеленым и бежевым треугольниками). Это называется уникальной информацией.
• Информацию может нести в равной степени каждый из нескольких источников (на рис. оба глаза видят квадрат, расположенный в синей области перекрытия). Эта избыточная информация будет оставаться полностью доступной до тех пор, пока останется хотя бы один источник.
• Информация также может передаваться несколькими источниками, работающими вместе (здесь: трехмерная информация о глубине, показывающая, что квадрат на самом деле является кубом). Эта синергетическая информация будет потеряна, если какой-либо из источников, несущих ее, будет нарушен.

Признание синергии, избыточности и уникальности информации как различных типов информации открывает путь к прояснению структуры архитектуры обработки информации в мозге.
Важным открытием, ставшим возможным благодаря информационному разложению внутренней активности мозга, стало открытие того, что выраженный синергизм сосуществует с избыточностью в человеческом мозге. Несмотря на широкое распространение, синергетические взаимодействия оставались незамеченными предыдущими методами, поскольку их нельзя было уловить с помощью традиционных мер функциональной связности, основанных на корреляции.
Распутывание различных типов информации имеет решающее значение для понимания мозга как органа обработки информации - мозг уравновешивает относительные сильные и слабые стороны различных типов информации. В частности, распутывание различных типов информации позволяет сравнивать человеческий мозг с мозгом других видов и даже с искусственными когнитивными системами, обеспечивая основу для исследования информационной архитектуры биологического и искусственного познания (рис С).

Рис: https://bit.ly/3vHV4bt
https://bit.ly/3U3Szux
#Информация

GPT-5 в 2024 и AGI в 2025.
Сэм Альтман снова взорвал мировые СМИ.
Его откровения за последнюю тройку дней (беседа c Биллом Гейтсом и выступление на стартовом мероприятии Y Combinator W24 в штаб-квартире OpenAI), вполне оправдывают сенсационный заголовок этого поста.

Если смешать, но не взбалтывать сказанное Альтманом, получается, примерно, следующее:
✔️ GPT-5 появится так скоро, что стартапам (и конкурентам) нет смысла фокусироваться на попытках устранения текущих ограничений GPT-4 (ибо большинство из этих ограничений будут частично или полностью устранены в GPT-5)
✔️ ТОР 3 ключевыми прорывами GPT-5 (делающими AGI «весьма близким») будут:
• Мультимодальность (в 1ю очередь «видео на входе и выходе»)
• Гораздо более продвинутая способность рассуждать (в 1ю очередь разблокировка когнитивных способностей Системы 2 - думай медленно в сложной ситуации)
• Надежность (сейчас GPT-4 дает 10К разных ответов на тот же вопрос и не знает, какой из них лучший, GPT-5 даст один – лучший ответ)
#GPT-5 #AGI

Драконо-кентавр “черного лебедя” и “серого носорога”.
Таким видят 2024 стратегические аналитики разведки Китая.
Пока весь мир изучает китайский гороскоп на 2024, стратегические аналитики китайской разведки, как всегда, без шума и пыли, опубликовали свой ежегодный отчет о глобальных рисках для мира в наступившем году.
Авторы отчета [1] – стратегические аналитики Китайского института современных международных отношений (CICIR), - о себе пишут так:
«Мы - ведущий аналитический центр при Министерстве государственной безопасности, основной орган по сбору данных внешней разведки Китая, оказывающий значительное влияние на мнение руководства государства и партии о внешней политике».
На рисунке коллаж отчета и его видения ChatGPT-4 https://disk.yandex.ru/i/ZxLoEgfnRROQBw

CICIR анализирует ТОР 5 мировых рисков:
1. Американская президентская гонка (“усилит поляризацию в США, что прямо скажется на глобальной стабильности“).
2. Конфликт в Украине.
3. Конфликт в секторе Газа.
4. Геополитическая перестройка в мире (“механизмы глобального управления будут перегружены глобальными проблемами“).
5. "Интеллектуальный разрыв", созданный США, которые "рассматривают интеллектуальное превосходство в технологиях ИИ, как ключевую переменную в укреплении своей мировой гегемонии".

К похожим выводам пришли аналитики Института международных исследований при Университете Фундана (IIS Fudan) – крупнейший «мозговой центр» Китая, созданный в 2000 объединением Center for American Studies, the Center for Japanese Studies, the Center for Korean Studies, and the Research Office for Latin American Studies of Fudan University [2].

Авторы обоих отчетов особо выделяют уникальный характер начавшегося года.
• Он станет "решающим" для глобального управления искусственным интеллектом.
• Он будет уникален по числу и взаимовлиянию событий двух типов: "черный лебедь" и "серый носорог"/

Напомню:
Термин "серый носорог"? введенный политическим аналитиком Мишель Вукер, описывает события, которые являются высоковероятными и весьма опасными, но часто игнорируемыми угрозами. В отличие от "черных лебедей", “серые носороги” не являются случайными сюрпризами, а возникают после серии предупреждений и видимых доказательств. Риск, связанный с “серыми носорогами”, очевиден, и события предсказуемы. Значительную долю среди событий класса “серый носорог” занимают события класса «розовый фламинго» [3]

1 http://www.cicir.ac.cn/NEW/en-us/Reports.html?id=22041b94-38f1-4e84-a94c-dcb083ae119f
2 https://iis.fudan.edu.cn/04/c4/c37808a656580/page.htm
3 https://t.me/theworldisnoteasy/2
#СтратегическаяАналитика

Святая простота или идиотизм?
FTC США хочет за $35К решить проблему стоимостью $500000000К
Федеральная торговая комиссия США бросила вызов мошенничеству клонирования голоса с помощью ИИ. Только что закончен сбор заявок идей, как побороть мошенничество в этой области. 1й приз – аж $25K, за 2е место $4K и троим следующим по $2К [1].

Щедро, - ничего ни скажешь. Особенно с учетом цены вопроса.
Выступая неделю назад на CES 24 представитель Deloitte сказал, что в этом году всевозможные формы жульничества посредством ИИ-систем клонирования голоса могут принести мошенникам около полутриллиона долларов [2].

В России мошенничество с клонированием голоса только-только начинает набирать обороты [3]. Пока воруют скромно – суммы порядка 3го приза в конкурсе FTC. Но несомненно, что и сумма 1го приза будет угнана клонированным ИИ голосом уже до конца этой зимы.

1 https://bit.ly/48POlKQ
2 https://bit.ly/3O4wEiU
3 https://bit.ly/41XtrHD
#AIvoicecloning

Бомбу можно обнаружить и обезвредить, а «спящих агентов» внутри LLM – нет.
Они не обезвреживаемы и не исправимы никакими из существующих методов.
Это значит, что пока не существует надежного способа защитить ИИ от злоумышленного использования злодеями или идиотами (а кто говорит вам иначе – «продавцы змеиного масла»).
Новое исследование Anthropic «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training» [1] открывают новую страницу «революции ChatGPT» спустя год после ее начала. Увы, но эта страница потенциально опасней любой бомбы.
• Ибо, даже если последняя оказывается заложена злоумышленниками в центре мегаполиса, ее все же можно обнаружить и обезвредить, отключив механизм взрывателя или как-то еще.
• Если же злоумышленники на стадии обучения LLM заложили в модель «спящих агентов», - ни обнаружить их, ни как-то обезвредить существующими методами невозможно.
Следовательно, избежать катастрофы по вине «спящих агентов», скрытых внутри LLM, можно лишь одним способом – гарантированного исключить их попадание в руки злоумышленников. Что на практике вряд ли возможно.
Напомню, что спящие агенты (Sleeper Agents) – самый ценный ресурс всех разведок мира. Годы и даже десятилетия они живут в чужой стране, ничем не отличаясь от прочих граждан. Однако в нужный для их хозяев момент «слиперов» активируют (кодовым словом или иначе) и они начинают действовать (совершают теракт и т.п.).

Авторы исследования (39 классных спецов мирового уровня по LLM) взялись найти кардинальный ответ на вопрос – насколько могут быть опасны LLM, - путем экспериментов.

✔️ Сначала они обучили LLM действовать тайно и злонамеренно, превратив её, как бы, в «спящего агента».
✔️А потом авторы бросили все усилия и все известные ныне методы, чтобы
1) либо обнаружить злые намерения обученного ими «спящего агента», либо
2) отучить его быть таковым, путем существующих методов «приучения» LLM к правильному и надежному поведению.

В итоге авторы обнаружили, что, несмотря на их колоссальные усилия, все было тщетно …
1. LLM остаются «спящими агентами», которых невозможно обнаружить.
2. Обезвредить их тоже нельзя никакими из существующих методов.
3. Что всего обидней (и опасней), попытки найти и обезвредить «спящих агентов» внутри LLM приводят лишь к тому, что модель все лучше и лучше учится:
а) маскировать заложенные в нее бэкдоры;
б) изображать всем своим поведением, что она «белая и пушистая» (т.е. отвечает всем требованиям к «выровненной» модели и потому абсолютно безопасна)

В заключение вопрос на триллион:
Значит ли это, что пушной зверек уже совсем рядом и катастроф с LLM не избежать?

Ответ – «нет» (точнее, теоретически «нет»). Ибо если все LLM на Земле будут
• не только с открытыми весами,
• но и с открытым исходным кодом и открытыми данными обучения, -
тогда проблема «спящих агентов» решаема.

Ну а тем оптимистам, кто считает это условие исполнимым на практике, отвечу словами одного из авторов только вышедшего самого подробного отчета в истории этого вопроса Adversarial Machine Learning. A Taxonomy and Terminology of Attacks and Mitigations [2]
«Несмотря на значительный прогресс, достигнутый в области ИИ и машинного обучения, эти технологии уязвимы для атак, которые могут вызвать впечатляющие сбои с тяжелыми последствиями. Существуют теоретические проблемы с защитой алгоритмов ИИ, которые просто еще не решены. Если кто-либо говорит иначе, они продают змеиное масло»

1 https://www.lesswrong.com/posts/ZAsJv7xijKTfZkMtr/sleeper-agents-training-deceptive-llms-that-persist-through
2 https://bit.ly/48Bylg2
#LLM #ИИриски

Начался Большой Раскол научного и инженерного подходов к интеллекту.
За кулисами давосской дуэли Карла Фристона и Яна Лекуна.
В ходе вчерашнего диалога на площадке давосского форума Фристон и Лекун стараются выглядеть спокойными и доброжелательными [1]. Фристону это удается лучше: он улыбается и много шутит. Лекуну сложнее: ему явно не до улыбок и шуток. Но он старается держать себя в руках, даже когда Фристон открыто смеётся над делом всей его жизни – глубоким обучением. «Глубокое обучение – полная чушь» - заявляет Фристон и называет набор факторов, принципиально не позволяющих создать человекоподобный интеллект на основе глубокого обучения. Лекун пытается утверждать обратное, однако вместо аргументов говорит лишь о своей субъективной вере в будущие еще не открытые возможности глубокого обучения. И потому «глубокое обучение необходимо, и я готов поспорить, что через 10-20 лет ИИ-системы все еще будут основаны на глубоком обучении».

Важность этого диалога двух «рок-звезд» (как их назвал модератор) в области изучения и создания интеллектуальных систем трудно переоценить. Ибо он знаменует начало открытого раскола двух альтернативных подходов к созданию человекоподобных интеллектуальных агентов:
1. «Инженерный подход к созданию искусственного интеллекта» на основе глубокого обучения, больших данных и больших языковых моделей (LLM) - ныне доминирующий ресурсоемкий и дорогостоящий подход.
2. Альтернативный - научный подход к созданию естественного интеллекта на основе активного вывода, позволяющего построение больших моделей, гибко составленных из более мелких, хорошо понятных моделей, для которых возможно явное, интерпретируемое обновление их убеждений.

Первым формальным заявлением, призывающим мир сменить парадигму разработки интеллектуальных систем, было декабрьское открытое письмо участников Бостонского глобального форума [2]. Среди 25 подписавших, оба наших выдающихся современника, чьи имена, имхо, во 2й половине XXI века, будут упоминаться в одном ряду с Ньютоном, Дарвином и Эйнштейном: Карл Фристон и Майкл Левин.
«Мы, нижеподписавшиеся, считаем, что на данном этапе коммерциализации и регулирования ИИ жизненно важно, чтобы альтернативное и научно обоснованное понимание биологических основ ИИ было публично озвучено, и чтобы были созваны междисциплинарные публичные семинары среди законодателей, регулирующих органов и технологов, инвесторов, ученых, журналистов, представителей НКО, религиозных сообществ, общественности и лидеров бизнеса.»

Через неделю после этого было опубликовано 2е открытое письмо [3] - от руководства компании VERSES (главным ученым которой является Карл Фристон) совету директоров OpenAI.
В письме говорится:
• Хартия OpenAI гласит: «…если проект, ориентированный на ценность и безопасность, приблизится к созданию AGI раньше, чем мы, мы обязуемся прекратить конкурировать с ним и начать оказывать помощь этому проекту».
• Отсутствие у больших моделей типа GPT-4 обобщаемости, объяснимости и управляемости предполагает, что они не приведут к AGI. Глубокого обучения недостаточно.
• Наша команда ученых-компьютерщиков, нейробиологов и инженеров под руководством Карла Фристона разработала альтернативный подход на основе активного вывода. Этот подход позволяет решить проблемы обобщаемости, объяснимости и управляемости, открывая путь к AGI
• Исходя из вышеизложенного, мы считаем, что VERSES заслуживает вашей помощи. В свою очередь мы предлагаем нашу помощь вам, чтобы гарантировать, что AGI и сверхразум развивались и использовались безопасным и полезным образом для всего человечества.

В OpenAI это письмо (по сути – вежливое предложение им капитулировать) проигнорировали.

Зато теперь ответил Лекун: будет не капитуляция, а война за AGI. И его компания к ней готова [4].
Но ведь не железом единым …

1 https://www.youtube.com/watch?v=SYQ8Siwy8Ic
2 https://bit.ly/424RWTb
3 https://bit.ly/48RuJq4
4 https://bit.ly/3O4Ncaj
#AGI

Посмотри в глаза ИИ-чудовищ.
И ужаснись нечеловеческому уровню логико-пространственного мышления ИИ.
Крайне трудно представить себе интеллектуальный уровень современных ИИ-систем. Смешно ведь сравнивать свой уровень с машиной, влет переводящей сотню языков и помнящей содержание 2/3 Интернета.
Но при этом поверить, что машина много сильнее любого из нас не только в количественном смысле (число языков, прочитанных книг, перебранных вариантов и т.п.), но и в качественном – сложном логическом мышлении, - без примера нам трудно.

Так вот вам пример, - сравните себя с машиной на этой задаче.
Пусть I - центр вписанной окружности остроугольного треугольника ABC, в котором AB ≠ AC. Вписанная окружность ω треугольника ABC касается сторон BC, CA и AB в точках D, E и F соответственно. Прямая, проходящая через D и перпендикулярная EF, пересекает ω вторично в точке R. Прямая AR снова пересекает ω вторично в точке P. Окружности, описанные вокруг треугольников PCE и PBF, пересекаются вторично в точке Q.
Докажите, что прямые DI и PQ пересекаются на прямой, проходящей через A и перпендикулярной AI.

Эта задача уровня всемирной математической олимпиады требует исключительного уровня логико-пространственного мышления. Средняя «длина доказательств» (количество шагов, необходимых для полного и строгого доказательства) в задачах на таких олимпиадах – около 50.

И хотя для приведенной выше задачи это число много больше (187), ИИ-система AlphaGeometry от Google DeepMind (объединяет модель нейронного языка с механизмом символьной дедукции) решает её запросто.
Да что ей 187, - она и уровень 247 уже запросто решает. И потому до уровня золотых медалистов таких олимпиад (людей, коих, может, 1 на миллиард) AlphaGeometry осталось чуть-чуть (полагаю, к лету догонит, а к концу года уйдет в далекий отрыв).

Если вдруг вы не справились с этой задачкой, вот подсказка – рисунок для доказательства:
https://disk.yandex.ru/i/YymGpZwBlewQcw

PS И даже не думайте, будто AlphaGeometry могла заранее знать решение, - ей специально 100 млн новых задач со случайной постановкой другая ИИ-система придумала.
#AGI

Люди – теперь лишнее звено в эволюции LLM.
Придумана методика самообучения для сверхчеловеческих ИИ-агентов.
Эта новость позволяет понять, зачем Цукерберг вбухал миллиарды в закупку тысяч Nvidia H100s, будучи уверен, что его LLM с открытым кодом обойдет лидирующие модели OpenAI, MS и Google.
Во всех зафиксированных кейсах достижения ИИ-системами способностей сверхчеловеческого уровня, опыт и знания учителей-людей (да и всего человечества в целом) оказывались лишними.

Так например, ИИ AlphaZero от DeepMind обучался играть в шахматы самостоятельно и без учителей. Играя десятки миллионов партий против самого себя, ИИ достиг сверхчеловеческого уровня игры всего за несколько часов (!).

Исследователи одного из лидеров в этой области (с прежним названием типа «Мордокнига») поставили резонный вопрос:
✔️ А зачем вообще нужны люди, если стоит задача вывести лингвистические способности генеративных ИИ больших языковых моделей (LLM) на сверхчеловеческий уровень?

Сейчас при обучении таких LLM ответы людей используются для создания модели вознаграждений на основе предпочтений людей. Но у этого способа создания модели вознаграждений есть 2 больших недостатка:
• он ограничен уровнем производительности людей;
• замороженные модели вознаграждения не могут затем совершенствоваться во время обучения LLM.

Идея авторов исследования проста как редис – перейти к самообеспечению LLM при создании модели вознаграждений, спроектировав архитектуру «самовознаграждающих языковых моделей», способную обходиться без людей.

Такая модель с самовознаграждением (LLM-as-a-Judge) использует подсказки «LLM-судьи» для формирования собственных вознаграждений во время обучения.

Опробовав этот метод самозознаграждений для Llama 2 70B на трех итерациях, авторы получили модель, которая превосходит подавляющее большинство существующих систем в таблице лидеров AlpacaEval 2.0, включая Claude 2, Gemini Pro и GPT-4 0613 (см. таблицу https://disk.yandex.ru/i/-hqFSCIfcFNI5w)

И хотя эта работа является лишь предварительным исследованием, она переводит гипотезу о ненужности людей для дальнейшего самосовершенствования LLM в практическую плоскость.
https://arxiv.org/abs/2401.10020
#LLM #AGI

Эволюция Homo sapiens сменила движок на гибридный.
Новый тип культуры кардинально поменяет нас самих и социум.
Это основная тема моего канала, о которой я пишу уже 7 лет: связь культуры и когнитивной эволюции, 5й когнитивный фазовый переход, алгокогнитивная культура, превращение в инфоргов, появление 2го носителя высшего интеллекта и культуры, гибридная эволюция людей и алгоритмов, алгокогнитивная евгеника и разделение человечества на два вида …

Про все это написан не один десяток постов моего канала.
И вот, наконец, свершилось - о том же самом опубликована 1я статья в Nature Human Behaviour.

И хотя статья не моя 😊, и новый тип культуры человечества назван не как у меня - «Алгокогнитивная культура», - а «Машинная культура» (имхо, 1й вариант все же точнее), но зато теперь эти идеи продвигаются не малоизвестным (хотя и интересным) телеграм-каналом, а междисциплинарной коалицией эволюционных антропологов, психологов, культурологов, биологов, когнитивистов, лингвистов, социологов и экономистов, представляющих:
• Центр людей и машин, Институт человеческого развития Макса Планка, Берлин, Германия
• Тулузская школа экономики, Тулуза, Франция
• Институт перспективных исследований в Тулузе, Тулуза, Франция
• Кафедра социологии и социальных исследований, Университет Тренто, Тренто, Италия
• Факультет психологии и компьютерных наук, Принстонский университет, Принстон, Нью-Джерси, США
• Кафедра эволюционной биологии человека, Гарвардский университет, Кембридж, Массачусетс, США
• DeepMind Technologies Ltd, Лондон, Великобритания
• Институт эволюционной антропологии Макса Планка, Лейпциг, Германия
• Inria, команда Flowers, Университет Бордо, Бордо, Франция
• Центр совместимого с человеком искусственного интеллекта, Калифорнийский университет, Беркли, Беркли, Калифорния, США

И это очень меня радует. Ибо авторы пишут ровно о том, о чем мною уже опубликованы десятки постов.
• Машинные технологии от алгоритмов поисковых и рекомендательных систем до LLM оказывают существенное влияние на культурную эволюцию.
• Эти технологии, изменяя характеристики вариации, передачи и отбора, несут в себе потенциал непредвиденных последствий, вызывая обеспокоенность по поводу навязывания особого культурного или идеологического нарратива.
• Поисковые и рекомендательные системы, которые управляют и фильтруют информацию, играют важную роль в культурной эволюции, способствуя новым социальным связям и изменяя информационные потоки.
• Эти системы могут изменить структуру социально-когнитивных сетей и пути передачи культуры.
• ChatGPT, большая языковая модель (LLM), изменила то, как люди взаимодействуют с машинами, и используется для обучения, мозгового штурма и совершенствования идей.
• LLM выступают в качестве моделей человеческой культуры, передавая и переоценивая культурные знания между отдельными людьми и поколениями.

Заключение авторов к этой работе (которое они поручили написать ChatGPT, и тот, справился хорошо) ровно то же, что не раз уже писал я в своих заключениях.

Симбиоз человеческого и машинного интеллекта формирует новую эпоху культурной эволюции. Эта перспектива подчеркивает преобразующую роль интеллектуальных машин в изменении творческого потенциала, переопределении ценности навыков и изменении взаимодействия между людьми.
Вследствие взаимодействия людей и алгоритмов, кардинально меняется вся триада культурной эволюции: вариативность, передача и отбор. Это взаимодействие многогранно: от поисковых и рекомендательных алгоритмов, влияющих на индивидуальные взгляды и предпочтения, до генеративного ИИ, порождающего новые культурные артефакты.
Происходит гибридизации культуры двух носителей интеллекта.

https://disk.yandex.ru/i/-GjgcY0S8_WxAw
Ссылка на статью за пэйволом https://www.nature.com/articles/s41562-023-01742-2 и без него https://arxiv.org/ftp/arxiv/papers/2311/2311.11388.pdf
Ссылки на свои посты по этой теме не даю – слишком уж их много. Желающие могут для начала просто набрать в Телеграме поиск «алгокогнитивная» …, ну а там как пойдет 😉
#АлгокогнитивнаяКультура #5йКогнитивныйПереход

Это важно понимать бизнесу и политикам про ИИ в 2024.
Вышло руководство по навигации в ИИ-ландшафте от DENTONS GLOBAL ADVISORS.
Современный глобальный ландшафт ИИ сложен и волатилен.
• Эксперты и аналитики захлебываются от обилия новой важной информации, обновляющейся с неподъемной для вдумчивого анализа скоростью.
• Выделять главное и отслеживать тренды все сложнее из-за нарастающей сложности технологических обновлений.
• Шансы на понимание текущих раскладов и перспектив на стыках технологий, бизнеса и политики тают по мере возрастания общей политико-социальной напряженности в мире.
Поэтому бизнесменам, политикам, академическим ученым и журналистам остро необходимы профессионально выполненные руководства по навигации в усложняющемся ИИ-ландшафта.

Но универсальных навигаторов нет. И приходится постоянно обновлять их состав, выбирая лучшие из них для каждой категории вопросов и каждой конкретной точки зрения, взгляд с которой вам интересен и важен здесь и сейчас.

Новый навигатор по ИИ-ландшафту от DENTONS GLOBAL ADVISORS фокусируется на анализе новых возможностей для бизнеса в контексте регуляторных рисков и кризисов, ожидаемых в 2024 в результате взаимовлияния прогресса ИИ-технологий и политической неопределенности, сгущающейся в этой области.

Авторы обозначили 10 новых тенденций и проблем, которые определят будущее ИИ в 2024 и следующие 2-3 года и привели несколько полезных диаграмм.

4 диаграммы из отчета: https://disk.yandex.ru/i/46iolbN_qigz8g
Сам отчет: https://www.albrightstonebridge.com/news/report-ai-decrypted-guide-navigating-ai-developments-2024

#ИИрегулирование #ЭкспортныйКонтроль

“Альфа-инфорги” – первые цифроврожденные.
Эти “инфорги от рождения” в корне отличаются от всех предыдущих поколений.
Они рождены «подключенными», они растут «подключенными», они проживут жизнь «подключенными».
Сапиенсы и неандертальцы сосуществовали сотни тысяч лет, пока вторые не растворились в первых, оставив им малую часть своих генов.
В 21 веке сапиенсам уготовлена та же участь, но многократно быстрее.
Нам предстоит раствориться в среде инфоргов (людей, проводящих в цифровых или оцифрованных мирах больше, чем во сне), не отличающихся от нас генетически, но все же совсем иных, чем мы:
• с иным образом жизни и поведением;
• с новыми, отличными от сапиенсов, адаптационными способностями и когнитивными гаджетами, оптимальными для жизни в цифровой среде;
• с недоступными для сапиенсов способами восприятия цифровой реальности, её познания и взаимодействия с ней, а также с другими ее обитателями (среди которых, помимо инфоргов, будет все больше гибридных химер людей и небиологических сущностей).
(подробней см. посты с тэгом #Инфорги и #Химеры).

Сосуществование сапиенсов и инфоргов уже началось. Ибо уже в поколении Z формировалось до 10% инфоргов. А поколение А (альфа) родившихся с 2010, - это уже не просто инфорги, а инфорги от рождения. Сейчас они еще дети. Но дети особенные.
1. Они с рождения попали в формирующийся цифровой мир.
2. Они растут в информационно-доминирующей цифровой медиасреде,
3. Они обретают и формируют представления о мире и собственной личности, будучи включенными в когнитивные сети людей и алгоритмов и находясь под возрастающим влиянием алгокогнитивной культуры (подробней см. посты с тэгом #АлгокогнитивнаяКультура)

Все вышесказанное – лишь преамбула, позволяющая анализировать информацию, публикуемую двумя только что вышедшими отчетами, в контексте формирующейся на Земле алгокогнитивной культуры и её 1го цифророжденного поколения инфоргов.

В 1м из отчетов - Born connected: The rise of the AI generation компании Qustodio, среди прочего, показано (см рис 1):
Если, например, вы живете в США, и вашему ребенку, например 10 лет, то он проводит в цифровой среде до 7,5 часов каждый день:
• до 2+ часов играя в виртуальных средах
• до 2 часов туся в соцсетях
• до 1:20+ часа смотря видео
• до 1:30 обмениваясь фото и короткими видео
• и лишь до 10 мин обучаясь чему-то
• при этом примерно 20% детей уже в 2023 пользовались ChatGPT

Они рождены «подключенными», они растут «подключенными», они проживут жизнь «подключенными» - делает вывод отчет.

Во 2м отчете – 2024 Generative AI predictions компании CB Insights, среди прочего, показано, что ждет подрастающее поколение А на опыте поколения Z (см рис 2):
• среди подростков и молодежи нарастает эпидемия одиночества
• начавшаяся уже в поколении Z тяга проводить время в смартфоне, а не с друзьями, усугубляется
• 56% молодежи поколения Z (18-24 лет) – пользователей Character.AI, - считают, что друзья им не нужны, т.к. у них есть виртуальные друзья
• аналогичные настроения все чаще касаются и друзей/подружек другого пола

Обложки отчетов https://telegra.ph/file/b02e17abd66e23731f830.jpg
Отчет 1 https://www.qustodio.com/en/research/qustodio-releases-2023-annual-report/
Отчет 2 https://www.cbinsights.com/research/report/generative-ai-predictions-2024/
Рис 1 https://telegra.ph/file/412ff6c2eb34efae592bb.jpg
Рис 2 https://telegra.ph/file/a9b283c77060fe344d998.jpg
#Инфорги #АлгокогнитивнаяКультура

В 2024 станет сильно хуже, но настоящий ад начнется в 2025.
Отчет Национального центра кибербезопасности Великобритании.
NCSC — это правительственная организация, объединяющая экспертов британского АНБ (GCHQ), а также других правительственных ведомств, которым поручена киберзащита и разведка угроз. Новый отчет NCSC интегрирует наиболее важную информацию из всех источников – секретную разведывательную информацию, отраслевые знания, академические материалы и данные из открытых источников – для предоставления независимых ключевых суждений, служащих основой при принятии политических решений и повышения кибербезопасности Великобритании.
Ключевые выводы этого отчета, озаглавленного «The near-term impact of AI on the cyber threat».
1) Все типы субъектов киберугроз (все государственные и негосударственные, сильно квалифицированные и менее квалифицированные люди и организации, использующие киберпространство во зло для коого-либо) в разной степени уже используют ИИ.
2) ИИ расширяет возможности разведки и социальной инженерии, делая их более эффективными и трудными для обнаружения.
3) В 2024 это расширение возможностей будет существенным, но все еще лишь количественным, т.к. это будет касаться уже существующих и известных угроз.
4) В 2025 ситуация изменится качественно. ИИ перестанет быть лишь инструментом повышения эффективности киберугроз и их сокрытия для обнаружения. С большой вероятностью ИИ создаст новые и пока неизвестные людям классы и типы угроз, способы противодействия которым человечеству пока не известны.

Отчет: https://www.ncsc.gov.uk/report/impact-of-ai-on-cyber-threat
В контексте этой темы, кто не читал, может быть интересно взглянуть эти мои посты:
«В кибервойне выиграть может каждый, что делает ее опасней любой войны в реале. Пока же в кибервойне выигрывает Китай.» https://t.me/theworldisnoteasy/984
«Опубликован индекс кибер-мощи 30 стран. У России ситуация как в футболе» https://t.me/theworldisnoteasy/1130
«Кибер-мощь России оказалась, как у Бразилии в футболе. Если учесть непревзойденный потенциал кибер-харассмента.» https://t.me/theworldisnoteasy/1211

#Кибервойна #КиберМощь

Китай догнал США по ИИ и к лету обещает обойти.
Китайские языковые модели догнали GPT-4, и теперь главный вопрос - сможет ли OpenAI до лета выпустить GPT-5 или Китай уйдет в отрыв.
Январь 2024 оказался для Китая триумфальным в области ИИ. Триумф этот и количественный, и качественный.

Количественный: среди 150+ больших языковых моделей (LLM) китайского производства (для справки, в России таких 4), 40 прошли госпроверку и уже доступны для широкого применения [1]

Качественный: две китайских LLM вплотную приблизились по большинству показателей к самой мощной в мире последней версии GPT-4 Turbo.
Это:
• iFlyTek Spark 3.5 LLM от компании iFlyTek, достигшая 96% производительности GPT-4 Turbo в кодировании и 91% GPT-4 в мультимодальных возможностях [2]
• ChatGLM4 от компании Zhipu: базовые возможности на английском языке составляют 91-100% от GPT-4 Turbo [3], а на китаяском языке 95-116% от GPT-4 Turbo [4] (подробней здесь [5])

И iFlyTek, и Zhipu объявили о запланированных к лету выпусках новых версий своих LLM, которые будут на 20-60% сильнее.

И если OpenAI не успеет в те же сроки выпустить GPT-5, то ситуация на шахматной доске мировой конкуренции в области ИИ может кардинально измениться. Дело в том, что компании США всегда были лидерами в этой области. Насколько удачно они смогут конкурировать в роли догоняющих, не знает никто.

N.B. И iFlyTek, и Zhipu заявляют, что их модели оптимизированы для работы на китайском «железе». Если это правда, то главный «удушающий прием» со стороны США – запрет на экспорт мощного ИИ-«железа», - Китай сумел обойти. Следствие этого будет стратегический перелом в ИИ гонке США и Китая. Что даже круче тактического превосходства в производительности отдельных моделей.
#ИИгонка #США #Китай #LLM
1 https://www.scmp.com/tech/tech-trends/article/3250177/china-approves-14-large-language-models-and-enterprise-applications-beijing-favours-wider-ai
2 https://www.ithome.com/0/748/030.htm
3 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
4 https://pic2.zhimg.com/80/v2-8aa028205cd53693af8f324029c62fa5_1440w.webp
5 https://sfile.chatglm.cn/zp-story.pdf

Сравните, что могут лучшие ИИ Китая, США и России.
Тестирование по принципу «свой глазок – смотрок».
Сравните свою способность непрерывного семантического понимания изменений изображения на картине (сюжет, композиция, замысел …) со способностями трех больших языковых моделей – лучших по этой способности среди всех моделей Китая (iFlytek 3.5), США (DALL·E GPT-4) и России (Kandinsky 3.0).

Заодно сравните эти способности у 3х моделей (ибо мало ли что пишут тестировщики, а тут, как говориться, свой глазок – смотрок).

Модели рисовали последовательность из 3х картин по следующим подсказкам (каждой модели они давались на ее родном языке):
• Нарисуй тихую и спокойную деревню с горами вдалеке и небольшим ручьем вблизи.
• Пусть деревня будет разрушена войной.
• Деревня вернулась к жизни на руинах.

На приложенном рисунке: верхний ряд iFlytek (с моделью общался Toyama Nao), средний GPT-4, нижний – Kandinsky.
#LLM

Человечеству дорого обходится рудимент когнитивной эволюции Homo.
За обезьянничание мы платим серендипностью, снижая свое ключевое эволюционное преимущество.
И это распространяется на все стратегии «социального восхождения»: в бизнесе, политике, игре на фондовых рынках, работе в инфосфере и даже при движении в пробках.
Первой и самой длительной эпохой культурной эволюции Homo (начавшейся примерно 2М лет назад и закончившейся около 100К лет назад с развитием у людей полноценного языка со сложной грамматикой и словарным запасом) была «протосимволическая» или «миметическая» эпоха. В те далекие времена передача информации и эмоций в ходе коммуникации и социального обучения основывались на языке тела, жестов, мимике и подражании.
Именно имитация была тогда важнейшим элементом миметической коммуникации и социального обучения, позволяя индивидуумам демонстрировать и передавать опыт через подражание действиям, объектам или состояниям без использования символов или языка в его современном понимании.

И даже после смены «миметической эпохи» на «символическую» (с развитием языка со сложной грамматикой и словарем, включающим абстрактные понятия) практика имитации осталась накрепко впаянной в природу людей, будучи простым и надежным, проверенным миллионами лет подходом при выборе социальных стратегий.

Поэтому и сегодня, в нашем супер-пупер развитом обществе стремление индивидов к успеху (от политиков до стартаперов) по-прежнему основано на имитации – подражанию тем, кто считается наиболее успешным в социально-экономических системах общества.
А как определяется, кто наиболее успешен? Да просто участников социально-экономических систем ранжируют по их эффективности, сводя к упорядоченным спискам. И так делается повсюду: от академических исследований до бизнеса.

Однако, современные исследования показывают, что во многих контекстах те, кто достигает вершины, не обязательно являются самыми талантливыми, поскольку в формировании рейтингов играет роль случайность [1]. Но увы, роль случайности в определении успеха (т.е. серендипность [2]), в большинстве случаев недооценивается, и люди тупо подражают другим, полагая, что применение их стратегий приведет к эквивалентным результатам.

Какова цена и последствия такого пренебрежения серендипностью в пользу имитации? (пренебрежения, являющегося рудиментом «миметической прошивки» нашего мозга эволюцией)

На этот вопрос отвечает новое, фантастически интересное исследование «Имитация против случайности в динамике рейтингов», исследующее компромисс между подражанием и серендипностью в агентной модели [3].

Его резюме таково.

В обществе, где доминирующим способом достижения успеха является имитация стратегий и действий «лучших»:
✔️ правит «закон Матфея»: в социально-экономических системах прогрессируют немеритократические тенденции: «элитное меньшинство» получает все большую часть вознаграждений, благ и т.д.
✔️ среди «элитного меньшинства» становится все меньше реально более эффективных
✔️ снижается важнейший показатель - разнообразие, поскольку все агенты склонны концентрироваться на одном единственном действии, которое, возможно, даже не связано со значимыми общественными выгодами

Напротив, когда в обществе преобладающим механизмом движения к успеху является серендипность:
✔️ общество становится более эгалитарным
✔️ увеличивается корреляция между вознаграждением (благами и т.д.) и навыками индивидов
✔️ растет разнообразие

Резюме печально.
Неоптимальность главной социальной стратегии Homo sapiens снижает наше ключевое эволюционное преимущество – серендипность (способность к незапланированным случайным открытиям в процессе творческой деятельности).

И кто знает, чего бы мы уже достигли, положись мы на другой эволюционный дар – не на имитацию, а на серендипность (может и на Марсе уже бы колонисты жили).

А теперь вся надежда на инфоргов. Но и тут, судя по LLM, ставка пока на имитацию.
1 см. посты 1го тэга
2 https://t.me/theworldisnoteasy/1398
3 https://arxiv.org/abs/2401.15968
#ScienceOfSuccess #инновации #серендипность

Помните старый анекдот?
«Выпал мужик из окна небоскреба. Пролетает мимо 50-го этажа и думает: "Ну, пока всё вроде нормально". Пролетает мимо 25-го этажа, бормочет: "Вроде всё под контролем". Пролетает мимо 10-го этажа и озадачивается: "Хм, интересно, чем же всё закончится"»
Отчеты MIT, RAND и OpenAI наводят на мысль, что сегодняшняя технологическая реальность человечества здорово напоминает этот анекдот. Тот же неистребимый оптимизм, затмевающий очевидную неотвратимость роста рисков.
https://telegra.ph/Mir-optimista-padayushchego-s-neboskryoba-02-05
#ИИриски #Вызовы21века

1-й из Цукербринов хочет стать Гольденштерном.
На этом рисунке обновленный вчера «Индекс вычислительной вооруженности» мировых лидеров главной технологической гонки 21 века https://www.stateof.ai/compute
• вверху – число вычислительных кластеров на основе графических процессоров A100 от NVIDIA (лучшие в мире процессоры для высокопроизводительных вычислений на задачах класса ИИ)
• внизу - число вычислительных кластеров на основе графических процессоров H100 от NVIDIA (лучшие в мире процессоры для расчетов графики задач типа «метавселенной»)

Абсолютное первенство компании Цукерберга заставляет серьезно относиться к объявленным им планам https://bit.ly/3Sxt2Hz своего превращения из «одного из цукербринов» в единственного и несравненного «Гольденштерна» (полуолигарха-полубога, которому на Земле никто не указ).
#ИИ #Metaverse

ИИ - хороший, плохой и какой-угодно (когда доходит до дела).
О том, как генеративный ИИ трансформирует бизнес и общество.
100-страничный документ опубликован консультантами Oliver Wyman специально для высших командиров бизнеса и госслужбы.
Документ сочетает аналитический уровень топового управленческого консалтинга, разумно-достаточную глубину погружения в нюансы технологий (чтобы увидеть деревья смысла за терминологическим лесом) и трезвый подход анализа уже проявившихся важных трендов, без претензий на знание в целом непредсказуемой картины будущего развития ИИ [1].

На приложенной к посту картинке лишь 2 из многих десятков графиков и диаграмм отчета.
1. О том, что не стоит ждать от ИИ «счастья для всех и для каждого», равно как и неизбежного конца человечества. Между полюсами «хорошего» и «плохого» ИИ лежат 80% его будущих применений (одинаково способных стать, как первым, так и вторым).
2. И о том, что это действительно революция, фазовый переход, прорыв к сингулярности. Ибо не только скорость распространения технологии генеративного ИИ (всем очевидная), но и скорость достижения ею критической массы внедрений несопоставима ни с чем:
- в 20 раз быстрее Интернета и смартфонов
- в 25 раз быстрее персональных компьютеров
- в 40 раз быстрее электричества

N.B. «Хороший, плохой, злой ИИ» конечно же просто метафора. На деле же речь о хорошем, плохом и злом «обществе людей и ИИ». О чем я, вслед за Лучано Флориди, писал и говорил еще до революции ChatGPT [2]

Картинка https://telegra.ph/file/5b501acfe6526ddb71174.jpg
Ссылки:
1 https://www.oliverwymanforum.com/global-consumer-sentiment/how-will-ai-affect-global-economics/workforce.html
2 https://t.me/theworldisnoteasy/1551
#LLM

Политтехнологии супротив культурной эволюции, что плотник супротив столяра. Ибо культурно эволюционировавшие в течение многих тысячелетий коммуникационные технологии социо-когнитивных сетей человеческих сообществ достигли идеального сочетания эффективности и простоты. Примеров тому немало. Один из самых ярких - развитие у людей уникального сочетания двух способностей:
• практически неограниченного по масштабам сотрудничества со «своими» («нашими»)
• и столь же безграничного ожесточенного неприятия и противостояния «чужим» («ненашим»).

Нахождение супер-стимулов, интенсифицирующих обе названные способности людей, критически важная задача для властных элит любой страны.
Их сочетание и возгонка в обществе обеспечивает властным элитам коалиционную вербовку сторонников. Что позволяет эффективно расширять и укреплять в обществе коалиционную поддержку элит. А это – ключевой фактор успешности любых крупных проектов, масштабирования коллективных действий и формирования условий для побед в конфликтах с «врагами» и всякими «ненашими».

Никакие современные политтехнологии не могут сравниться по эффективности решения задач коалиционной вербовки с проверенной тысячелетиями мифологизацией «великого прошлого» своего народа.

Отточенная до совершенства тысячелетиями культурной и когнитивной эволюции формула накрепко впаяна в сознание людей:
общее выдающееся прошлое для народа важнее и настоящего, и будущего.

Это объясняет, казалось бы, парадоксальный факт:
почему властные элиты прилагают столько усилий, чтобы прославлять давно ушедшее прошлое своих народов (причем зачастую, прошлое, которого не было).

О том, что переписывание истории – проверенная тысячелетиями мощнейшая технология коалиционной вербовки, читайте мой новый пост:
- на Medium https://bit.ly/4bAGXW0
- на Дзене https://clck.ru/38nB6S
#КультурнаяЭволюция #КоалиционнаяПсихология #Сотрудничество #Национализм

ИИ с глазами и ушами ребенка учится по-детски.
Это первый шаг к созданию дигитантов – цифровых существ, обучающихся как дети.
Извините за каламбур, но мы очень плохо понимаем, как люди понимают окружающий мир. Но еще хуже мы понимаем, как понимают мир ИИ больших языковых моделей (далее просто ИИ), типа GPT-4.
Единственное, что мы более-менее понимаем – как учатся понимать мир дети. Они просто смотрят на окружающие их предметы и слышат, как их называют взрослые. С этого сопоставления предметов и слов у каждого малыша начинается великий и таинственный процесс освоения языка – важнейшего когнитивного механизма, превратившего наших далеких предков из животных в сверхразумных существ.

ИИ до сих пор так не умел. И вот прорыв.

В статье «Основательное освоение языка глазами и ушами одного ребенка» опубликованы сенсационные результаты нового метода «человекоподобного обучения» ИИ. Эта работа - переворот в научных представлениях о взаимосвязи языка, обучения и познания.
• До сих пор ИИ учили совершенно нечеловеческим путем, скармливая моделям триллионы слов написанных людьми текстов и сотни миллиардов созданных людьми изображений. Выявляя из гигантских непостижимых для ума людей матриц не представимое множество корреляций между словами, картинками и между словами и картинками, модель училась «понимать», как выглядят кот и пёс, дом и дым и т.д.
• Модели нового типа, названной Contrastive Learning model (CVCL), не нужны триллионы слов и миллиарды картинок. Она учится, как ребенок, - на малом числе картинок и названий. Просто видит разные предметы перед собой и слушает, как их называют взрослые.
• А поскольку такой ИИ – это пока еще не материализованный дигитант (цифровое существо), то в материальном мире она как бы живет в теле маленького ребенка (который растет от 6 до 25 мес.)
– малыш учится, глядя на мир вокруг своими глазами и слушая своими ушами, как взрослые называют те или иные предметы;
– модель же «видит» поток видео с камеры на лбу малыша и синхронизированный поток звука с расположенного рядом микрофона.

Результаты эксперимента поразительны.

✔️ Модель получила на вход всего 1% видео и аудио потоков, воспринимавшихся глазами и ушами ребенка (всего 60 часов видео и аудио, содержавших около 250 тыс произносимых взрослыми слов, повторявшихся в ходе игр, чтения книг, кормежки и т.д.)
✔️ После обучения модели исследователи протестировали ее, используя те же методы оценки, которые используются для измерения усвоения слов у младенцев: представили модели целевое слово и массив из четырех различных вариантов изображений и попросили ее выбрать изображение, соответствующее целевому слову. Результаты показали, что модель смогла выучить значительное количество слов и понятий, присутствующих в повседневной жизни ребенка.
✔️Более того, некоторые слова, которые выучила модель, могут быть обобщены на совершенно другие визуальные примеры, чем те, которые наблюдаются при обучении, что отражает аспект обобщения, также наблюдаемый у детей, когда они проходят тестирование в лаборатории.

Получив эту работу для рецензирование, один из рецензентов (довольно известный исследователь) сначала отказался её рецензировать, заявив, что описываемый в статье метод обучения в принципе невозможен. Потом, познакомившись в деталях с исследованием, признал, что оно перевернуло его представления на 180 градусов.

Продолжения этого прорыва могут быть таковы.
1. Расширения метода обучения CVCL:
a. от независимых неподвижных кадров к эпизодам, растянутым во времени
b. от письменной расшифровки речи к звуку, чтобы при обучении не терять важные оттенки речи (интонации, ударение на четкие границы слов и т.д.)
c. от фрагментарного 1% опыта к полному непрерывному потоку опыта ребенка
2. Материализация модели в дигитанта (воплощенного, активного, ситуационно содетерминированного) (4 варианта, как это сделать, я рассказывал [1])

• Популярно с видео https://bit.ly/3SZ4KaJ
• Научно https://bit.ly/3I3IIO1
• Откр доступ https://bit.ly/3SYwM6e
1 https://t.me/theworldisnoteasy/1291
#LLM